입력이 음수이면 0을, 양수이면 입력값을 그대로 출력하여 은닉층에서 기… | [ADsP] 데이터분석 준전문가 기출유형 모의고사 7회 상세 페이지

$f(x) = \max(0, x)$ 형태로 음수는 0, 양수는 그대로 내보내는 함수는 ReLU 이다.
양수 구간의 기울기가 1로 일정해 층이 깊어져도 기울기 소실이 덜하고 계산도 단순하다.
시그모이드: 출력을 0~1로 눌러 깊은 층에서 기울기가 작아지기 쉽다
쌍곡탄젠트: 출력 범위가 −1~1인 S자 함수이다
계단 함수: 임계값을 기준으로 0 또는 1만 출력해 미분이 어렵다