심층 신경망에서 역전파 알고리즘을 사용할 때 발생할 수 있는 기울기 소… | [7급 국가직 인공지능] 26년 1회차 기출문제 상세 페이지
1[7급 국가직 인공지능] 26년 1회차
심층 신경망에서 역전파 알고리즘을 사용할 때 발생할 수 있는 기울기 소실 문제(gradient vanishing problem)를 해결하기 위해 개발된 활성화 함수(activation function)는?
1
시그모이드(sigmoid)
2
계단 함수(step function)
3
지수 선형 유닛(exponential linear unit)
4
하이퍼볼릭 탄젠트(hyperbolic tangent)
해설
기울기 소실 해결을 위해 개발된 함수는 지수 선형 유닛(ELU)이다.
ELU는 양수 구간에서 입력을 그대로 내보내 기울기가 1로 유지되고, 음수 구간은 지수 곡선으로 완만히 포화되어 ReLU 계열처럼 기울기 소실을 줄인다.
- 시그모이드: 도함수 최댓값이 0.25로 작아 층을 거칠수록 기울기가 소실된다.
- 계단 함수: 거의 모든 구간에서 미분값이 0이라 역전파 학습 자체가 어렵다.
- 하이퍼볼릭 탄젠트: 시그모이드보다 낫지만 양 끝에서 포화되어 기울기 소실이 남는다.
오류나 개정된 내용이 보이면 알려주세요