그래디언트 소멸 문제(vanishing gradient problem)… | [7급 국가직 인공지능] 23년 1회차 기출문제 상세 페이지
1[7급 국가직 인공지능] 23년 1회차
그래디언트 소멸 문제(vanishing gradient problem)에 대한 설명으로 옳지 않은 것은?
1
특정 활성화 함수를 사용하는 계층이 신경망에 많이 추가되면 학습이 되지 않는 현상을 말한다.
2
0이나 0에 가까운 수가 시그모이드(sigmoid) 함수에 들어오면 그래디언트가 0에 가까워 학습이 되지 않는다.
3
그래디언트의 절댓값이 너무 작아지면 학습이 되지 않아 가중치(weight)와 편향(bias) 값들이 효과적으로 업데이트 되지 못한다.
4
그래디언트 소멸 문제를 해결하기 위해 DNN(Deep Neural Network)에서는 활성화 함수로 ReLU 함수를 사용한다.
해설
시그모이드의 기울기는 입력이 0일 때 가장 크고 입력의 절댓값이 커질수록 0에 가까워지므로, 0 근처 입력에서 그래디언트가 0에 가깝다는 설명이 옳지 않다.
도함수 는 에서 로 최대이며, 기울기가 사라지는 곳은 출력이 0이나 1로 포화되는 구간이다.
- 시그모이드 같은 활성화 함수 층이 많이 쌓이면 역전파 때 작은 기울기가 계속 곱해져 학습이 되지 않는다.
- 그래디언트 절댓값이 너무 작으면 가중치·편향의 갱신량이 거의 0이 된다.
- ReLU는 양수 구간 기울기가 1이라 소멸 문제를 완화하므로 심층 신경망에 널리 쓰인다.
오류나 개정된 내용이 보이면 알려주세요