다음 사례에서 과적합 위험을 최소화하면서 성능을 확보하기 위한 초기 절… | [7급 국가직 인공지능] 26년 1회차 기출문제 상세 페이지
1[7급 국가직 인공지능] 26년 1회차
다음 사례에서 과적합 위험을 최소화하면서 성능을 확보하기 위한 초기 절차로 옳은 것은?대규모 ImageNet으로 사전 학습된 CNN(Convolutional Neural Network) 모델을 샘플 수가 수천 장 수준인 소규모 의료 영상 분류 과제에 적용하려고 한다.
1
사전 학습된 백본(backbone)을 고정하고, 새롭게 초기화한 분류기 레이어만 학습한다.
2
모든 레이어를 동일 학습률로 한 번에 동시 미세조정(fine-tune) 한다.
3
사전학습 가중치를 전부 고정한 채 드롭아웃(dropout) 비율만 조정한다.
4
모든 레이어를 랜덤값으로 초기화하고 네트워크 전체를 새로 훈련한다.
해설
옳은 초기 절차는 사전 학습된 백본을 고정하고 새로 초기화한 분류기 레이어만 학습하는 것이다.
데이터가 적을 때는 범용 특징 추출기를 그대로 두고 헤드만 학습해 학습할 파라미터 수를 줄이는 것이 과적합을 막는 첫 단계이며, 이후 필요하면 상위층부터 낮은 학습률로 점진적으로 미세조정한다.
- 모든 레이어를 같은 학습률로 한 번에 미세조정: 소규모 데이터에 많은 파라미터가 과적합되고 사전학습 특징이 훼손될 수 있다.
- 가중치를 전부 고정하고 드롭아웃만 조정: 새 과제에 맞는 분류기가 학습되지 않아 성능을 확보할 수 없다.
- 모든 레이어를 랜덤 초기화해 새로 훈련: 사전학습의 이점을 버려 소규모 데이터에서 과적합 위험이 가장 크다.
오류나 개정된 내용이 보이면 알려주세요