지식 증류(knowledge distillation)에 대한 설명으로 … | [7급 서울시 인공지능] 26년 1회차 기출문제 상세 페이지

1[7급 서울시 인공지능] 26년 1회차
지식 증류(knowledge distillation)에 대한 설명으로 가장 옳은 것은?
1
학생 모델은 교사 모델의 가중치를 동일한 위치에 그대로 복사해야 하므로, 두 모델은 반드시 같은 구조를 가져야 한다.
2
지식 증류가 완료된 후에도 예측을 수행할 때에는 교사 모델과 학생 모델을 항상 함께 실행해야 한다.
3
학생 모델은 실제 정답뿐 아니라 교사 모델이 출력한 클래스별 확률분포를 학습에 활용하여, 교사 모델이 학습한 정보를 전달받을 수 있다.
4
학습이 완료된 모델에서 값이 작은 가중치를 제거하여 모델의 연산량을 줄이는 방법이다.
해설

지식 증류에서 학생 모델은 실제 정답과 함께 교사 모델의 클래스별 확률분포(소프트 레이블)를 학습해 교사의 지식을 전달받는다.

소프트 레이블에는 클래스 간 유사성 같은 정보가 담겨 있어, 작은 학생 모델도 교사에 가까운 성능을 낼 수 있다. 보통 온도를 높인 소프트맥스로 분포를 부드럽게 만들어 쓴다.

  • 가중치를 복사하는 것이 아니라 출력을 모방하는 방식이므로, 학생 모델은 교사보다 작은 다른 구조여도 된다.
  • 증류가 끝나면 추론에는 가벼운 학생 모델만 실행하며, 교사 모델을 함께 돌릴 필요가 없다.
  • 값이 작은 가중치를 제거해 연산량을 줄이는 방법은 지식 증류가 아니라 가지치기(pruning)이다.

오류나 개정된 내용이 보이면 알려주세요

이어서 풀어보기

[7급 서울시 인공지능] 26년 1회차 20문항 이어서 보기문제·정답·해설을 한 페이지에서 이어서 볼 수 있어요7급 서울시 인공지능 기출문제 암기장 전체 보기