CLIP(Contrastive Language-Image Pretrai… | [7급 국가직 인공지능] 26년 1회차 기출문제 상세 페이지
1[7급 국가직 인공지능] 26년 1회차
CLIP(Contrastive Language-Image Pretraining)에 대한 설명으로 옳지 않은 것은?
1
사전훈련을 통해 텍스트 데이터를 학습해 놓은 모델인 트랜스포머 언어 모델을 기반으로 한다.
2
이미지와 텍스트를 각각 임베딩 공간에 표현하고, 서로 대응하는 이미지와 텍스트의 유사도가 높아지도록 대조 학습(contrastive learning)을 수행한다.
3
제로 샷(zero-shot) 예측과는 달리, 클래스를 추가하고 모델을 재학습하여 새로운 입력 이미지를 분류할 수 있다.
4
시각 정보와 언어 정보 사이의 대응 관계를 학습한 멀티 모달 모델로 이미지 검색, 이미지 설명 생성, 시각 질의응답 등 다양한 작업으로 확장할 수 있다.
해설
옳지 않은 것은 CLIP이 클래스를 추가하고 재학습해야 새 이미지를 분류한다는 설명이다.
CLIP은 클래스 이름을 문장으로 만들어 텍스트 임베딩과 이미지 임베딩의 유사도를 비교하므로, 재학습 없이 새 클래스를 분류하는 제로 샷 예측이 가능하다.
- 텍스트 인코더로 트랜스포머 언어 모델을 사용한다.
- 이미지와 텍스트를 같은 임베딩 공간에 두고, 짝이 맞는 쌍의 유사도가 높아지도록 대조 학습한다.
- 시각·언어 대응 관계를 학습한 멀티 모달 모델로 이미지 검색·설명 생성·시각 질의응답 등으로 확장된다.
오류나 개정된 내용이 보이면 알려주세요