트랜스포머(transformer)에서 <보기>의 스케일드 닷… | [7급 서울시 인공지능] 26년 1회차 기출문제 상세 페이지
1[7급 서울시 인공지능] 26년 1회차
트랜스포머(transformer)에서 <보기>의 스케일드 닷-프로덕트 어텐션(scaled dot-product attention)에 대한 설명으로 가장 옳지 않은 것은? (단, , , 는 각각 query, key, value 행렬(또는 벡터)이며, 는 key의 차원 수이다.)<보기>
1
와 의 내적으로 쿼리-키 유사도를 계산한다.
2
로 나누는 것은 내적 값이 커져 소프트맥스 그래디언트가 포화되는 것을 완화한다.3
소프트맥스 출력은 에 대한 가중 평균의 가중치로 쓰인다.4
가 커질수록 소프트맥스 함수의 기울기가 줄어들어 스케일링 없이도 안정적으로 학습할 수 있다.해설
가 커지면 내적 값이 커져 소프트맥스가 포화되고 기울기가 사라지므로, 스케일링 없이도 안정적이라는 설명은 옳지 않다.
성분이 서로 독립이고 평균 0, 분산 1이면 의 분산은 에 비례해 커진다. 그래서 로 나누어 분산을 1 수준으로 되돌린다.
- 와 의 내적으로 쿼리와 키의 유사도를 계산한다는 설명은 옳다.
- 로 나누어 소프트맥스 그래디언트 포화를 완화한다는 설명은 옳다.
- 소프트맥스 출력이 의 가중 평균을 위한 가중치로 쓰인다는 설명은 옳다.
오류나 개정된 내용이 보이면 알려주세요