트랜스포머(transformer)에서 <보기>의 스케일드 닷… | [7급 서울시 인공지능] 26년 1회차 기출문제 상세 페이지

1[7급 서울시 인공지능] 26년 1회차
트랜스포머(transformer)에서 <보기>의 스케일드 닷-프로덕트 어텐션(scaled dot-product attention)에 대한 설명으로 가장 옳지 않은 것은? (단, QQ, KK, VV는 각각 query, key, value 행렬(또는 벡터)이며, dkd_k는 key의 차원 수이다.)<보기>
Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^{\mathrm{T}}}{\sqrt{d_k}}\right)V
1
QQ와 KK의 내적으로 쿼리-키 유사도를 계산한다.
2
dk\sqrt{d_k}로 나누는 것은 내적 값이 커져 소프트맥스 그래디언트가 포화되는 것을 완화한다.
3
소프트맥스 출력은 VV에 대한 가중 평균의 가중치로 쓰인다.
4
dkd_k가 커질수록 소프트맥스 함수의 기울기가 줄어들어 스케일링 없이도 안정적으로 학습할 수 있다.
해설

dkd_k가 커지면 내적 값이 커져 소프트맥스가 포화되고 기울기가 사라지므로, 스케일링 없이도 안정적이라는 설명은 옳지 않다.

성분이 서로 독립이고 평균 0, 분산 1이면 q⋅kq \cdot k의 분산은 dkd_k에 비례해 커진다. 그래서 dk\sqrt{d_k}로 나누어 분산을 1 수준으로 되돌린다.

  • QQ와 KTK^{\mathrm{T}}의 내적으로 쿼리와 키의 유사도를 계산한다는 설명은 옳다.
  • dk\sqrt{d_k}로 나누어 소프트맥스 그래디언트 포화를 완화한다는 설명은 옳다.
  • 소프트맥스 출력이 VV의 가중 평균을 위한 가중치로 쓰인다는 설명은 옳다.

오류나 개정된 내용이 보이면 알려주세요

이어서 풀어보기

[7급 서울시 인공지능] 26년 1회차 20문항 이어서 보기문제·정답·해설을 한 페이지에서 이어서 볼 수 있어요7급 서울시 인공지능 기출문제 암기장 전체 보기