트랜스포머(transformer) 모델에 대한 설명으로 옳지 않은 것은? | [7급 국가직 인공지능] 26년 1회차 기출문제 상세 페이지
1[7급 국가직 인공지능] 26년 1회차
트랜스포머(transformer) 모델에 대한 설명으로 옳지 않은 것은?
1
서열 데이터(sequence data)를 순차적으로 처리하는 RNN 모델과는 다르게 병렬처리가 가능하다.
2
위치 임베딩(positional embedding)은 입력 토큰들의 위치 정보를 모델에 제공하기 위해 사용된다.
3
자기 주목(self-attention) 메커니즘은 특정 위치가 입력의 어떤 위치에 주목해야 하는지를 가중치 형태로 수치화하여 표현한다.
4
주목 점수(attention score)는 query 벡터와 value 벡터의 내적을 계산한 후 소프트맥스(softmax) 함수를 적용하여 계산된다.
해설
옳지 않은 것은 주목 점수를 query와 value의 내적으로 계산한다는 설명이다.
주목 점수는 query와 key의 내적을 로 나눈 뒤 소프트맥스를 적용해 구하고, 이 가중치로 value를 가중합한다.
- 트랜스포머는 순환 구조 없이 모든 토큰을 한꺼번에 처리하므로 RNN과 달리 병렬처리가 가능하다.
- 순서 정보가 없는 구조이므로 위치 임베딩으로 토큰의 위치 정보를 더해 준다.
- 자기 주목은 각 위치가 입력의 어느 위치에 주목할지를 가중치로 수치화한다.
오류나 개정된 내용이 보이면 알려주세요