다음 설명에 해당하는 자연어처리 기법은?주변에 있는 단어를 이용해 중간… | [7급 국가직 인공지능] 23년 1회차 기출문제 상세 페이지
1[7급 국가직 인공지능] 23년 1회차
다음 설명에 해당하는 자연어처리 기법은?주변에 있는 단어를 이용해 중간에 있는 특정 단어를 추론하는 방법으로, 큰 차원으로 표현된 특정 단어의 원－핫 인코딩(one-hot encoding) 벡터를 작은 차원의 실수 벡터로 바꾸어 줄 수 있다.
1
CBOW(Continuous Bag of Words)
2
－Gram3
Skip－Gram
4
TF－IDF(Term Frequency-Inverse Document Frequency) vector
해설
주변 단어로 가운데 단어를 추론하는 기법은 CBOW이다.
CBOW는 Word2Vec의 한 방식으로, 문맥 단어의 원-핫 벡터로 중심 단어를 맞히도록 학습하면서 고차원 원-핫 표현을 저차원 실수 벡터(임베딩)로 바꾼다.
- Skip-Gram: 반대로 중심 단어로 주변 단어를 예측한다.
- n-Gram: 연속한 n개 단어의 출현 빈도로 다음 단어 확률을 추정하는 통계적 언어 모델이다.
- TF-IDF: 단어 빈도와 역문서 빈도로 중요도를 매긴 희소 벡터로, 학습된 임베딩이 아니다.
오류나 개정된 내용이 보이면 알려주세요