출력 노드가 3개인 신경망의 출력이 소프트맥스(softmax) 함수를 … | [7급 국가직 인공지능] 23년 1회차 기출문제 상세 페이지

출력 노드가 3개인 신경망의 출력이 소프트맥스(softmax) 함수를 이용해 다음과 같이 계산되었을 때, 입력 샘플 3개에 대한 교차 엔트로피 오차(cross entropy error)의 평균값은? (단, 목표 출력은 원－핫 인코딩(one-hot encoding)을 사용하고, 교차 엔트로피 식에서 로그는 자연로그를 사용하며 자연로그 계산값은 아래 표를 이용한다)
<입력 샘플에 대한 실제 출력 및 목표 출력값>
입력 샘플
실제 출력
목표 출력
샘플 #1
0.7
0.2
0.1
1
0
0
샘플 #2
0.2
0.5
0.3
0
1
0
샘플 #3
0.6
0.1
0.3
0
0
1
<자연로그 계산표>
ln(0.1)
ln(0.2)
ln(0.3)
ln(0.4)
ln(0.5)
ln(0.6)
ln(0.7)
ln(0.8)
ln(0.9)
－2.30
－1.61
－1.20
－0.92
－0.69
－0.51
－0.36
－0.22
－0.11

0.25

0.50

0.75

1.00

교차 엔트로피 오차의 평균은 0.75이다.
목표가 원-핫이므로 정답 부류의 출력만 남아 샘플별 오차는 $E=-\ln y_k$(k는 목표가 1인 부류)이다.
샘플 #1: $-\ln 0.7 = 0.36$
샘플 #2: $-\ln 0.5 = 0.69$
샘플 #3: $-\ln 0.3 = 1.20$
평균: $\dfrac{0.36+0.69+1.20}{3} = \dfrac{2.25}{3} = 0.75$