이진 데이터 X=\{x_1,\ x_2\}이고, 각각의 확률이 p_1=p… | [7급 국가직 통신이론] 11년 1회차 기출문제 상세 페이지

1[7급 국가직 통신이론] 11년 1회차
이진 데이터 X={x1, x2}X=\{x_1,\ x_2\}이고, 각각의 확률이 p1=pp_1=p와 p2=1−pp_2=1-p일 때, XX에 대한 엔트로피 H(X)H(X)에 대한 설명으로 옳은 것은? (단, 0≤p≤10\le p\le 1이다)
1
H(X)H(X)는 plog⁡2p+(1−p)log⁡2(1−p)p\log_2 p+(1-p)\log_2(1-p)와 같다.
2
p=0p=0 또는 1일 경우 H(X)H(X)는 최댓값을 갖는다.
3
p=0.5p=0.5이면 H(X)H(X)는 1이다.
4
H(X)H(X)값이 크다는 것은 불확실성이 거의 없다는 것과 같다.
해설

이진 엔트로피는 p=0.5p=0.5일 때 최댓값 1비트를 갖는다.

정의는 H(X)=−plog⁡2p−(1−p)log⁡2(1−p)H(X)=-p\log_2 p-(1-p)\log_2(1-p)이며, p=0.5p=0.5를 대입하면 −2×0.5log⁡20.5=1-2\times0.5\log_2 0.5=1이다.

  • 엔트로피 식은 앞에 음의 부호가 붙어야 하므로 부호가 없는 식은 틀리다.
  • p=0p=0 또는 1이면 결과가 확정되어 엔트로피는 최솟값 0이 된다.
  • 엔트로피가 크다는 것은 불확실성이 크다는 뜻이다.

오류나 개정된 내용이 보이면 알려주세요

이어서 풀어보기

[7급 국가직 통신이론] 11년 1회차 20문항 이어서 보기문제·정답·해설을 한 페이지에서 이어서 볼 수 있어요7급 국가직 통신이론 기출문제 암기장 전체 보기