총 16가지 종류의 메시지 m_1, m_2, \dots, m_{16}에… | [7급 국가직 통신이론] 14년 1회차 기출문제 상세 페이지

1[7급 국가직 통신이론] 14년 1회차
총 16가지 종류의 메시지 m1,m2,…,m16m_1, m_2, \dots, m_{16}에 대한 발생 확률을 p1,p2,…,p16p_1, p_2, \dots, p_{16}이라 할 때, 채널로 전송해야 하는 평균 정보량이 가장 큰 경우는?
1
p1=p2=⋯=p16p_1=p_2=\dots=p_{16}
2
p1=12,p2=p3=⋯=p16p_1=\frac{1}{2},\quad p_2=p_3=\dots=p_{16}
3
p1=12,p2=14,p3=p4=⋯=p16p_1=\frac{1}{2},\quad p_2=\frac{1}{4},\quad p_3=p_4=\dots=p_{16}
4
p1=13,p2=13,p3=p4=⋯=p16p_1=\frac{1}{3},\quad p_2=\frac{1}{3},\quad p_3=p_4=\dots=p_{16}
해설

평균 정보량(엔트로피)은 모든 메시지가 같은 확률로 발생할 때 최대가 된다.

16개가 모두 1/16이면 H=log⁡216=4 bitH=\log_2 16=4\ \mathrm{bit}로 상한에 도달한다. 확률이 한쪽으로 치우칠수록 불확실성이 줄어 엔트로피가 감소한다.

  • 하나가 1/2이고 나머지 15개가 균등하면 엔트로피는 약 2.95 bit로 줄어든다.
  • 1/2, 1/4에 나머지 14개가 균등하면 약 2.45 bit로 더 작다.
  • 1/3, 1/3에 나머지 14개가 균등하면 약 2.85 bit로 역시 4 bit보다 작다.

오류나 개정된 내용이 보이면 알려주세요

이어서 풀어보기

[7급 국가직 통신이론] 14년 1회차 20문항 이어서 보기문제·정답·해설을 한 페이지에서 이어서 볼 수 있어요7급 국가직 통신이론 기출문제 암기장 전체 보기