총 16가지 종류의 메시지 m_1, m_2, \dots, m_{16}에… | [7급 국가직 통신이론] 14년 1회차 기출문제 상세 페이지
1[7급 국가직 통신이론] 14년 1회차
총 16가지 종류의 메시지 에 대한 발생 확률을 이라 할 때, 채널로 전송해야 하는 평균 정보량이 가장 큰 경우는?
1
2
3
4
해설
평균 정보량(엔트로피)은 모든 메시지가 같은 확률로 발생할 때 최대가 된다.
16개가 모두 1/16이면 로 상한에 도달한다. 확률이 한쪽으로 치우칠수록 불확실성이 줄어 엔트로피가 감소한다.
- 하나가 1/2이고 나머지 15개가 균등하면 엔트로피는 약 2.95 bit로 줄어든다.
- 1/2, 1/4에 나머지 14개가 균등하면 약 2.45 bit로 더 작다.
- 1/3, 1/3에 나머지 14개가 균등하면 약 2.85 bit로 역시 4 bit보다 작다.
오류나 개정된 내용이 보이면 알려주세요