N개의 서로 다른 심볼 종류를 갖는 메시지 정보원(information… | [7급 국가직 통신이론] 20년 1회차 기출문제 상세 페이지

1[7급 국가직 통신이론] 20년 1회차
NN개의 서로 다른 심볼 종류를 갖는 메시지 정보원(information source) 집합의 정보량과 엔트로피에 대한 설명으로 옳지 않은 것은? (단, ii번째 심볼 xix_i의 발생 확률을 pip_i로 표현하고, 발생하는 심볼들은 서로 통계적으로 독립이다)
1
엔트로피는 정보원의 심볼 출력당 평균 정보의 양으로 정의된다.
2
정보량을 비트로 표현할 때, 자기 정보(self information) I(xi)=−log⁡2(pi)I(x_i)=-\log_2(p_i)이다.
3
집합에 속하는 심볼들의 발생 확률이 모두 같을 때, 엔트로피는 최대가 된다.
4
서로 다른 발생 확률을 갖는 이진 정보원(N=2N=2)의 집합을 XX라 할 때, 엔트로피 H(X)H(X)는 0≤H(X)≤20 \le H(X) \le 2이다.
해설

옳지 않은 것은 이진 정보원의 엔트로피 범위를 0~2로 본 설명이다.

NN개 심볼의 엔트로피는 0≤H(X)≤log⁡2N0\le H(X)\le \log_2 N이므로 이진 정보원은 최대 1 [bit]이다. 발생 확률이 서로 다르면 1보다도 작다.

  • 엔트로피는 심볼당 평균 정보량 H=−∑pilog⁡2piH=-\sum p_i\log_2 p_i로 정의된다.
  • 자기 정보는 I(xi)=−log⁡2piI(x_i)=-\log_2 p_i [bit]로 옳다.
  • 모든 심볼이 등확률일 때 엔트로피가 log⁡2N\log_2 N으로 최대가 된다.

오류나 개정된 내용이 보이면 알려주세요

이어서 풀어보기

[7급 국가직 통신이론] 20년 1회차 20문항 이어서 보기문제·정답·해설을 한 페이지에서 이어서 볼 수 있어요7급 국가직 통신이론 기출문제 암기장 전체 보기