다음과 같은 확률분포를 갖는 랜덤 변수 X의 엔트로피는? | [국회직 9급 통신이론] 20년 1회차 기출문제 상세 페이지

이 랜덤 변수의 엔트로피는 1.75비트이다.
그림에서 $x=-1,0,1,2$의 확률은 각각 $1/8$, $1/2$, $1/8$, $1/4$이다. 엔트로피는 확률값으로만 정해지므로 $x$가 음수여도 계산에는 영향이 없다.
$H(X)=-\sum_{x}P(x)\log_{2}P(x)$
$H(X)=\dfrac{1}{2}\cdot 1+\dfrac{1}{4}\cdot 2+\dfrac{1}{8}\cdot 3+\dfrac{1}{8}\cdot 3=0.5+0.5+0.75=1.75$
1.25는 확률 $1/4$인 값의 기여분 0.5를 빠뜨린 결과이다.
1.5는 확률 $1/8$인 두 값을 확률 $1/4$인 한 값으로 합쳐 계산한 결과이다.
2는 네 값이 모두 같은 확률일 때의 값으로, 이 분포처럼 확률이 고르지 않으면 그보다 작다.
2.25는 네 값을 갖는 변수의 최댓값인 $\log_{2}4=2$를 넘으므로 나올 수 없다.