각 심볼의 발생확률(pi)이 1/8로 균일한 소스 알파벳 S와, 각 심볼의 발생확률이 1/6로 균일한 소스 알파벳 K의 엔트로피(entropy)를 각각 H(S), H(K)라 할 때 다음 중에서 옳은 것은?
(단, radix-2를 사용한다)S={s1, s2, s3, s4, s5, s6, s7, s8}, pi=1/8 for all iK={k1, k2, k3, k4, k5, k6}, pi=1/6 for all i
1H(S)=H(K)
2H(S)<H(K)
3H(S)>H(K)
해설
균일분포의 엔트로피는 log2M이므로 심볼 수가 많은 S의 엔트로피가 더 크다.
H(S)=log28=3bit
H(K)=log26≈2.58bit
- 두 엔트로피가 같으려면 심볼 수가 같아야 하므로 옳지 않다.
- H(S)가 더 작다는 것은 계산 결과와 반대이다.
- 발생확률이 모두 주어졌으므로 엔트로피는 계산할 수 있다.
오류나 개정된 내용이 보이면 알려주세요