4개의 신호 s0,s1,s2,s3가 각각 1/2, 1/4, 1/6, 1/12의 확률로 발생하는 정보원이 있다. 각 신호들이 통계적으로 독립일 때, 정보원의 엔트로피(entropy)는? (단, log2(6)≒2.5로 계산한다)
11214.5
21216.5
31218.5
41220.5
해설
정보원의 엔트로피는 1220.5 bit/symbol이다.
엔트로피 정의: H=∑pilog2pi1
대입: H=21⋅1+41⋅2+61⋅2.5+121⋅3.5
(log212=log26+1=3.5)
분모를 12로 통일한다.
H=126+6+5+3.5=1220.5
오류나 개정된 내용이 보이면 알려주세요