모두CBT
4개의 문자 중 하나를 보내는 정보원이 있다. 문자의 발생 확률이 각각 12\frac{1}{2}21, 14\frac{1}{4}41, 18\frac{1}{8}81, 18\frac{1}{8}81일 경우, 엔트로피 [bits/symbolbits / symbolbits/symbol]는?
148\frac{14}{8}814
158\frac{15}{8}815
168\frac{16}{8}816
178\frac{17}{8}817
엔트로피는 H=∑pilog21piH=\sum p_{i}\log_{2}\dfrac{1}{p_{i}}H=∑pilog2pi1이며 계산값은 14/8 bits/symbol이다.H=12(1)+14(2)+18(3)+18(3)H=\dfrac{1}{2}(1)+\dfrac{1}{4}(2)+\dfrac{1}{8}(3)+\dfrac{1}{8}(3)H=21(1)+41(2)+81(3)+81(3)H=48+48+38+38=148H=\dfrac{4}{8}+\dfrac{4}{8}+\dfrac{3}{8}+\dfrac{3}{8}=\dfrac{14}{8}H=84+84+83+83=814이다. 등확률일 때의 최댓값 2보다 작다.
엔트로피는 H=∑pilog21piH=\sum p_{i}\log_{2}\dfrac{1}{p_{i}}H=∑pilog2pi1이며 계산값은 14/8 bits/symbol이다.
H=12(1)+14(2)+18(3)+18(3)H=\dfrac{1}{2}(1)+\dfrac{1}{4}(2)+\dfrac{1}{8}(3)+\dfrac{1}{8}(3)H=21(1)+41(2)+81(3)+81(3)
H=48+48+38+38=148H=\dfrac{4}{8}+\dfrac{4}{8}+\dfrac{3}{8}+\dfrac{3}{8}=\dfrac{14}{8}H=84+84+83+83=814이다. 등확률일 때의 최댓값 2보다 작다.
오류나 개정된 내용이 보이면 알려주세요