Get清风信息论与编码理论第二章习题答案王育民.pdf

《Get清风信息论与编码理论第二章习题答案王育民.pdf》由会员分享，可在线阅读，更多相关《Get清风信息论与编码理论第二章习题答案王育民.pdf（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 信息论与编码理论第二章习题答案(王育民)局部答案，仅供参考。信息速率是指平均每秒传输的信息量 点和划出现的信息量分别为3log,23log，一秒钟点和划出现的次数平均为415314.0322.01 一秒钟点和划分别出现的次数平均为45.410 那么根据两者出现的次数，可以计算一秒钟其信息量平均为253log4153log4523log410 2.3 解：(a)骰子 A 和 B，掷出 7 点有以下 6 种可能：A=1,B=6;A=2,B=5;A=3,B=4;A=4,B=3;A=5,B=2;A=6,B=1 概率为 6/36=1/6，所以信息量-log(1/6)=1+log32.58 bit(b)

2、骰子 A 和 B，掷出 12 点只有 1 种可能：A=6,B=6 概率为 1/36，所以信息量-log(1/36)=2+log95.17 bit 2.5 解：出现各点数的概率和信息量：1 点：1/21，log214.39 bit；2 点：2/21，log21-13.39 bit；3 点：1/7，log72.81bit；4 点：4/21，log21-22.39bit；5 点：5/21，log21/52.07bit；6 点：2/7，log(7/2)平均信息量：(1/21)4.39+(2/21)3.39+(1/7)2.81+(4/21)2.39+(5/21)2.07+(2/7)2.7 解：X=1:考

3、生被录取；X=0:考生未被录取；Y=1:考生来自本市；Y=0:考生来自外地；Z=1:考生学过英语；Z=0：考生未学过英语 P(X=1)=1/4,P(X=0)=3/4;P(Y=1/X=1)=1/2；P(Y=1/X=0)=1/10；P(Z=1/Y=1)=1,P(Z=1/X=0,Y=0)=0.4,P(Z=1/X=1,Y=0 I(X;Y=1)=xx)P()1Y/(Plog)1Y/(P)1Y(I)1Y/(Pxxxx;x=1)P(X)1Y/1X(Plog)1Y/1X(P0)P(X)1Y/0X(Plog)1Y/0X(P=0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5

4、/8)log5-1(b)由于 P(Z=1/Y=1)=1,所以 P(Z=1)=P(Z=1,X=1)+P(Z=1,X=0 P(X=1/Z=1)=35/104 I(X;Z=1)=xx)P()1Z/(Plog)1Z/(P)1Z(I)1Z/(Pxxxx;x =1)P(X)1Z/1X(Plog)1Z/1X(P0)P(X)1Z/0X(Plog)1Z/0X(P=(69/104)log(23/26)+(35/104)log(35/26)H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1)-P(X=1,Y=0)logP(Y=0/X=1)-P(X=0,Y=1)logP(Y=1/X=0)-P(X=0,Y=0

5、)logP(Y=0/X=0)=1/4+(3/40)log10-(27/40)log(9/10)P(X=0,Y=0,Z=0)=P(Z=0/X=0,Y=0)*P(X=0,Y=0 P(X=0,Y=0,Z=1)=P(Z=1/X=0,Y=0)*P(X=0,Y=0 P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0 H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.075*log0.075=(113/100)+(31/20)log10-(129/50)log3 =0.528+0.

6、51+0.216+0.28+0.375+0.28=2.189 bit 2.9 解：A，B，C 分别表示三个筛子掷的点数。X=A,Y=A+B,Z=A+B+C 由于 P(A+B+C/A+B)=P(C/A+B)=P(C)H(X/Y)=H(A/Y)Y 组合数目 组合情况A+B P(A=a/Y=y)12 1 6+6 1 11 2 5+6,6+5 1/2 10 3 4+6,5+5,6+4 1/3 9 4 3+6,4+5,5+4,6+3 1/4 8 5.7 6 1+6,2+5,3+4,4+3,5+2,6+1 1/6 6 5.5 4.4 3.3 2.2 1 1+1 1 一共 36 种情况，每种情况的概率为 1

7、/36，即P(A=a,Y=y)=1/36 由于 P(A+B+C/A+B,A)=P(C/A+B,A)=P(C)由 于P(A=x,A+B+C=z/A+B=y)=P(A=x,C=z-y/A+B=y)=P(A=x/A+B=y)P(C=z-y/A+B=y)=P(A=x/A+B=y)P(C=z-y)=P(A/Y)P(C)P(A/Y)上面已经给出。Y 组合数目 组合情况A+B+C P(A=x,A+B+C=z/A+B=y)12 6 6+6+1,6+6+2,.,6+6+6 1/6 11 12.1/12 10 18.1/18 9 24.1/24 8 30.7 36.1/36 6 30.5 24.4 18.3 12

8、.2 6.1/6 一共 216 种情况，每种情况的概率为 1/216，即P(XYZ)=1/216 H(XZ/Y)=(1/216)(-6*log(1/6)-12*log(1/12)-18*log(1/18)-24*log(1/24)-30*log(1/30)*2-36*log(1/36)=(1/36)*(log6+2log12+3log18+4log24+5log30)*2+6log36=4.48 bit 由于 P(Z/X)=P(B+C/A)=P(B+C)BC 的组合共 36 种:B+C 组合数目 组合情况B+C P(Z/X)12 1 6+6 1/36 11 2 5+6,6+5 2/36 10

9、3 4+6,5+5,6+4 3/36 9 4 3+6,4+5,5+4,6+3 4/36 8 5.7 6 1+6,2+5,3+4,4+3,5+2,6+1 5/36 6 5.5 4.4 3.3 2.2 1 1+1 1/36=(1/36)*log36+2log(36/2)+3log(36/3)+4log(36/4)+5log(36/5)*2+6log(36/6)bit 解：P(0/0)=P(1/1)=1-p,P(1/0)=P(0/1)=p (a)P(ul)=1/8 P(ul，0)=P(ul)P(0/ul)=(1/8)(1-p)接收的第一个数字为 0 的概率：P(0)=P(ul)P(0/ul)+P(u

10、2)P(0/u2)+.P(u8)P(0/u8)=4(1/8)(1-p)+4(1/8)p=1/2 I(ul;0)=log P(ul，0)/P(0)P(ul)=1+log(1-p)(b)P(ul，00)=P(ul)P(00/ul)=(1/8)(1-p)2 P(00)=P(ul)P(00/ul)+P(u2)P(00/u2)+.P(u8)P(00/u8)=2(1/8)(1-p)2+4(1/8)p(1-p)+2(1/8)p2=1/4 I(ul;00)=log P(ul，00)/P(00)P(ul)=2+2log(1-p)(c)P(ul，000)=P(ul)P(000/ul)=(1/8)(1-p)3 P(

11、000)=P(ul)P(000/ul)+P(u2)P(000/u2)+.P(u8)P(000/u8)=(1/8)(1-p)3+3(1/8)p(1-p)2+3(1/8)p2(1-p)+(1/8)p3=1/8 I(ul;000)=log P(ul，000)/P(000)P(ul)=3+3log(1-p)(d)P(ul，0000)=P(ul)P(0000/ul)=(1/8)(1-p)4 P(0000)=P(ul)P(0000/ul)+P(u2)P(0000/u2)+.P(u8)P(0000/u8)=(1/8)(1-p)4+6(1/8)p 2(1-p)2+(1/8)p4 I(ul;0000)=log

12、P(ul，0000)/P(0000)P(ul)=2.12 解：Z 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 概率 1/63 3/63 6/63 10/63 15/63 21/63 25/63 27/63 27/63 25/63 21/63 15/63 10/63 6/63 3/63 1/63 I(Y;Z)=H(Z)-H(Z/Y)I(X;Z)=H(Z)-H(Z/X)I(XY;Z)=H(Z)-H(Z/XY)I(Y;Z/X)=I(XY;Z)-I(X;Z)I(X;Z/Y)=I(XZ;Y)-I(Y;Z)=H(XZ)-H(XZ/Y)-I(Y;Z)H(X)+H(Z/X)-H(XZ/Y)-I(Y;Z)2.27 解：考虑到约束条件00()1,()q xxq xm 采用拉格朗日乘子法 当且仅当12()xq xa时，等式成立。将12()xq xa带入00()1,()q x dxxq x dxm：211,lnamma 实现最大微分熵的分布ln()lnln111()xxxamamamq xaeemmm，相应的熵值 logme 2.29 证明：(a)12()()(1)()(1)1Q xQ xQ x 所以 Q(x)为概率分布。(a)即证明熵的凸性。