信息论与编码第二章答案.pdf

《信息论与编码第二章答案.pdf》由会员分享，可在线阅读，更多相关《信息论与编码第二章答案.pdf（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 第二章 信息的度量 2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为 0 时熵值最小。2.2 平均互信息量 I(X;Y)与信源概率分布 q(x)有何关系？与 p(y|x)又是什么关系？答：若信道给定，I(X;Y)是 q(x)的上凸形函数；若信源给定，I(X;Y)是 q(y|x)的下凸形函数。2.3 熵是对信源什么物理量的度量？答：平均信息量 2.4 设信道输入符号集为x1,x2,xk，则平均每个信道输入符号所能携带的最大信息量是多少？答：kkkxiqxiqXHilog1log1)(log)()(2.5 根据平均互信息量的链规

2、则，写出 I(X;YZ)的表达式。答：)|;();();(YZXIYXIYZXI 2.6 互信息量 I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log);(xiqyjxiQyxI，若互信息量取负值，即 Q(xi|yj)q(xi)，说明事件 yi 的出现告知的是 xi 出现的可能性更小了。从通信角度看，视 xi 为发送符号，yi 为接收符号，Q(xi|yj)p,则（1-p）/p1，所以01logpp，在此区间上,)(xH0，H(x)单调递增。又该函数是在区间0,1上是关于 p=1/2 对称的函数，那么在区间0.5,1上单调递减。所以，)1log(

3、)1(log)()(2pppppHXH当 p=1/2 时，H(X)达到最大值。(2)二次扩展后的矩阵：)1()1()1()(2221222111pppxxxxpppxxxxXqX )(2)1log()1(log2)1log()1(2log2)1log()1()1(log)1()1(log)1(log)(2222)2(XHppppppppppppppppppppXH 2.10 一副扑克牌（不用大小王），试问(1)任意特定排列给出的信息量是多少？（2）从 52 张牌中抽取 13 张，所给出的点数都不相同时得到多少信息量？（3）从 52 张牌中任意抽取 1 张，然后放回，结果试为从 DMS 中取得样

4、本，这个 DMS 的熵为多少？（4）若（3）中不计颜色，熵又为多少？解：（1）I(xi)=!521=225.6（比特/符号）（2）I(xi)=-(qi)=-log(1352134c)=log(i!39!*13*4!5213)(3)H(X)=N*H(x)=52*(-521*log(521)=log52=2*log13=7.4(比特/符号)（4）H(x)=-log(131)=3.7(比特/符号)2.11（1）一个无偏骰子，掷骰子的熵为多少？（2）如果骰子被改造使得某点出现的概率与其点数成正比，熵为多少？（3）一对无偏骰子，个掷一次，得到总点数为 7，问得到多少信息量？解：（1）H(X)=-log(

5、1/6)=2.58(比特/符号)(2)H(X)=-(61*(log61)+62*(log62)+63*(log63)+64*(log64)+65*(log65)=2.068(比特/符号)(3)I(xi)=-log(61*61*3*2)=log6=2.585(比特/符号)2.12 一个盒子中放有 100 个球，其中 60 个是黑色，40 个球是白色。（1）随机摸取一个球，求获得的自信息量。（2）做放回摸取 n 次，求这 n 次所得到的平均互信息量。解:(1)I(xi)=-log(1001)=log100(2)I(x,y)=log100 2.13 已知平均每 100 个人中有 2 个患有某种病，为

6、了查明病情进行某项指标的化验。化验结果对病人总是阳性，而对于健康人来说，这项指标有一半可能为阳性，一半可能为阴性。问这项化验对查明病情提供了多少信息量?解：病人：y1，健康人:y2 12149()5050YYYW Y 11(|)1XY;12221(|)(|)2XYXY 1 111 11()()()50P X YW YX Y 1 249()50P X Y 2249()100P X Y(|)()log()0.056ijjiijH Y Xp X Yy ybit 2.14 一个8 元编码系统，码长为 4，每个码字的第一个字符相同（用于同步），若每秒产生1000 个码字，求信息传输率 Rt。答：信息传输

7、率定义为 Rt=H（x）/（t*n）其中，H（x）=-logq（xi）所以 Rt=9*1000/4=2250（Bit/Sec）2.15 一副拼板，其中 3 块圆形，4 块方形，5 块三角形，随机排成一行，每一种排列都是等可能的，如果要求不能有 2 块方形相邻，可以得到多少关于拼版排列的信息？答：I（X|Y）=-log=log 2.16 设有一个传输系统，等概传输 0、1、2、3、4、5 六个数字，奇数在传输时以 0.5 的概率错成其他奇数，偶数能正确接收，求此传输系统的平均互信息量。答：由题意得：H（Y）=（-log）*6=log6=2.585（bit/符号）H（Y|X）=H(Y|xi)=0.

8、75（bit/符号）I（X；Y）=H（Y）-H（Y|X）=2.585-0.75=1.835（bit/符号）2.17 等概信源消息集：u0，u1，u7，编码为 u0=000，u1=001，u7=111，通过错误概率为的二进制对称信道 BSC 传输，在接收 u4=100 的过程中，求：（1）1 与 u4 之间的互信息量；（2）10 与 u4 之间的互信息量；（3）100 与 u4 之间的互信息量。答：（1）由 I（1；u4）=log；又 q(1)=p(1|ui)=4(1-p)+4p=推出 I（1；u4）=log=log2(1-p)（2）同理，可得 I（10；u4）=2log2(1-p)（3）同理，

9、可得 I（100；u4）=3log2(1-p)2.18 求出概率分布qk，k=0,1,2，使在限制条件0kkkAq下，熵达到最大值。答：1()11AkkkAqCeAA时取得最大；最大为：11001(1)()loglog(1)kmkkkkkkAkAHUqqAA 2.19 X,Y,Z 为概率空间，证明下述关系式成立，并给出等号成立的条件。(1)H(YZ|X)=H(Y|Z)+H(Z|X)(2)H(YZ|X)=H(Y|X)+H(Z|XY)(3)H(X|Z)=H(X|Y)+H(Y|Z)证明：(1)H(Y|Z)+H(Z|X)=11()log()log(|)(|)ijijijijiiiip y zp z x

10、yzzx=(|)()log(|)iiijijiizxp y zyz；(|)()log(|)ijkjkiijkH YZ Xp x y zp y zx 将其代入上式计算即可得原始成立；（2）：H(YZ|X)-(H(Y|Z)+H(Z|XY)=()log(|)()log(|)()log(|)ijkjkiijjiijkijijkkijijkp x y zp y zxp x yp yxp x y zp zx y（3）：H(X|Z)-H(X|Y)-H(Y|Z)=()log(|)()log(|)()log(|)(|)(|)()log(|)ikikijijikijjkjkjkjkijijkijkikp x zp

11、 xzp x yp xyp y zp yzp yzp xyp x y zp xz=0 2.20 对任意概率事件集 X,Y,Z,证明下述三角不等式成立 (|)(|)(|)()()()H X YH Y ZH X ZH XYH YZH XZ 答：H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y);H(YZ)=H(Y)+H(Z|Y)=H(Z)+H(Y|Z);H(XZ)=H(Z)+H(Z|X)=H(Z)+H(X|Z);将以上三式代入原式可证得：(|)(|)(|)()()()H X YH Y ZH X ZH XYH YZH XZ；2.21 令 XYZ 为马尔可夫链，证明：(1)I(X;Z|Y)=0

12、(2)I(XY;Z)=I(Y;Z)(3)I(Y;Z|X)=I(Y;Z)+I(X;Z)(4)I(Y;Z|X)=I(Y;Z)(说明：对本题的马尔可夫链了解不够，答案仅供参考)答：(1)I(X;Z|Y)=H(Z|Y)-H(Z|XY);(|)(|)()log(|)kjijkjkH Z Yp zy q zp yz 根据马尔可夫链(|)(|)()log(|)kijijkijijkH Z XYp zx y q x yp zx y (|)()log(|)kjijkjkp zy q zp yz 因此：I（X;Z|Y）=0;(2)由（1）同理可得：I(XY;Z)=I(Y;Z);(3)根据（1）（2）可得：I(Y;

13、Z|X)=I(Y;Z)+I(X;Z);(4)(;|)(;)(;)(;)(;)H Y Z XI Y ZI X ZI XY ZI Y Z 2.22 证明概率分布121.(1).(1)iixxxxxqp pppp 的熵为 H（x）=2()HPP。答：二次扩张后，可以将信源记为如下形式：211222()()(1)(1)iiixx xxxxxq xp pp pppp()()log()xH xq xq x 二由以上的扩张后的信源我们可以得到：2()()log()xHxqq xq x；因此：H（x）=2()HPP。2.23 应用熵与互信息的链规则证明：I(X;Y)=111111(;|)nnijijijI x

14、 yXY。答：2.24 信源信息集 X=0,1，信宿信息集 Y=0,1，信源等概分布，通过二进制信道0.76 0.240.32 0.68(|)p y x传输，求：(1)该系统的平均互信息量(2)接收到 y=0 后，所提供的关于 x 的平均互信息量 IX；0。答：(1)由(;)()()I X YH YH Y X 设信宿符号接收概率分别为0q和1q 01010.760.240.760.24110.540.460.320.680.320.6822qqpp()(0.54,0.46)0.9954H YHbit/符号(2)101()()(0.76,0.24)(0.32,0.68)0.84972iiH Y

15、Xp H Y iHHbit/符号 从而(;)()()I X YH YH Y X0.9954-0.8497=0.146bit/符号 2.25 传输系统的输入符号集 X=x0,x1,x2,x3,输出符号集 Y=y0，y1，y2，输入符号与输出符号的联合概率 p(x y)用下述矩阵表示 01201230.1000.20.10()00.30.2000.1yyyxxp xyxx 计算 H(X),H(Y),H(Y|X),H(X Y)及 I(X;Y),并与维拉图对照。答：由 联 合 概 率 分 布 可 求 得 X 和 Y 的 一 维 概 率 分 布0.10.30.50.1XP，0.30.40.3YP 及转移概率矩阵1002103332055001Y XP()(0.1,0.3,0.5,0.1)1.685H XHbit/符号()(0.3,0.4,0.3)1.571H YHbit/符号 2 13 2()()()0.1(1,0,0)0.3(,0)0.5(,0)0.1(0,0,1)3 35 5XH Y Xp x H Y xHHHH 2 13 20.3(,)0.5(,)0.7613 35 5HHbit/符号()()()1.6850.7612.446H XYH XH Y Xbit/2 符号(;)()()()()1.5710.7610.81I X YH XH X YH YH Y X