信息理论与编码参考答案6720.pdf

《信息理论与编码参考答案6720.pdf》由会员分享，可在线阅读，更多相关《信息理论与编码参考答案6720.pdf（21页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、.2.3 一副充分洗乱的牌（含 52），试问：（1）任一特定排列所给出的不确定性是多少？（2）随机抽取 13 牌，13 牌的点数互不相同时的不确定性是多少？解：（1）52 扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为 526752528.066 10P 因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件 A 为任一特定排列，则其发生概率为 6811.24 1052P A 可得，该排列发生所给出的信息量为 22loglog 52225.58I AP A bit 67.91 dit（2）设事件 B 为从中抽取 13 牌，所给出的点数互不相同。扑克牌 52 中抽取 13，不

2、考虑排列顺序，共有1352C种可能的组合。13 牌点数互不相同意味着点数包括 A，2，K，而每一种点数有 4 种不同的花色意味着每个点数可以取 4 中花色。所以 13 牌中所有的点数都不相同的组合数为134。因为每种组合都是等概率发生的，所以 1313413524413391.0568 1052P BC 则发生事件 B 所得到的信息量为 13213524loglog13.208I BP BC bit 3.976 dit 2.5 设在一只布袋中装有 100 只对人手的感觉完全相同的木球，每只上涂有 1 种颜色。100 只球的颜色有下列三种情况：(1)红色球和白色球各 50 只；(2)红色球 99

3、 只，白色球 1 只；(3)红，黄，蓝，白色各 25 只。求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令 R“取到的是红球”，W“取到的是白球”，Y“取到的是黄球”，B“取到的是蓝球”。（1）若布袋中有红色球和白色球各 50 只，即 5011002P RP W 则 221loglog 212I RI W bit（2）若布袋中红色球 99 只，白色球 1 只，即.990.99100P R 10.01100P W 则 22loglog 0.990.0145I RP R bit 22loglog 0.016.644I WP W bit（

4、3）若布袋中有红，黄，蓝，白色各 25 只，即 2511004P RP YP BP W 则 21log24I RI YI BI W bit 2.7 设信源为 1234560.20.190.180.170.160.17XXxxxxxxP 求 62logiiiP xP x，井解释为什么 622loglog 6iiiP xP x，不满足信源熵的极值性。解：62logiiiP xP x 2222220.2log 0.20.19log 0.190.18log 0.180.17log 0.170.16log 0.160.17log 0.17 2.657 bit/symbol 622loglog 62.58

5、5iiiP xP x 不满足极值性的原因是 61.071iiP x，不满足概率的完备性。2.8 大量统计表明，男性红绿色盲的发病率为 7%，女性发病率为 0.5%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。（1）这二个回答中各含多少信息量?（2）平均每个回答中含有多少信息量?（3）如果你问一位女同志，则答案中含有的平均信息量是多少?解：对于男性，是红绿色盲的概率记作 17%P a，不是红绿色盲的概率记作 293%P a，这两种情况各含的信息量为 1212100log1log3.837I aP a bit 2222100log1log0.10593I aP a bit 平均每个回答

6、中含有的信息量为 1122()()H AP a I aP aI a 7933.830.105100100 0.366 bit/回答.对 于 女 性，是 红 绿 色 盲 的 概 率 记 作 10.5%P b，不 是 红 绿 色 盲 的 记 作 299.5%P b，则平均每个回答中含有的信息量为 1122()()H BP b I bP bI b 22510009951000loglog100051000995 0.045 bit/回答 H AH B 联合熵和条件熵 2.9 任意三个离散随机变量X、Y和Z，求证：()()()()H XYZH XYH XZH X。证明：方法一：要证明不等式 XHXZH

7、YXHYXH,Z,成立，等价证明下式成立：0,XHZXHYXHZYXH 根据熵函数的定义 ,loglogploglogloglog1(zijkijkijkijXYZXYZijkikijkiXYZXYZijkiijkXYZijikijikijkXYZijkiH X Y ZH X YH X ZH Xp x y zp x y zp x y zx yp x y zp x zp x y zp xp x y zp xp x y zp x yp x zp x yp x zep x y zp x yp x 信息论不 )loglog|log1 10,Z,ijikijkXYZXYZijiikijkXYZXYZij

8、ikiijkp x yp x zep x y zp xep yxp x zp x y zeH X YH X YH X ZH Xp x yp x zp xp x y z等式所以等号成立的条件为 得证 方法二：因为()()(|)H XYZH XYH Z XY.()()(|)H XZH XH Z X 所以，求证不等式等价于(|)(|)H Z XYH Z X 因为条件多的熵不大于条件少的熵，上式成立，原式得证。2.11 设随机变量12,0,1Xx x和12,0,1Yy y的联合概率空间为 11122122(,)(,)(,)(,)1 83 83 81 8XYXYx yx yxyxyP 定义一个新随机变量

9、ZXY（普通乘积）。（1）计算熵()H X、()H Y、()H Z、()H XZ、()H YZ以及()H XYZ；（2）计算条件熵(|)H X Y、(|)H Y X、(|)H X Z、(|)H Z X、(|)H Y Z、(|)H Z Y、(|)H X YZ、(|)H Y XZ以及(|)H Z XY；（3）计算互信息量(;)I X Y、(;)I X Z、(;)I Y Z、(;|)I X Y Z、(;|)I Y Z X以及(;|)I X Z Y；解 （1）13100,00,1882p xp xyp xy 11102p xp x log1iiiH XP xP x bit/symbol 13100,0

10、1,0882p yp xyp xy 11102p yp y log1jjjH Yp yp y bit/symbol 1337(0)(00)(01)(10)8888P zP xyP xyP xy 71(1)1(0)188P zP z 可得ZXY的概率空间如下 07()8zZP Z 118z 27711()()loglog)0.544/8888kKH Zpbit symbolz 由()()()p xzp x p z x得 11(0,0)(0)(00)122p xzp xp zx .1(0,1)(0)(10)0023(1,0)(1)(01)(1)(01)(1,0)81(1,1)(1)(11)(1)(

11、11)(1,1)8p xzp xp zxp xzp xp zxp xp yxp xyp xzp xp zxp xp yxp xy 113311()()logloglog1.406/228888ikikH XZp x zbit symbol 由对称性可得()1.406/H YZbt symbol()()(),()1p xyzp xy p z xyp z xy由又或者等于，或者等于 0.1(0,0,0)(0,0)(00,0)(0,0)18p xyzp xyp zxyp xy 1(0,0,1)(0,0)(10,0)0083(0,1,0)(0,1)(00,1)(0,1)183(0,1,1)(0,1)(

12、10,1)0083(1,0,0)(1,0)(01,0)(1,0)18(p xyzp xyp zxyp xyzp xyp zxyp xyp xyzp xyp zxyp xyzp xyp zxyp xyp 31,0,1)(1,0)(11,0)0081(1,1,0)(1,1)(01,1)0081(1,1,1)(1,1)(11,1)(1,1)18xyzp xyp zxyp xyzp xyp zxyp xyzp xyp zxyp xy 2()()log()11333311loglogloglog1.811/88888888ijkijkijkH XYZp x y zp x y zbit symbol （2

13、）H XY-symbolbit/811.181log8183log8383log8381log81 HYX/=HXY-H 1.811 10.811/Ybit symbol 根据对称性，.HXY/=H|X Y0.811/bit symbol HZX/=HXZ-H symolbitZ/862.0544.0406.1 HXZ/=HXZ-H symolbitX/406.01406.1 根据对称性，HZY/=HZX/0.862/bit symbol HYZ/=HXZ/0.406/bit symol HYZX/=HXYZ-H symolbitYZ/405.0406.1811.1 根据对称性，把 X 和 Y

14、 互换得 HXZY/=HYZX/0.405/bit symbol HXYZ/=HXYZ-HsymolbitXY/0811.1811.1(3);/1 0.8110.189/I X YH XH X Ybit symbol ;/1 0.8620.138/I X ZH XH XZbit symbol 根据对称性，得;0.138/I Y ZI X Zbit symbol;/0.8620.4050.457/I X Y ZH XZH X YZbit symbol;/0.8110.4050.406/I Y ZXH YXH YXZbit symbol 根据对称性得;/;/0.406/I X Z YI Y ZXb

15、it symbol 2.17 设信源发出二次扩展消息iix y,其中第一个符号为 A、B、C 三种消息，第二个符号为 D、E、F、G 四种消息，概率()ip x和()iip yx如下：()ip x A B C 1/2 1/3 1/6()iip yx D 1/4 3/10 1/6 E 1/4 1/5 1/2 F 1/4 1/5 1/6 G 1/4 3/10 1/6 .求二次扩展信源的联合熵(,)H X Y。解：联合概率为(,)(|)()ijjiip x yp yx p x 可得 X,Y 的联合概率分布如下：()iip x y A B C D 1/8 1/10 1/36 E 1/8 1/15 1/

16、12 F 1/8 1/15 1/36 G 1/8 1/10 1/36 所以(,)()log()3.415/iiiiXYH X Yp x yp x y 比特 扩展消息 2.19 设某离散平稳信源X，概率空间为 01211 36 4 9 1 4XP 并设信源发出的符号只与前一个相邻符号有关，其联合概率为(,)ijp a a如下表所示：(,)ijp a a ia 0 1 2 ja 0 1/4 1/18 0 1 1/18 1/3 1/18 2 0 1/18 7/36 求信源的信息熵、条件熵与联合熵，并比较信息熵与条件熵的大小。解：边缘分布为 31()()iijjp ap aa 条件概率()()()ji

17、jiip aap aap a如下表：()jip aa ia 0 1 2 ja 0 9/11 1/8 0 1 2/11 3/4 2/9 2 0 1/8 7/9 所以信源熵为 3111 4 1()()log()(,)1.542/36 9 4iiiH Xp ap aHbit symbol .条件熵：332111121()()log()()()0.87ijjiijbit symH XXp a ap aaH XH XXol 可知 21()()H XXH X 因为无条件熵不小于条件熵，也可以得出如上结论。联合熵：331211121(,)()log()()()2.41ijijijbitH XXp a ap

18、a aH XH XX 二个符号 说明：（1）符号之间的相互依赖性造成了信源的条件熵21()H XX比信源熵)H X（少。（2）联合熵12(,)H XX表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为 2121=(,)1.205()2bitHXH XXH X符号（）原因在于2HX（）考虑了符号间的统计相关性，平均每个符号的不确定度就会小于不考虑符号相关性的不确定度。2.20 黑白气象传真图的消息只有黑色（B）和白色（W）两种，即信源X B，W，设黑色出现的概率为()0.3PB，白色的出现概率为()0.7PW。（1）假设图上黑白消息出现前后没有关联，求熵)(XH（2）假

19、设图上黑白消息出现前后有关联，其依赖关系为(|)0.9PWW，(|)0.1PBW，(|)0.2PWB，(|)0.8PBB，求此一阶马尔可夫信源的熵)(2XH。（3）分别求上述两种信源的剩余度，并比较)(XH和)(2XH的大小，试说明其物理意义。解：（1）假设传真图上黑白消息没有关联，则等效于一个 DMS，则信源概率空间为()1().xXp xP xBW0307 信源熵为.21()()log()(0.3,0.7)0.7log0.70.3log0.30.881ijisymbolH Xp ap aH bit（2）该一阶马尔可夫信源的状态空间集为,SW B 根据题意可得状态的一步转移矩阵 0.90.1

20、0.20.8WBWB 状态极限概率(),()p Wp B满足 1)(,)|()()(SSiSSjijjijSpSSPSpSp 即()(|)()(|)()0.9()0.2()()(|)()(|)()0.1()0.8()()()1p Wp W W p Wp W B p Bp Wp Bp Bp B W p Wp B B p Bp Wp Bp Wp B 可以解得 2()3p W，1()3p B 该一阶马尔可夫信源的熵为 2()(|)jjjSHp SH X S(-0.2log0.20.8log0.8(-0.9log0.90.1log0.1ppB）W）12(0.2,0.8)(0.9,0.1)33HH 12

21、0.7720.4690.55333bit/symbol（3）黑白消息信源的剩余度为 1()0.881=110.119log2log2H X 一阶马尔可夫信源的剩余度为 220.553110.447log2log2H 由前两小题中计算的()H X和2H比较可知 212)H XH（即 该结果说明：当信源的消息（符号）之间有依赖时，信源输出消息的不确定性降低。所以，信源消息之间有依赖时信源熵小于信源消息之间无依赖时信源熵。这表明信源熵反映了信源的平均不确定性的大小。而信源剩余度反映了信源消息依赖关系的强弱，剩余度越大，信源消息之间依赖关系就越大。2.23 设信源为.4341=21xxPXX 试求：（

22、1）信源的熵、信息含量效率以及冗余度；（2）求二次和三次扩展信源的概率空间和熵。解：（1）134()log4log0.811/443H Xbit符号 0.81181.1%log2 10.189（2）假设 X 为 DMS，则 1212()()()P x xP x P x 123123()()()()P x x xP x P x P x 可得二次扩展信源的概率空间 221 1212122339116161616Xx xx xx xx xXP 2 次扩展信源的熵为 2()2()1.622/H XH Xbit2 元符号 三次扩展信源的概率空间及熵为 331 1 11 1212112221 121222

23、12223393992716464646464646464Xx x xx x xx x xx x xx x xx x xx x xx x xXP 3()3()2.433/3H XH Xbit元符号 2.18 设有一个信源，它产生 0，1 符号的信息。它在任意时间而且不论以前发生过什么符号，均按(0)0.4,(1)0.6pp的概率发出符号。（1）试问这个信源是否是平稳的？（2）试计算2()H X,312()H XX X及H；（3）试计算4()H X并写出4X信源中可能有的所有符号。解：.（1）该信源在任何时刻发出的符号概率都是相同的，即信源发出符号概率分布与时间起点无关，因此这个信源是平稳信源。

24、又因为信源发出的符号之间彼此独立。所以该信源也是离散无记忆信源。（2）2()2()2 H(0.4,0.6)2(0.4log0.40.6log0.6)1.942H XH Xbit symbol 312(/)H XX X 3()H X （信源无记忆）()log()(0.4log0.40.6log0.6)0.971iiip xp xbit symbol 121lim()()0.971NNNNHH XX XXH Xbit symbol（3）4()4()H XH X （信源无记忆）4(0.4log 0.40.6log 0.6)3.8844bit 元符号 4X的所有符号：0000 0001 0010 00

25、11 0100 0101 0110 01111000 1001 1010 1011 1100 1101 1110 1111 2.23 设信源为 4341=21xxPXX 试求：（1）信源的熵、信息含量效率以及冗余度；（2）求二次和三次扩展信源的概率空间和熵。解：（1）134()log4log0.811/443H Xbit符号 0.81181.1%log2 10.189（2）假设 X 为 DMS，则 1212()()()P x xP x P x.123123()()()()P x x xP x P x P x 可得二次扩展信源的概率空间 221 1212122339116161616Xx xx

26、xx xx xXP 2 次扩展信源的熵为 2()2()1.622/H XH Xbit2 元符号 三次扩展信源的概率空间及熵为 331 1 11 1212112221 12122212223393992716464646464646464Xx x xx x xx x xx x xx x xx x xx x xx x xXP 3()3()2.433/3H XH Xbit元符号 2.25 设连续随机变量 X 的概率密度函数为 其他axbxxfX00=)(2（1）求 X 的熵；（2）求)0(+=AAXY的熵；（3）求XY2=的熵。解：（1）0()()log()aXXh Xfxfx dx-20logaX

27、fxbx dx-200log()2logaaXbfx dxbxxdx-20log2 loglnabbexxdx-3322logloglog93babaeab-因为 200()1aaXfx dxbx dx 所以.23=ab 故 2()log2loglog33log3h Xeaa-2loglog3log3ea-（2）首先求得 Y 的分布函数 F YyF XAy F XyA()y AXfx dx 01,(),0,y AXyAafx dxAyAayA Y 的概率密度为()YdFfydy 2(),0,b yAAyAa其它 Y 的微分熵为()()A aYAh Yfy dy 22()log()A aAb y

28、Ab yA dy 220logabtbt dt （令tyA）()h X 2loglog3log3ea-因为已知 X，关于 Y 没有不确定，常数 A 不会增加不确定度，所以从熵的概念上也可判断此.时()()h Yh X（3）首先求得 Y 的分布函数 2F YyFXy/2F Xy/2()yXfx dx/201,2(),020,0yXyafx dxyay Y 的概率密度为()YdFfydy 21,0280,byya其它 Y 的微分熵为 20()()aYh Yfy dy 222011log88abyby dy 222001loglog2aabtbt dtbtdt （令/2ty）()log 2h X 2

29、3logloglog32ea-3.2 信道线图如下，试确定该信道的转移概率矩阵 解：按照转移矩阵的排列原则：行对应输入符号，列对应输出符号 0.20.30.30.150.040.0090.00090.00010.00010.00090.0090.040.150.30.30.2.3.3 DMC的转移矩阵如下|0.60.30.10.30.10.6Y XP （1）画出信道线图；（2）若输入概率为 0.50.5XP，求联合概率、输出概率以及后验概率。解：（1）（2）1()P a乘以|XYP的第 1 行，2()P a乘以|XYP的第 2 行，得联合概率矩阵XYP：0.30.150.050.150.050

30、.3XYP XYP的各列元素相加得对应的输出概率，写成矩阵形式：0.450.200.35YP XYP的各列元素除以对应的输出概率，得后验概率矩阵：|2/33/41/71/31/46/7X YP 3.4 设离散无记忆信源X通过离散无记忆信道|,Y XX PY传送信息，设信源的概率分布和信道的线图分别为 4.06.021aaPX 1a2a1b2b0.80.90.20.1 试求：（1）信源X的符号1a和2a分别含有的自信息；（2）从输出符号(1,2)jbj 所获得的关于输入符号(1,2)ia i 的信息量；（3）信源X和信道输出Y的熵；（4）信道疑义度(|)H X Y和噪声熵(|)H Y X；（5）

31、从信道输出Y中获得的平均互信息量。解：(1)11()log0.73700.6I a bit/符号 21()log1.32200.4I a bit/符号 (2)YXY XPPP=0.80.20.60.40.520.480.10.9 11111(;)()()I a bI bI b a=0.94340.32190.6215 bit/符号 12221(;)()()I a bI bI bb=1.05892.32201.2631 bit/符号.21112(;)()()I a bI bI b a=0.94343.3222.3786 bit/符号 22222(;)()()I a bI bI ba=1.0589

32、0.15200.9609 bit/符号(3)()0.60.73700.4 1.32200.971H X bit/符号()0.520.94340.48 1.05890.9988H Y bit/符号(4)、(5)1()(0.8,0.2)0.8 0.32190.22.32200.7219H Y aH bit/符号 2()(0.1,0.9)0.1 3.3220.90.1520.469H Y aH bit/符号()0.60.72190.40.4690.6207H Y X bit/符号(;)()()0.99880.62070.3781I X YH YH Y X bit/符号 又根据 ;()()I X YH

33、 XH X Y()()(;)H X YH XI X Y=0.9710.37810.5929 bit/符号 3.6 举出下列信道的实例，给出线图和转移矩阵。（1）无损的，但不是确定的，也不是对称的；（2）准对称且无损，但不是确定的；（3）无损的确定信道。解：(1)满足()0H X Y（无损），()0H Y X(不确定)，不具有行列排列性，线图和转移矩阵如下 1a1b1 2a2b3b0.50.5 10000.50.5Y ZP(2)无损要求()0H X Y；不确定要求()0H Y X，具有行排列性，线图和转移矩阵如下：1a1b0.40.62b.2a3b0.40.64b 0.40.600000.60.

34、4Y ZP(3)无损、确定信道的线图和转移矩阵如下 1a1b1 2a2b1 1001 Y XP 3.7 求下列两个信道的信道容量和最佳输入分布，并加以比较。其中1 pp。2(1)2pppp 2002)2(pppp 解：(1)方法一：利用一般 DMC 信道容量解的充要条件，计算各偏互信息，并使之均等于信道容量 C，再结合输出概率的完备性，可以解出信道容量，最后利用全概率公式得出最佳输入分布。该方法通用，但过程繁琐。方法二：观察发现此信道是准对称信道。信道矩阵中Y可划分为二个互不相交的子集，如下：,pppp，22 而这两个子矩阵满足对称性，因此，可直接利用准对称信道的信道容量公式进行计算。121l

35、og(,)nkkkskMMCsH p pprr 其中 n=2,2r，112 M，24M，24M，12s,21s，所以 11212442log1log(,2)2222212log2 log2loglog2 log212212logloglog12CH pppppppppp 输入等概率分布时达到信道容量。（2）此信道也是准对称信道，现采用准对称信道的信道容量公式进行计算。此信道矩阵中Y可划分成两个互不相交的子集为.,pppp，2002 这两矩阵为对称矩阵。其中 n=2，2r，112 M，22M，122ss，所以 21211log(,)1 21 2222log2log(,2)222221 2log2

36、 logloglog2 log21 221 2logloglog2 log21 22 log2nkkkskMMCsH p pprrH ppppppppppC 输入等概率分布（121()()2P aP a）时达到此信道容量。两个信道的噪声熵相等但第二个信道的输出符号个数较多，输出熵较大，故信道容量也较大。3.8 求下列二个信道的信道容量及其最佳的输入概率分布。1a2a1b2b3b4b1 31 61 31 61 61 61 31 3 1a2a1b2b0.980.020.980.02 解：图中 2 个信道的信道矩阵为 11111363611116363P 20.980.020.020.98P 矩阵为

37、行列排列阵，其满足对称性，所以这两信道是对称离散信道。由对称离散信道的信道容量公式得 11111log4,0.08173636CH 比特/符号 2log20.02,0.980.858CH特/符号 最佳输入分布是输入为等概率分布。3.9 设信道转移矩阵为.|1000101Y XPpppp （1）求信道容量和最佳输入分布的一般表达式；（2）当0p 和1 2p 时，信道容量分别为多少？并针对计算结果作一些说明。解：（1）该信道属一般信道，设最佳输入分布为*123(),(),()XPP aP aP a，三个输入概率外加信道容量C，共 4 个参数，需列 4 个方程。由定理 3.6，有 112233231

38、231(;)log()1(;)(1)loglog()()1(;)log(1)log()()()()()1I a YCP bppI a YppCP bP bppI a YppCP bP bP bP bP b 化简得 1232232123log()(1)log()log()()log()(1)log()()()()()1 P bCpP bpP bChppP bpP bChpP bP bP b 解得 221()(1)1(1)(1)()23(1)log(12)log12(1)1()212(1)(1)()()212(1)hpppCppppC hpppCppP bppppP bP bpp 转移概率(|)j

39、iP ba已知，输出分布()jP b已求出，根据()()(|)jijiiP bP a P ba可求出*()iP a。*11*223*323()()()(1)()()()()(1)()P bP aP bp P apP aP bpP ap P a 解得*1(1)(1)*23(1)1()12(1)(1)()()12(1)ppppppP appppP aP app（2）当p=0,此信道为一一对应信道，得 log31.585C bit/信道符号，最佳输入分布为.1231()()()3P aP aP a 当12P 时，log2C=1 bit/信道符号，最佳输入分布为 112P a，231()()4P aP

40、 a p=0 时，信道为确定无损信道，可以从输出端得到信源的全部信息量，信源的最大熵即为信道容量log3C。但12p时，信道存在干扰，信道容量小于前者。3.10 信道及它的输入、输出如图题 3.1 所示 110011 图题 3.1|101 Y XP ,0,1X Y(1)求最佳输入分布；(2)求12时信道容量；(3)求当0和1时的最佳输入分布值。解：参考教材-例 3.12 那么最佳输入分布为 11(0)1(1)p X 11(1)11(1)p X （2）12时，代入p的表达式，可得 25p 所以.()()2 12 121 1(,1)(,)5 25 252 21 42(,)5 550.72190.40.3219/CH YH Y XHHH比特 符号（3）记1A，则 1000limlimlim1A 0011limlim1(1)1 12ApA 所以0时Z信道线图趋于一个无噪无损信道，当输入等概时达到信道容量，等效信道如下：当1时，原信道趋近于信道 00111 此时(;)()(|)000I X YH YH Y X，那么0C，无所谓最佳输入分布，任意输入分布均可使信道达到该信道容量。