作业参考答案信息论.docx

《作业参考答案信息论.docx》由会员分享，可在线阅读，更多相关《作业参考答案信息论.docx（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、解：（1）52 张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为526752528.066 10P因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件 A 为任一特定排列，则其发生概率为 6811.24 1052P A可得，该排列发生所给出的信息量为 22loglog 52225.58I AP A bit67.91dit（2）设事件 B 为从中抽取 13 张牌，所给出的点数互不相同。扑克牌 52 张中抽取 13 张，不考虑排列顺序，共有1352C种可能的组合。13 张牌点数互不相同意味着点数包括 A，2，K，而每一种点数有 4 种不同的花色意味着每个点数可以取 4 中花色

2、。所以 13 张牌中所有的点数都不相同的组合数为134。因为每种组合都是等概率发生的，所以 1313413524413391.0568 1052P BC则发生事件 B 所得到的信息量为 13213524loglog13.208I BP BC bit3.976dit(1)红色球和白色球各 50 只；(2)红色球 99 只，白色球 1 只；(3)红，黄，蓝，白色各 25 只。求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令R“取到的是红球”，W“取到的是白球”，Y“取到的是黄球”，B“取到的是蓝球”。（1）若布袋中有红色球和白色球各 5

3、0 只，即 5011002P RP W则 221loglog 212I RI W bit（2）若布袋中红色球 99 只，白色球 1 只，即 990.99100P R 10.01100P W 则 22loglog 0.990.0145I RP R bit22loglog 0.016.644I WP W bit（3）若布袋中有红，黄，蓝，白色各 25 只，即 2511004P RP YP BP W则 21log24I RI YI BI W bit2222220.2log 0.20.19log 0.190.18log 0.180.17log 0.170.16log 0.160.17log 0.17

4、2.657bit/symbol622loglog 62.585iiiP xP x不满足极值性的原因是61.071iiP x，不满足概率的完备性。证明：方法一：要证明不等式XHXZHYXHYXH,Z,成立，等价证明下式成立：0,XHZXHYXHZYXH根据熵函数的定义,loglogploglogloglog1(zijkijkijkijXYZXYZijkikijkiXYZXYZijkiijkXYZijikijikijkXYZijkiH X Y ZH X YH X ZH Xp x y zp x y zp x y zx yp x y zp x zp x y zp xp x y zp xp x y zp

5、 x yp x zp x yp x zep x y zp x yp x 信息论不)loglog|log1 10,Z,ijikijkXYZXYZijiikijkXYZXYZijikiijkp x yp x zep x y zp xep yxp x zp x y zeH X YH X YH X ZH Xp x yp x zp xp x y z等式所以等号成立的条件为得证方法二：因为()()(|)H XYZH XYH Z XY()()(|)H XZH XH Z X所以，求证不等式等价于(|)(|)H Z XYH Z X因为条件多的熵不大于条件少的熵，上式成立，原式得证。07()8zZP Z118z

6、27711()()loglog)0.544/8888kKH Zpbit symbolz 由()()()p xzp x p z x得11(0,0)(0)(00)122p xzp xp zx 1(0,1)(0)(10)0023(1,0)(1)(01)(1)(01)(1,0)81(1,1)(1)(11)(1)(11)(1,1)8p xzp xp zxp xzp xp zxp xp yxp xyp xzp xp zxp xp yxp xy113311()()logloglog1.406/228888ikikH XZp x zbit symbol 由对称性可得()1.406/H YZbt symbol(

7、)()(),()1p xyzp xy p z xyp z xy由又或者等于，或者等于0.1(0,0,0)(0,0)(00,0)(0,0)18p xyzp xyp zxyp xy 1(0,0,1)(0,0)(10,0)0083(0,1,0)(0,1)(00,1)(0,1)183(0,1,1)(0,1)(10,1)0083(1,0,0)(1,0)(01,0)(1,0)18(p xyzp xyp zxyp xyzp xyp zxyp xyp xyzp xyp zxyp xyzp xyp zxyp xyp 31,0,1)(1,0)(11,0)0081(1,1,0)(1,1)(01,1)0081(1,1

8、,1)(1,1)(11,1)(1,1)18xyzp xyp zxyp xyzp xyp zxyp xyzp xyp zxyp xy 2()()log()11333311loglogloglog1.811/88888888ijkijkijkH XYZp x y zp x y zbit symbol HXY-symbolbit/811.181log8183log8383log8381log81HYX/=HXY-H 1.811 10.811/Ybit symbol 根据对称性，HXY/=H|X YEMBED Equation.30.811/bit symbolHZX/=HXZ-H symolbitZ

9、/862.0544.0406.1HXZ/=HXZ-H symolbitX/406.01406.1根据对称性，HZY/=HZX/EMBED Equation.30.862/bit symbolHYZ/=HXZ/EMBED Equation.30.406/bit symolHYZX/=HXYZ-HsymolbitYZ/405.0406.1811.1根据对称性，把 X 和 Y 互换得HXZY/=HYZX/EMBED Equation.30.405/bit symbolHXYZ/=HXYZ-HsymolbitXY/0811.1811.1(3);/1 0.8110.189/I X YH XH X Ybi

10、t symbol;/1 0.8620.138/I X ZH XH XZbit symbol 根据对称性，得;0.138/I Y ZI X Zbit symbol;/0.8620.4050.457/I X YZH XZH X YZbit symbol;/0.811 0.4050.406/I Y ZXH YXH YXZbit symbol根据对称性得;/;/0.406/I X Z YI Y ZXbit symbol()ip xABC1/21/31/6()iip yxD1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6()iip x yABCD1/81/101/36E

11、1/81/151/12F1/81/151/36G1/81/101/36(,)()log()3.415/iiiiXYH X Yp x yp x y 比特 扩展消息2.19 设某离散平稳信源X，概率空间为01211 36 4 9 1 4XP 并设信源发出的符号只与前一个相邻符号有关，其联合概率为(,)ijp a a如下表所示：(,)ijp a aia012ja01/41/18011/181/31/18201/187/36求信源的信息熵、条件熵与联合熵，并比较信息熵与条件熵的大小。解：边缘分布为31()()iijjp ap a a条件概率()()()jijiip aap aap a如下表：()jip

12、 aaia012ja09/111/8012/113/42/9201/87/9所以信源熵为3111 4 1()()log()(,)1.542/36 9 4iiiH Xp ap aHbit symbol 条件熵：332111121()()log()()()0.87ijjiijbit symH XXp a ap aaH XH XXol可知21()()H XXH X因为无条件熵不小于条件熵，也可以得出如上结论。联合熵：331211121(,)()log()()()2.41ijijijbitH XXp a ap a aH XH XX 二个符号说明：（1）符号之间的相互依赖性造成了信源的条件熵21()H XX比信源熵)H X（少。（2）联合熵12(,)H XX表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为2121=(,)1.205()2bitHXH XXH X符号（）原因在于2HX（）考虑了符号间的统计相关性，平均每个符号的不确定度就会小于不考虑符号相关性的不确定度。2.20 黑白气象传真图的消息只有黑色（B）和白色（W）两种，即信源X B，W，设黑色出现的概率为()0.3PB，白色的出现概率为()0.7PW。（1）假设图上黑白消息出现前后没有关联，求熵