2022年《信息论》试题及答案.pdf

《2022年《信息论》试题及答案.pdf》由会员分享，可在线阅读，更多相关《2022年《信息论》试题及答案.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论试题及答案期终练习一、某地区的人群中,10就是胖子 ,80不胖不瘦 ,10就是瘦子。已知胖子得高血压的概率就是 15,不胖不瘦者得高血压的概率就是10,瘦子得高血压的概率就是5,则 “该地区的某一位高血压者就是胖子”这句话包含了多少信息量。解:设事件 A: 某人就是胖子 ; B:某人就是不胖不瘦C:某人就是瘦子D:某人就是高血压者根据题意 ,可知 :P(A)=0 、1 P(B)=0、8 P(C)=0 、1 P(D|A)=0 、15 P(D|B)=0 、1 P(D|C)=0、05 而“该地区的某一位高血压者就是胖子”这一消息表明在D 事件发生的条件下,A 事件的发生 ,故其概率为P(A|D

2、) 根据贝叶斯定律,可得 : P(D)P(A)* P(D|A) P(B)* P(D|B) P(C)* P(D|C) 0、1 P(A|D) P(AD)/P(D) P(D|A)*P(A)/ P(D) 0、 15*0、1/0、10、15 故得知“该地区的某一位高血压者就是胖子”这一消息获得的多少信息量为: I(A|D) = - logP(A|D)=log(0、15)2、73 (bit) 二、设有一个马尔可夫信源,它的状态集为 S1,S2,S3,符号集为 a1,a2,a3,以及在某状态下发出符号集的概率就是(|)kip as(i,k=1,2,3), 如图所示(1)求图中马尔可夫信源的状态极限概率并找出

3、符号的极限概率(2)计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s1,s2,s3) (3)求出马尔可夫信源熵H解:(1) 该信源达到平稳后, 有以下关系成立: 13212312123()()31()()()4211()()()42()()()1Q EQ EQ EQ EQ EQ EQ EQ EQ EQ EQ E可得1232()73()72()7Q EQ EQ E精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 1 页，共 5 页 - - - - - - - - - - 信息论试题及答案311

4、1322133313()() (|)72()() (| )73()()(|)7iiiiiiiiip aQ Ep a Ep aQ Ep a Ep aQ Ep a E(2)311113222133331(|)(| )log(|)1.5 bit/(|)(|)log(|)1 bit/(|)(|)log(|)0 bit/kkkkkkkkkH XSp a Sp aSH XSp a Sp aSH XSp a Sp aS（符号）（符号）（符号）(3)31()(|)2/ 7*3/23/ 7*12/7*06 /7iiiHQ EH XE(比特 /符号 ) 三、二元对称信道的传递矩阵为0.60.40.40.6(1)若

5、 P(0)=3/4,P(1)=1/4, 求 H(X),H(X|Y) 与 I(X;Y) (2)求该信道的信道容量及其最大信道容量对应的最佳输入分布解:()H X=21()log()iiip xp x=0.75log 750.25log 250、811(比特 /符号 ) 1111212()() (|)() (|)p yp xp yxp xp yx=0、75*0 、6+0、25*0、4=0、55 2121222()() (|)()(|)p yp xp yxp xp yx0、75*0、4+0、25*0 、6=0、 45 ( )0.55log0.550.45log0.45H Y0、992(比特 /符号

6、) 122(|)( )(|)()(|)0.75(0.6,0.4)0.25(0.4,0.6)(0.6log 0.60.4log 0.4)0.971/H Y Xp x H Y xp xH Y xHH（比特 符号）(|)()( )()(|)( )H XYH XYH YH XH Y XH Y0、811+0、971-0 、992=0、79 (比特 /符号) I(X;Y)=H(X)-H(X|Y)=0、811-0、79=0、021(比特 /符号 ) (2)此信道为二元对称信道,所以信道容量为C=1-H(p)=1-H(0 、6)=1-0、971=0、029(比特/符号 ) 当输入等概分布时达到信道容量精品资料

7、 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 2 页，共 5 页 - - - - - - - - - - 信息论试题及答案四、求信道22042240pppp的信道容量 ,其中1pp。解:这就是一个准对称信道,可把信道矩阵分为:2222pppp,04401114NM,224 ,4NM故21log(2 ,2 ,0,4 )loglog2(2 ,2 ,0,4 )(1 4 )log(14 )4 log41(2 ,2 ,4 )(14 )log(14 )4 log4 (/kkkCrH ppNMH ppH pp比特 符号）当输

8、入等概分布时达到信道容量。1 五、信源123456( )0.4xxxxxxXP x(1)利用霍夫曼码编成二元变长的惟一可译码,并求其L(2)利用费诺码编成二元变长的惟一可译码,并求其L(3)利用香农码编成二元变长的惟一可译码,并求其(1)香农编码 : 信源符号概率 P(xi) 码长 li累积概率P 码字x10、4 2 0 00 x20、2 3 0、 4 011 x30、2 3 0、 6 100 x40、1 4 0、 8 1100 x50、05 5 0、 9 11100 x60、05 5 0、95 11110 L=0、420、230、23 0、140、055 0、05 52、9(码元 /信源符号

9、 ) H(X)/( Llogr)=2 、222/2、9=0、7662(2)霍夫曼编码 : 精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 3 页，共 5 页 - - - - - - - - - - 信息论试题及答案L=0、42+0、222+0、1 3+0、0542=2、 3(码元 /信源符号 ) H(X)/( Llogr)=0 、9964 (3)费诺编码 : L=0、42+0、222+0、1 3+0、0542=2、 3(码元 /信源符号 ) H(X)/( Llogr)= 0 、9964 六、设有一离散信道

10、,传递矩阵为111236111623111362设 P(x1)= P(x2)=1/4,P(x3)=1/2,试分别按最小错误概率准则与最大似然译码准则确定译码规则,并相应的计算机平均错误概率的大小。解:(1)按最大似然译码准则F(y1)=x1 F(y2)=x2 F(y3)=x3 P(E)=1/2(1/3+1/6)+1/4 2(1/3+1/6)=1/2 (2)联合概率矩阵为,则按最小错误概率准11181224111248121114612F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/24 八、一个三元对称信源0,1,211

11、1( )333UP u精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 4 页，共 5 页 - - - - - - - - - - 信息论试题及答案接收符号为V0,1,2, 其失真矩阵为0 1 11 0 11 1 0(1)求 Dmax与 Dmin及信源的 R(D) 函数。(2)求出达到()R D的正向试验信道的传递概率解:(1)max12D) ( , )13UPd u vrVmin（u3min1D)( , )0iPd u vj（u min因为就是三元对称信源,又就是等概分布,所以根据r 元离散对称信源可得R

12、(D) log3Dlog2 H(D) log3DH(D) 0=D2/3 (2)满足 R(D)函数的信道其反向传递概率为1()(|)()213ijDijP uvDijj以及有 P(v )=根据根据贝叶斯定律,可得该信道的正向传递概率为: 1()(|)()2jiDijP vuDij九、设二元码为C=11100,01001,10010,00111 (1)求此码的最小距离mind; (2)采用最小距离译码准则,试问接收序列10000,01100 与 00100 应译成什么码字？(3)此码能纠正几位码元的错误？解:(1)码距如左图0011111100010011001011100010011001000111334433故 dmin3 (2)码距如右图故 10000 译为 10010,01100 译为 11100,00100 译为 11100 或 00111 (3)根据min21de,知此码能纠正一位码元的错误。精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 5 页，共 5 页 - - - - - - - - - -