2022年最新《信息论》试题及答案.pdf

《2022年最新《信息论》试题及答案.pdf》由会员分享，可在线阅读，更多相关《2022年最新《信息论》试题及答案.pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精品文档精品文档期终练习一、某地区的人群中，10是胖子， 80不胖不瘦， 10是瘦子。已知胖子得高血压的概率是 15，不胖不瘦者得高血压的概率是10，瘦子得高血压的概率是5，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。解：设事件A：某人是胖子；B：某人是不胖不瘦C：某人是瘦子D：某人是高血压者根据题意，可知：P（A）=0.1 P（B）=0.8 P（C）=0.1 P（D|A ）=0.15 P（D|B）=0.1 P（D|C）=0.05 而“该地区的某一位高血压者是胖子”这一消息表明在D 事件发生的条件下，A 事件的发生，故其概率为P（A|D ）根据贝叶斯定律，可得：P（D） P（A）

2、* P（D|A ） P（B）* P（D|B） P（C）* P（D|C） 0.1 P（A|D ） P（AD ）/P（D）P（D|A）*P（ A） / P（D） 0.15*0.1/0.1 0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为：I（A|D ） = - logP（A|D ）=log（ 0.15）2.73 （bit ）二、设有一个马尔可夫信源，它的状态集为S1，S2，S3，符号集为 a1，a2，a3 ，以及在某状态下发出符号集的概率是(|)kip as（i，k=1，2，3） ，如图所示（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率（2）计算信源处在某一状

3、态下输出符号的条件熵H(X|S=j) (j=s1，s2，s3) （3）求出马尔可夫信源熵H解： （1）该信源达到平稳后，有以下关系成立：13212312123()()31()()()4211()()()42()()()1Q EQ EQ EQ EQ EQ EQ EQ EQ EQ EQ E可得1232()73()72()7Q EQ EQ E精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 1 页，共 6 页 - - - - - - - - - - 精品文档精品文档3111322133313()() (|)72(

4、)() (| )73()()(|)7iiiiiiiiip aQ Ep a Ep aQ Ep a Ep aQ Ep a E（2）311113222133331(|)(| )log(|)1.5 bit/(|)(|)log(|)1 bit/(|)(|)log(|)0 bit/kkkkkkkkkH XSp a Sp aSH XSp a Sp aSH XSp a Sp aS（符号）（符号）（符号）（3）31()(|)2/ 7*3/23/ 7*12/ 7*06 / 7iiiHQ EH XE（比特 /符号）三、二元对称信道的传递矩阵为0.60.40.40.6（1）若 P(0)=3/4，P(1)=1/4，求

5、H（X） ，H（X|Y ）和 I（X；Y）（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布解：()H X=21()log()iiip xp x=0.75log 750.25log 250.811(比特 /符号 ) 1111212()() (|)() (|)p yp xp yxp xp yx=0.75*0.6+0.25*0.4=0.55 2121222()() (|)()(|)p yp xp yxp xp yx0.75*0.4+0.25*0.6=0.45 ( )0.55log0.550.45log0.45H Y0.992(比特 /符号 ) 122(|)( )(|)()(|)0.75(0

6、.6,0.4)0.25(0.4,0.6)(0.6log 0.60.4log 0.4)0.971/H Y Xp x H Y xp xH Y xHH（比特 符号）(|)()( )()(|)( )H XYH XYH YH XH Y XH Y0.811+0.971-0.992=0.79 (比特 /符号 ) I ( X ; Y ) = H ( X ) - H ( X=0.811-0.79=0.021( 比特 /符号 ) （2）此信道为二元对称信道，所以信道容量为C=1-H(p)=1-H(0.6)=1-0.971=0.029(比特 /符号 ) 当输入等概分布时达到信道容量精品资料 - - - 欢迎下载 -

7、 - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 2 页，共 6 页 - - - - - - - - - - 精品文档精品文档四、求信道22042240pppp的信道容量，其中1pp。解：这是一个准对称信道，可把信道矩阵分为：2222pppp，04401114NM，224 ,4NM故21log(2 ,2 ,0,4 )loglog2(2 ,2 ,0,4 )(1 4 )log(14 )4 log41(2 ,2 ,4 )(14 )log(14 )4 log4 (/kkkCrH ppNMH ppH pp比特 符号）当输入等概分布时达到信道容量。1

8、五、信源123456( )0.4xxxxxxXP x（1）利用霍夫曼码编成二元变长的惟一可译码，并求其L（2）利用费诺码编成二元变长的惟一可译码，并求其L（3）利用香农码编成二元变长的惟一可译码，并求其(1)香农编码：信源符号概率 P(xi) 码长 li累积概率P 码字x10.4 2 0 00 x20.2 3 0.4 011 x30.2 3 0.6 100 x40.1 4 0.8 1100 x50.05 5 0.9 11100 x60.05 5 0.95 11110 L=0.420.230.230.1 40.0550.0552.9(码元 /信源符号 )H(X)/( Llogr)=2.222/2

9、.9=0.7662 （2）霍夫曼编码：精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 3 页，共 6 页 - - - - - - - - - - 精品文档精品文档L=0.42+0.222+0.13+0.0542=2.3(码元 /信源符号 ) H(X)/( Llogr)=0.9964 (3)费诺编码：L=0.42+0.222+0.13+0.0542=2.3(码元 /信源符号 ) H(X)/( Llogr)= 0.9964 六、设有一离散信道，传递矩阵为111236111623111362设 P(x1)= P

10、(x2)=1/4，P(x3)=1/2，试分别按最小错误概率准则和最大似然译码准则确定译码规则，并相应的计算机平均错误概率的大小。解： （1）按最大似然译码准则F(y1)=x1 F(y2)=x2 F(y3)=x3 P(E)=1/2(1/3+1/6)+1/4 2(1/3+1/6)=1/2 (2)联合概率矩阵为，则按最小错误概率准精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 4 页，共 6 页 - - - - - - - - - - 精品文档精品文档11181224111248121114612F(y1)=x

11、3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/24 八、一个三元对称信源0,1,2111( )333UP u接收符号为V0，1，2，其失真矩阵为0 1 11 0 11 1 0（1）求 Dmax和 Dmin及信源的R(D) 函数。（2）求出达到()R D的正向试验信道的传递概率解： （1）max12D) ( , )13UPd u vrVmin（u3min1D)( , )0iPd u vj（u min因为是三元对称信源，又是等概分布，所以根据r 元离散对称信源可得R（D） log3Dlog2H（D）log3DH（D）0=D2/3 （2）

12、满足 R（D）函数的信道其反向传递概率为1()(|)()213ijDijP uvDijj以及有 P(v )=根据根据贝叶斯定律，可得该信道的正向传递概率为：1()(|)()2jiDijP vuDij九、设二元码为C=11100，01001，10010，00111 （1）求此码的最小距离mind；（2）采用最小距离译码准则，试问接收序列10000，01100 和 00100 应译成什么码字？（3）此码能纠正几位码元的错误？精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 5 页，共 6 页 - - - - - - - - - - 精品文档精品文档解： （1）码距如左图0011111100010011001011100010011001000111334433故 dmin3 （2）码距如右图故 10000 译为 10010，01100 译为 11100，00100 译为 11100 或 00111 （3）根据min21de,知此码能纠正一位码元的错误。精品资料 - - - 欢迎下载 - - - - - - - - - - - 欢迎下载 名师归纳 - - - - - - - - - -第 6 页，共 6 页 - - - - - - - - - -