最新《信息论》试题及答案.doc

《最新《信息论》试题及答案.doc》由会员分享，可在线阅读，更多相关《最新《信息论》试题及答案.doc（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精品资料信息论试题及答案.期终练习一、某地区的人群中，10是胖子，80不胖不瘦，10是瘦子。已知胖子得高血压的概率是15，不胖不瘦者得高血压的概率是10，瘦子得高血压的概率是5，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。解：设事件A：某人是胖子； B：某人是不胖不瘦 C：某人是瘦子 D：某人是高血压者根据题意，可知：P（A）=0.1 P（B）=0.8 P（C）=0.1P（D|A）=0.15 P（D|B）=0.1 P（D|C）=0.05 而“该地区的某一位高血压者是胖子” 这一消息表明在D事件发生的条件下，A事件的发生，故其概率为P（A|D）根据贝叶斯定律，可得：P（D）P（A）

2、* P（D|A）P（B）* P（D|B）P（C）* P（D|C）0.1 P（A|D）P（AD）/P（D）P（D|A）*P（A）/ P（D）0.15*0.1/0.10.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为：I（A|D） = - logP（A|D）=log（0.15）2.73 （bit） 二、设有一个马尔可夫信源，它的状态集为S1，S2，S3，符号集为a1，a2，a3，以及在某状态下发出符号集的概率是（i，k=1，2，3），如图所示（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s1，s

3、2，s3)（3）求出马尔可夫信源熵解：（1）该信源达到平稳后，有以下关系成立： 可得 （2） （3）（比特/符号）三、二元对称信道的传递矩阵为（1）若P(0)=3/4，P(1)=1/4，求H（X），H（X|Y）和I（X；Y）（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布解：=0.811(比特/符号)=0.75*0.6+0.25*0.4=0.550.75*0.4+0.25*0.6=0.450.992(比特/符号)0.811+0.971-0.992=0.79 (比特/符号) =0.811-0.79=0.021(比特/符号) （2）此信道为二元对称信道，所以信道容量为 C=1-H(p)=

4、1-H(0.6)=1-0.971=0.029(比特/符号) 当输入等概分布时达到信道容量四、求信道的信道容量，其中。解：这是一个准对称信道，可把信道矩阵分为：， 故 当输入等概分布时达到信道容量。 1 五、信源（1）利用霍夫曼码编成二元变长的惟一可译码，并求其（2）利用费诺码编成二元变长的惟一可译码，并求其（3）利用香农码编成二元变长的惟一可译码，并求其(1)香农编码：信源符号概率P(xi)码长li累积概率P码字x10.42000x20.230.4011x30.230.6100x40.140.81100x50.0550.911100x60.0550.9511110=0.420.230.230.

5、140.0550.0552.9(码元/信源符号)H(X)/( logr)=2.222/2.9=0.7662（2）霍夫曼编码：=0.42+0.222+0.13+0.0542=2.3(码元/信源符号)H(X)/( logr)=0.9964(3)费诺编码：=0.42+0.222+0.13+0.0542=2.3(码元/信源符号)H(X)/( logr)= 0.9964六、设有一离散信道，传递矩阵为设P(x1)= P(x2)=1/4，P(x3)=1/2，试分别按最小错误概率准则和最大似然译码准则确定译码规则，并相应的计算机平均错误概率的大小。解：（1）按最大似然译码准则 F(y1)=x1 F(y2)=x

6、2 F(y3)=x3 P(E)=1/2(1/3+1/6)+1/42(1/3+1/6)=1/2(2) 联合概率矩阵为，则按最小错误概率准 F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/24八、一个三元对称信源接收符号为V0，1，2，其失真矩阵为（1）求Dmax和Dmin及信源的R(D)函数。（2）求出达到的正向试验信道的传递概率解：（1）因为是三元对称信源，又是等概分布，所以根据r元离散对称信源可得R（D）log3Dlog2H（D）log3DH（D） 0=D2/3 （2）满足R（D）函数的信道其反向传递概率为根据根据贝叶斯定律，可得该信道的正向传递概率为：九、设二元码为C=11100，01001，10010，00111（1）求此码的最小距离；（2）采用最小距离译码准则，试问接收序列10000，01100和00100应译成什么码字？（3）此码能纠正几位码元的错误？解：（1）码距如左图 故dmin3（2）码距如右图故10000译为10010，01100译为11100，00100译为11100或00111 （3）根据,知此码能纠正一位码元的错误。