信息论中期习题测验及答案(共3页).doc

《信息论中期习题测验及答案(共3页).doc》由会员分享，可在线阅读，更多相关《信息论中期习题测验及答案(共3页).doc（3页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上1、 居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上，而女孩中身高1.6m以上的占总数一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？解：设事件A表示女大学生，B表示身高1.6m以上的女孩，则p(A)=0.25,p(B)=0.5,p(B/A)=0.75,所以2、 每帧电视图像可以认为由3*105个像素组成，所有像素均是独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率分布，问每帧含有多少信息量？解：3、 二重扩展信源的熵为H(X2), 一阶马尔可夫信源的熵为H(X2/X1), 试比较两者的大

2、小，并说明原因。解：因为，所以。因为一阶马尔可夫信源符号间是相关的，具有记忆性。4、 设有一信源，它产生0、1序列的消息。该信源在任意时间不论以前发生过什么消息符号，均按p(0)=0.4, p(1)=0.6的概率发出符号。（1） 这个信源是否平稳？（2） 计算H(X2), H(X3/X1X2), 以及。（3） 计算H(X4), 并写出X4信源可能发出的所有符号。解：（1）该信源是离散无记忆信源，对任意i1,i2,iN和h0,有,所以该信源是平稳的。（2）（3）可能发出的符号：0000,0001,0010,0011,0100,0101,0110,0111,1000,1001,1010,1011,

3、1100,1101,1110,1111.5、 一阶马尔可夫信源的状态转移图如下图所示，信源符号集为0，1，2。求： （1）稳态后信源的概率分布（2）信源熵。（3）当p=0或p=1时信源的熵，并说明理由。PPPppp012解：（1）状态转移矩阵由WP=W, 得，整理后得（2）（3）当, 当。信源熵表示的是信源的平均不确定度。p=0或p=1表明由某一状态转换成另一状态的情况一定发生或一定不发生，是确定事件，因此平均不确定度为零，即熵为零。6、设有一信源发出符号A和B,它们是相互独立的，并已知p(A)=1/4, p(B)=3/4。（1）计算信源熵。（2）若用二进制代码组传输消息，求p(0)和p(1)

4、。（3）该信源发出二重符号消息时，采用费诺编码，求其平均传输速率R及两个码元的概率p(0)、p(1)。（4）该信源发出三重符号消息时，采用霍夫曼编码，求其平均传输速率R及两个码元的概率p(0)、p(1)。解: (1)(2)(3)对二重符号信源采用费诺编码，结果为 (码字不唯一)BB: 0, BA: 10, AB: 110, AA:111单个符号的平均码长为：平均传输速率码元0和1的概率为(4)对三重符号信源采用霍夫曼编码，结果为 (码字不唯一)BBB: 1, BBA:001, BAB: 010, BAA:00000, ABB: 011, ABA: 00001, AAB: 00010, AAA: 00011单个符号的平均码长为：平均传输速率码元0和1的概率为专心-专注-专业