《信息论》试题及答案.docx
信息论试题及答案信息论 试题 答案 期终练习 一、某地区得人群中,1就是胖子,80不胖不瘦,就是瘦子。已知胖子得高血压得概率就是 15，不胖不瘦者得高血压得概率就是 10,瘦子得高血压得概率就是 5，则“该地区得某一位高血压者就是胖子这句话包含了多少信息量。 解：设大事 A:某人就是胖子; B：某人就是不胖不瘦 C:某人就是瘦子 D：某人就是高血压者 依据题意,可知：（）=、1 P（B)=0、8 （C）=0、1 P(DA)=、15 P(DB)0、1 P(D|)=0、05 而“该地区得某一位高血压者就是胖子 这一消息说明在 D 大事发生得条件下,A 大事得发生,故其概率为 P（AD) 依据贝叶斯定律，可得： P（D）=（） P（A）P（B) P（D|B)（C）* （DC)=0、1 (D)P（D）/P(D)(D|）*（A)/ P(D)0、15、1/0、1、15 故得知“该地区得某一位高血压者就是胖子这一消息获得得多少信息量为： I（AD） = - ogP(A）log(0、15)2、3 (bi) 二、设有一个马尔可夫信源,它得状态集为 ， ，S ,符号集为a 1 ,a 2 ,a 3 ，以及在某状态下发出符号集得概率就是(i,k=,2，3），如下图 （1）求图中马尔可夫信源得状态极限概率并找出符号得极限概率 （2）计算信源处在某一状态下输出符号得条件熵 H（XS=j） (j=s 1 ，s 2 ，s ） (3)求出马尔可夫信源熵 解:（1)该信源到达平稳后，有以下关系成立: 可得 (） （）31( ) ( | ) 2/7*3/2 3/7*1 2/7*0 6/7i iiH Q E H X E¥= ´ = + + =å(比特/符号） 三、二元对称信道得传递矩阵为 （1）若 P（0）3/4,P（1）=1/，求(X)，H（X）与 I(X；) （)求该信道得信道容量及其最大信道容量对应得最正确输入分布 解:=、811（比特/符号） =、7*0、6+0、50、4=、5 0、50、4+0、50、=0、45 、2(比特符号) 1 2 2( | ) ( ) ( | ) ( ) ( | ) 0.75 (0.6,0.4) 0.25 (0.4,0.6)(0.6log0.6 0.4log0.4)0.971 /H Y X p x H Y x p x H Y x H H = + = ´ + ´= - +» （比特 符号） 0、81+、9710、992=0、79 (比特/符号） 0、110、9=、01（比特/符号) (2）此信道为二元对称信道，所以信道容量为 C=(p)=1H（、）=-0、97=、029（比特/符号) 当输入等概分布时到达信道容量 四、求信道得信道容量,其中. 解:这就是一个准对称信道，可把信道矩阵分为：， ， 故21log ( 2 , 2 ,0,4 ) loglog2 ( 2 , 2 ,0,4 ) (1 4 )log(1 4 ) 4 log41 ( 2 , 2 ,4 ) (1 4 )log(1 4 ) 4 log4 ( /k kkC r H p p N MH p pH p pe e ee e e e e e ee e e e e e e= - - - -= - - - - - - -= - - - - - - -å比特 符号） 当输入等概分布时到达信道容量。 1 五、信源 (1）利用霍夫曼码编成二元变长得惟一可译码，并求其 (2）利用费诺码编成二元变长得惟一可译码,并求其 (3）利用香农码编成二元变长得惟一可译码,并求其 （）香农编码: 信源符号 概率 P(x i ） 码长 l 累积概率 P 码字 x 1 0、4 2 0 x 2 、 3 0、4 01 x 3 0、2 3 0、6 10 4 、1 0、8 110 0、05 5 、9 11100 0、5 5 0、95 11110 =0、42、3+0、23、14、05+0、055、9（码元/信源符号） H（X)/（ o）=2、222、=、7662(2)霍夫曼编码： =0、4+0、222+0、13+0、42=2、3(码元/信源符号) H(X）/（ logr）=、9964 (3）费诺编码: =、42+0、2+0、1+0、422、（码元/信源符号) =（)( logr)= 0、9964 六、设有一离散信道，传递矩阵为 设 P(x 1 ）= P(x ）14，P(x 3 ）=1/2,试分别按最小错误概率准则与最大似然译码准则确定译码规章,并相应得计算机平均错误概率得大小. 解:（1）按最大似然译码准则 F（y)x1 （y）=x2 F（y3）=x3 P（E)=12（/3+1/6）1/42(1/316)1/2 (2) 联合概率矩阵为,则按最小错误概率准 F（y)=x F(y2）=x2 F(y3）=x3 P（E）= 1/8+1/24+2 +1241/2=11/2 八、一个三元对称信源 接收符号为 V0,，2,其失真矩阵为 （)求 max 与 D min 及信源得 R（D）函数。 （2）求出到达得正向试验信道得传递概率 解：(） 由于就是三元对称信源，又就是等概分布，所以依据 r 元离散对称信源可得 R(D）log3Dlo2H（D)=log3DH（） 0=D=2/ 0 23 (2)满意 R（D）函数得信道其反向传递概率为 依据依据贝叶斯定律,可得该信道得正向传递概率为: 九、设二元码为 C=110,0101，101,0011 (1）求此码得最小距离； （2）采纳最小距离译码准则，试问接收序列0000,1100 与 0010应译成什么码字？ (3）此码能订正几位码元得错误？ 解：(1)码距如左图 故 d mi 3 (2)码距如右图 故 10000 译为 1010,010 译为 110,00译为1100 或 00111 (3)依据，知此码能订正一位码元得错误。
