信息论与编码zjh201209习题讲解(第二章)zjh剖析ppt课件.ppt

《信息论与编码zjh201209习题讲解(第二章)zjh剖析ppt课件.ppt》由会员分享，可在线阅读，更多相关《信息论与编码zjh201209习题讲解(第二章)zjh剖析ppt课件.ppt（38页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2022-8-5103/23/13/203/102/12/1P得： W1=2/5；W2 =9/25；W3=6/25解：1/2 W1+1/3W2 +1/3W3 = W11/2 W1+2/3W3 = W22/3W2 =W3W1 +W2 +W3=1 2022-8-52143214443432421414434333232131342432322212124143132121111WWWWPWPWPWPWWPWPWPWPWWPWPWPWPWwPWPWPWPWW00010.20.810110.50.20.80.50.50.5S1S2S3S4由符号集 0,1组成的二阶马尔可夫链，其转移概率为P(0/00)

2、=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。画出状态图，并计算各状态的稳态概率。解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(01/10)=0.58 . 02 . 0005 . 05 . 05 . 05 . 000002 . 08 . 0P41411ijiji

3、jjWPWW各状态稳定概率计算：即 14541WW14232WW145142得： 即：P(00)=P(11)= P(01)=P(10)=2022-8-53解：(1)P（3,5）= 1/36+1/36= 1/18 I （3,5）= log18 = 4.17 bit(2)P（1,1）= 1/6*1/6= 1/36 I （1,1）= log36 = 5.17 bit(3)H（X）=1/36*6*log36+2/36*15*log18 =4.337 bit(4)H（X）=2*(1/36*log36+2/36*log18 +3/36log12+4/36log9+5/36log36/5)+6/36log6

4、 =3.274bit(5) I(1,X)=log36/11=1.7105bit 2022-8-54l2-4设在一只布袋中装有100只对人手感觉全相同的木球，每只球上涂有一种颜色。100只球的颜色有下列3中情况：（1）红色球和白色球各50置；（2）红色球99只，白色球1只；（3）红、黄、蓝、白色各25只。求从布袋中随意去除一只球时，猜测其颜色所需要的信息量。2022-8-55 取出一个球，其颜色可能是红色、白色、蓝色或黄色。都有可能，但各种颜色的不确定度不同，即出现概率不同。 要求猜测其颜色信息所需要的信息量也就是要求取出一个球所包含的平均信息量（信源熵）。 根据H（X）的定义，就可求出。202

5、2-8-56根据定义 H（X）= -得：随意取出一球时，所需要的信息量为 （1）P（红）= P（白）=1/2 H（X）= = 1比特)(log)p(iiixpx21log2121log21222022-8-57（2）P（白）= 1/100 P（红）= 99/100所以 H（X）= = 0.08比特 10099log100991001log100122（3）P（红）=P（白）=P（蓝）=P（黄）=1/4所以 H（X）= 4 x （ ） = 2比特 41log4122022-8-58解：设事件v为女孩是大学生，事件u为身高1.6米以上的女孩，由题意可知： P(v)=0.25,P(u/v)=0.75

6、,P(u)=0.5因为：P(v/u)=P(u,v)/P(u) = P(v) P(u/v)/ P(u) =(1/4*3/4)/(1/2)=3/8所以： I(v/u)=log(8/3)=1.42bit 2022-8-592211111(3)(1)(2)(2)(1)666618(3)log(3)log 18()PPPPPIp 比特226(7)(1)(6)(2)(5)(3)(4)(4)(3)(5)(2)(6)(1)36(7)log(7)log 6()PPPPPPPPPPPPPIp 比特 掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量

7、又是多少？解： 2022-8-510解：(1) 每个符号携带的自信息量：I(0)=log3/8=1.42bit, I(1)=log1/4=2bitI(2)=log1/4=2bit, I(3)=log1.8=3bit (2)消息序列的自信息量： I=14I(0)+13I(1)+12I(2)+6I(3)=87.8bit 平均每个符号携带的信息量为 I/n=87.8/45=1.95比特/符号设有一离散无记忆信源,其概率空间为 81,41,41,833, 2, 1, 04321xxxxPX 该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 02

8、1 032 011 223 210),求此消息的自信息量是多少及平均每个符号携带的信息量?2022-8-511解： I(2)=log2=1 I(4)=log4=2 I(8)=log8=32022-8-512解：(1)I(点)=log(4/3)=0.42 I(划)=log4=2(2)平均信息量： H(X)=1/4log4+3/4log(4/3)=0.81 2022-8-513解：不确定度即为H(X)(1)H(X)=1/3log3+2/3log(3/2) =0.39+0.53=0.92bit(2)H(Y/x1)=P(y1/x1)log P(y1/x1) P(y2/x1)logP(y2/x1) =4

9、/14log(14/4)+10/14log14/10 =0.346+0.516=0.86bit(3)H(Y/x2)=5/14log(14/5)+9/14log(14/9) =0.41+0.53=0.94bit(4)H(Y/X)=1/3*0.86+2/3*0.94=0.92bit设：x1：第一次摸黑球，y1第二次摸黑球 x2：第一次摸白球，y2第二次摸白球2022-8-514解：(1)H(colour)=2/38log19+2*(18/38)log(38/18) =0.22+1.02=1.24bit(2)H(colour,number)=H(number)=log38 =5.25bit(3)H(

10、number|colour)=H(c,n)-H(c) =5.25-1.24=4.01bit 2022-8-515解：(1)H(X,Y)=14/24log(24/7)+4/24log24+1/4log4 =2.3bit(2)H(Y)=8/24log3+8/24log3+8/24log3 =1.58bit(3)H(X/Y)=H(X,Y)-H(Y)=0.722022-8-516解：(1)H(X)=1; H(Y)=1; H(Z)=7/8*log(8/7)+1/8*log8=0.54 H(YZ)=H(XZ)=H(X)+H(Z/X) =1+1/8*log4+3/8*log(4/3)=1.41 H(XYZ)

11、=H(XZ)+H(Y/XZ)=1.41+0.4=1.812022-8-517(2) H(X/Y)=H(Y/X)=H(XY)-H(X)=1.81-1=0.81 说明：H(XY)=2*3/8log(8/3)+1/8log8=1.81 H(Z/Y)=H(Z/X)=H(XZ)-H(X)=0.41 H(X/Z)=H(XZ)-H(Z)=1.41-0.54=0.87 H(Z/XY)=0 2022-8-518(3) I(X;Y)=H(X)-H(X/Y)=1-0.81=0.19 I(Y;Z)=I(X;Z)=H(X)-H(X/Z)=1-0.87=0.13 I(X;Y/Z)=I(X;YZ)-I(X;Z) =H(X)

12、-H(X/YZ)-I(X;Z) =0.6-0.13=0.47 I(Y;Z/X)=I(X;Z/Y)=I(X;YZ)-I(X;Y) =H(X)-H(X/YZ)-I(X;Y) =1-0.4-0.19=0.41 2022-8-519 在一个二进制信道中，信息源消息集X=0，1，且P(1)=P(0),信宿的消息集Y=0，1，信道传输概率P（1/0）=1/4，P（0/1）=1/8。求： （1）在接收端收到y=0后，所提供的关于传输消息x的平均条件互信息量I（X;y=0）。 (2) 该情况所能提供的平均互信息量I（X；Y）。 解：X=0,1,Y=0,1 01100101010100101101()( ),

13、(/)1/4, (/)1/81, ()( )1/2(/)1(/)3/4(/)1(/)7/8p xp xp yxp yxp xp xp xp xp xp xp yxp yxp yxp yx 2022-8-52083)()/()(00000 xPxyPyxP81)()/()(00110 xPxyPyxP161)()/()(11001xPxyPyxP167)()/()(11111xPxyPyxP10()()jijip yp x y1000317()(),81616iiP yP x y,169)(1yP(/)()()(/) ( )(/)(;)(/)logloglog( )()( ) ()()()iji

14、jijjiijijijiiiijijjjp xyp x yp x yp yx p xp yxI X yp xyp xp yp x p yp yp y1000000(/) ( )(/)(;)log()()iiiiP yx P xP yxI X yP yP y求 2022-8-5211111011(/) ( )(/)(;)log()()iiiiP yx P xP yxI X yP yP y10010111111111(/) ()(/)(/) ()(/)loglog()()()()71424loglog0.2358/9999P yx P xP yxP yx P xP yxP yP yP yP ybi

15、t s10(; )() (;)jjjI X YP y I X y符号比特/3113. 02358. 01694083. 0167);()();()(1100yXIyPyXIyP(2) 00000011010000(/) ()(/)(/) ()(/)loglog()()()()61212loglog0.4083/7777P yx P xP yxP yx P xP yxP yP yP yP ybit s2022-8-522解：I(a1;b1)=log =logP(b1)=P(b1,a1)+P(b1,a2)=P(b1/a1)P(a1)+ P(b1/a2)P(a2) =(1-)*(1/2)+1/2*

16、=1/2P(a1,b1)=1/2*(1-)P(a1/b1)= P(a1,b1)/P(b1)=1- )p(a)/bp(a1111/2)/bp(a112022-8-523I(a1,b1)=log2*(1-)I (a1;b2)=logP(b2)=P(b2,a1)+P(b2,a2)=P(b2/a1)P(a1)+ P(b2/a2)P(a2) =(1-)*(1/2)+1/2* =1/2P(a1,b2)= P(b2/a1)*P(a1)= 1/2* P(a1/b2)=P(a1,b2)/ P(b2)=I (a1,b2)=log2 )p(a)/bp(a1212022-8-524解：(1)H(X)= -P(黑)*l

17、og P(黑)- P(白)*log P(白) =0.3*log(1/0.3)+0.7*log(1/0.7) =0.5211+0.3602 =0.88132022-8-525(2) P=W1=0.9143W1+0.2W2W2=0.0857W1+0.8W2得 W1=1/3,W2=2/34*1()(/)iiiHXW H X S0.91430.20.08570.812() 0.9143log0.91430.0857log0.0857 0.2log0.20.8log0.80.513/HXWWbit符号2022-8-526解：I(X)=log =3* *7=2.1* I(Y)=log = 13288Log

18、 =2.1*X=2.1* /13.288=158038个128105*310510610000100010610000X1062022-8-527解：由得 k=1/2所以 201kxdxbitdxxxXHC44. 12log2)(202022-8-528解：（1）已知所以 61)(xPx58. 26log6log61)(330dxXH2022-8-529已知所以101)(xPx322. 310log101)(550dxXH2022-8-530某一无记忆信源的符号集为0,1，已知p0=1/4,p1=3/4（1）求符号的平均熵。（2）由100个符号构成的序列，求某一特定序列（例如有m个0和100-

19、m个1）的自信息量的表达式。（3）计算(2) 中的序列的熵。解：（1）对离散无记忆信源符号的平均熵：21)(log)()(iiixpxpXH81. 043log4341log41 比特/符号 （2）长度为L=100的符号序列中某特定序列) 101100(i其中“0”的个数为m，“1”的个数为100-m.该特定序列的概率为) 101100()(ppi2022-8-531mmipppppppppp100)1 ()0() 1 () 1 () 1 () 0() 0() 0() 101100()()(log)(iipI) 1 (log)100()0(log)1 ()0(log100pmpmppmm3lo

20、g)100(4log10034log)100(4logmmm)(100)()(1001XHXLHXHll 对离散无记忆信源，其符号独立出现，即 则该特定序列的自信息量为：(3)长度为L=100的符号序列离散无记忆信源熵：=41+1.59m (bit)H(XL)=H(X1X2X100)=81（比特/序列）2022-8-532S1S211/32/3 2211212/)/()(sXHsPsXHsPsXHspHHiii 有一马尔可夫信源，已知转移概率为p(s1/s1)=2/3,p(s2/s1)=1/3,p(s1/s2)=1,p(s2/s2)=0. 。试画出状态转移图，并求出信源熵解:（1）由题意知，该

21、马尔可夫信源阶数为1，状态集S=S1,S2 ，状态转移图为： (2) 信源熵：)(iispW 21211ijijijjWPWW12122212122121111WWPWPWWPWPWW131322112211WWWWWWW a) 求稳态概率计算方程： 即：2022-8-533得： W2=1/4； W1=3/4； 1122( /)( /)3 2311( loglog3)log14 32340.69/HH xH xbitwsws符号2022-8-534解：由： 1/3W1 +1/3W2 +1/2W3= W 1 1/3W1+1/3W21/2 W 3=W2 1/3W1+1/3 W 2=W3 W1+W2

22、+ W 3=1 02/12/13/13/13/13/13/13/1p得： W1=W2 =3/8 W 3=1/42022-8-53558.13log313log313log31)/(1sxH58.13log313log313log31)/(2sxH12log212log21)/(3sxH信源熵435. 1)/()/()/(332211swswswxHxHxHH2022-8-536 一阶马尔可夫信源的状态图如图2-14所示，信源X符号集为0，1，2。（1）求平稳后信源的概率分布；（2）求信源熵H（3）求当p=0或p=1时信源的熵，并说明其理由。解：（1）一阶马尔可夫信源的状态空间S=X=0，1，2

23、，由图2-14状态转移图中分析得，此马尔可夫链是时齐的，状态有限的和不可约闭集，非周期，所以具有各态历经性。平稳后状态的极限分布存在，因为是一阶马尔可夫信源，状态的极限分布即平稳后信源符号的一维概率分布，即)(iiapW 3 , 2 , 1iXai 根据状态转移图，得状态一步转移矩阵：111213212223313233,1,0,1,0,0, ,1P P PPPPP PPPPP PPPP2022-8-537(2) 根据马尔可夫信源熵的表达式：31311jjiijijWPWW1321333232131332322212123132121111WWWpWpWpWWpWpWpWWpWpWpWW3/1

24、321WWW即 状态极限概率 P(0)=P(1)=P(2)=1/3计算方程组 即 整理计算得：21HHHm 3131/iiiiiiSXHWSXHSP)2/()2() 1/() 1 ()0/()0(XHpXHpXHp = ijjijixxpxxpsXH/log/310/2log0/20/1log0/10/0log0/00/ppppppXH111112121313logloglog1,0,1,ppppppHppHp p由2022-8-538/1( ,1)H XH pp/2( ,1)H XH pp2(0)(/0)(1)(/1)(2)(/2)HHpH XpH XpH X 3 (0)1,1,(1)log(1)logpHp pHp ppppp 1,(1,0)(0,1)0HHp pHH 同理从而比特/符号（3）当p=0或p=1时信源的熵，这是因为p=0或p=1时信源为确定性信源，观察着对信源发出什么符号不存在任何不确定度，所以信源不提供任何的信息量。