信息论与编码第二章答案(共15页).doc

《信息论与编码第二章答案(共15页).doc》由会员分享，可在线阅读，更多相关《信息论与编码第二章答案(共15页).doc（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上2-1、一阶马尔可夫链信源有3个符号，转移概率为：， ，。画出状态图并求出各符号稳态概率。解：由题可得状态概率矩阵为： 状态转换图为： 令各状态的稳态分布概率为，则： =+ ， =+ , = 且：+=1稳态分布概率为： =，=，= 2-2.由符号集，组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。解：状态转移概率矩阵为：令各状态的稳态分布概率为、，利用（2-1

2、-17）可得方程组。且；解方程组得： 即：2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是，求：（1）、“3和5同时出现”事件的自信息量；（2）、“两个1同时出现”事件的自信息量；（3）、两个点数的各种组合的熵或平均信息量；（4）、两个点数之和的熵；（5）、两个点数中至少有一个是1的自信息量。解：（1）3和5同时出现的概率为： （2）两个1同时出现的概率为： （3）两个点数的各种组合（无序对）为： (1,1),(1,2),(1,3),(1,4),(1,5),(1,6) (2,2),(2,3),(2,4),(2,5),(2,6) (3,3), (3,4),(3,5),(3,6) (4,4)

3、,(4,5),(4,6) (5,5),(5,6) (6,6) 其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18 所以，事件（4）两个点数之和概率分布为： 信息为熵为： （5）两个点数之中至少有一个是1的概率为： 2-4.设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色。100个球的颜色有下列三种情况： （1）红色球和白色球各50个；（2）红色球99个，白色球1个；（3）红、黄、蓝、白色球各25个。分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。解：（1）设取出的红色球为，白色球为

4、；有，则有：=1bit/事件 (2) ,;则有：=0.081（bit/事件） (3)设取出红、黄、蓝、白球各为、，有则有：/事件2-5、居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6M以上，而女孩中身高1.6M以上的占总数一半。假如得知“身高1.6M以上的某女孩是大学生”的消息，问获得多少信息量？解：设女孩是大学生为事件A，女孩中身高1.6m以上为事件B，则p(A)=1/4, p (B)=1/2，p (B|A)=3/4，则 P(A|B)= I（A|B）log（1/p(A/B)）=1.42bit2-6.掷两颗 ，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？

5、当小圆点数之和是7时，该消息所包含的信息量又是多少？解：（1）小圆点数之和为3时有（1,2）和（2,1），而总的组合数为36，即概率为，则（2）小园点数之和为7的情况有（1,6），（6,1）（2,5）（5,2）（3,4）（4,3），则概率为，则有 2-7、设有一离散无记忆信源，其概率空间为（1）、求每个符号的自信息量；（2）、信源发出一消息符号序列为，求该消息序列的自信息量及平均每个符号携带的信息量。解：（1）的自信息量为： 的自信息量为： 的自信息量为： 的自信息量为：（2）在该消息符号序列中，出现14次，出现13次，出现12，出现6次，所以，该消息序列的自信息量为： I（）=14 I（）+

6、13 I（）+12 I（）+6 I（） 平均每个符号携带的信息量为： 2-8试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？解;设二进制、四进制、八进制脉冲的信息量为 所以，四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。2-10 在一个袋中放5个黑球、10个白球，以摸一个球为实验，摸出的球不再放进去。求： （1）一次实验中包含的不确定度； （2）第一次实验X摸出是黑球，第二次实验Y给出的不确定度； （3）第一次实验X摸出是白球，第二次实验Y给出的不确定度； （4）第二次实验包含的不确定度。解：（1）一次实验的结果可能摸到的是黑球或白球，它们的概率分别是，。所以一次实验的不

7、确定度为 (2)当第一次实验摸出是黑球，则第二次实验Y的结果可能是摸到黑球或白球，它们的概率分别是 、。所以该事件的不确定度为 /符号(3)当第一次实验摸出是白球，则第二次实验Y的结果可能是摸到黑球或白球，它们的概率分别是 、。所以该事件的不确定度为 /符号（4）二次实验B出现结果的概率分布是p(x,y)=p(黑，黑)= ，p(x,y)=p(黑，白)= ，p(x,y)=p(白，黑)= ，p(x,y)=p(白，白)= 所以二次实验的不确定度为 H(B)= loglogloglog =0.91bit/符号2-11有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，、，38数字标示，其中有2份涂

8、绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。（1）若仅对颜色感兴趣，则计算平均不确定度；（2）若对颜色和数字都感兴趣，则计算平均不确定度；（3）如果颜色已知时，则计算条件熵。解：令X表示指针指向某一数字，则X=1,2,.,38 Y表示指针指向某一种颜色，则Y=绿色，红色，黑色 Y是X的函数，由题意可知（1）仅对颜色感兴趣，则H(c)=log2log =0.2236+1.0213 =1.245bit(2)对颜色和数字都感兴趣，则H(n,c)=H(n)=38(-)log =- =5.249bit(3)如果颜色已知时，则H（n|c）=H(n,c)-H(h)=5.249

9、-1.245=4.004bit2-12、两个实验X和Y，联合概率为（1）如果有人告诉你X和Y的结果，你得到的平均信息量是多少？（2）如果有人告诉你Y的结果，你得到的平均信息量是多少？（3）在已知Y的实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？解：（1）、（2）、（3）、 2-13有两个二元随机变量X和Y，它们的联合概率如右图所示。 并定义另一随机变量Z=XY（一般乘积）。试计算：（1） ，（2） ， （3） ，解：（1）1） 同理：Pxyx(000)=1/8, Pxyz(010)=3/8, pxyz(100)=3/8, P(111)=1/8Pxyz(110)=Pxyz(00

10、1)=Pxyz(101)=Pxyz(011)=0（2）由于所以：；则，Pxz=Px*Pz|x=Pz*Px|z（3） 由于则 同理有： 2.16 黑白传真机的消息元只有黑色和白色两种，即X=黑，白，一般气象图上，黑色的出现概率p(黑)0.3，白色出现的概率p(白)0.7。（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)0.9143，P(黑|白)0.0857，P(白|黑)0.2，P(黑|黑)0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3）比较两种信源熵的大小，并说明原因。解：（1）bit/符

11、号P(黑|白)=P(黑)P(白|白)P(白) P(黑|黑)P(黑) P(白|黑)P(白)（2）根据题意，此一阶马尔可夫链是平稳的（P(白)0.7不随时间变化，P(黑)0.3不随时间变化）0.512bit/符号2.20 给定语音信号样值X的概率密度为,求Hc(X)，并证明它小于同样方差的正态变量的连续熵。解：2-23 连续随机变量X和Y的联合概率密度为求,解： 随机变量X的概率密度分布为，呈标准正态分布。其中数学期望为0，方差为S；随机变量Y的概率密度分布为 ，也呈标准正态分布。其中数学期望为0，方差为（S+N）。 2-25 某一无记忆信源的符号集为0，1，已知（1）求符号的平均熵。（2）由10

12、0 个构成的序列，求某一特定序列（例如有m个0和100-m个1）的自由信息量的表达式。（3）计算（2）中的序列的熵。 解：（1） （2） （3）2-26 一个信源发出二重符号序列消息（，），其中第一个符号可以是A，B，C中的任一个，第二个符号可以是D，E，F，G中的任一个。已知各个为,；各个值列成如下。求这个信源的熵（联合熵）. 解： 2.29 有一个一阶平稳马尔可夫链,各Xr取值于集合,已知起始概率P(Xr)为，转移概率如下图所示 j i1231231/22/32/31/401/31/41/30(1) 求的联合熵和平均符号熵(2) 求这个链的极限平均符号熵(3) 求和它们说对应的冗余度解：（

13、1）符号X1，X2的联合概率分布为12311/41/81/821/601/1231/61/12012314/245/245/24X2的概率分布为那么=1.209bit/符号X2X3的联合概率分布为12317/247/487/4825/3605/1235/365/120那么=1.26bit/符号/符号所以平均符号熵符号（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为由 得到 计算得到又满足不可约性和非周期性/符号(3)/符号 /符号 /符号 2.32 一阶马尔可夫信源的状态图如图213所示，信源X的符号集为（0，1，2）。（1）求信源平稳后的概率分布P(0),P(1),P(2)（2）求此信源的熵（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与进行比较解:根据香农线图,列出转移概率距阵令状态0,1,2平稳后的概率分布分别为W1,W2,W3 得到 计算得到由齐次遍历可得符号 由最大熵定理可知存在极大值或者也可以通过下面的方法得出存在极大值: 又所以当p=2/3时0p2/3时 2/3p1时所以当p=2/3时存在极大值,且符号.所以专心-专注-专业