信息论与编码第2章习题.ppt

《信息论与编码第2章习题.ppt》由会员分享，可在线阅读，更多相关《信息论与编码第2章习题.ppt（19页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、习题习题11.1.同时掷两个正常的骰子，即各面呈现的概率都是同时掷两个正常的骰子，即各面呈现的概率都是同时掷两个正常的骰子，即各面呈现的概率都是同时掷两个正常的骰子，即各面呈现的概率都是1/61/6。求：。求：。求：。求：“3 3和和和和5 5同时出现同时出现同时出现同时出现”这一事件的自信息量。这一事件的自信息量。这一事件的自信息量。这一事件的自信息量。“两个两个两个两个1 1同时出现同时出现同时出现同时出现”这一事件的自信息量。这一事件的自信息量。这一事件的自信息量。这一事件的自信息量。两个点数的各种组合（无序对）的熵。两个点数的各种组合（无序对）的熵。两个点数的各种组合（无序对）的熵。两

2、个点数的各种组合（无序对）的熵。两个点数之和（即两个点数之和（即两个点数之和（即两个点数之和（即2,32,3，1212构成的子集）的熵。构成的子集）的熵。构成的子集）的熵。构成的子集）的熵。两个点数中至少有一个是两个点数中至少有一个是两个点数中至少有一个是两个点数中至少有一个是1 1的自信息。的自信息。的自信息。的自信息。两个点数是两个点数是两个点数是两个点数是3 3的信息量。的信息量。的信息量。的信息量。两个点数是两个点数是两个点数是两个点数是7 7的信息量。的信息量。的信息量。的信息量。4/1/20231习题习题11 12 23 34 45 56 61 12 23 34 45 56 61,

3、11,11,21,21,31,31,41,41,51,51,61,62,12,12,22,22,32,32,42,42,52,52,62,63,13,13,23,23,33,33,43,43,53,53,63,64,14,14,24,24,34,34,44,44,54,54,64,65,15,15,25,25,35,35,45,45,55,55,65,66,16,16,26,26,36,36,46,46,56,56,66,62 23 34 45 56 67 73 34 45 56 67 78 84 45 56 67 78 89 95 56 67 78 89 910106 67 78 89 91

4、01011117 78 89 91010111112124/1/20232习题习题22.2.黑白传真机的消息元只有黑色和白色两种，黑白传真机的消息元只有黑色和白色两种，即即X黑，白黑，白。一般气象图上，黑色出现。一般气象图上，黑色出现的概率为的概率为p(黑黑)0.3，白色出现的概率为，白色出现的概率为p(白白)0.7。求：。求：假设黑白消息视为前后无关，求信源熵假设黑白消息视为前后无关，求信源熵假设黑白消息视为前后无关，求信源熵假设黑白消息视为前后无关，求信源熵HH(X X)，并画出该信源的香农线图。并画出该信源的香农线图。并画出该信源的香农线图。并画出该信源的香农线图。实际上各元素之间有关联

5、，其转移概率为：实际上各元素之间有关联，其转移概率为：实际上各元素之间有关联，其转移概率为：实际上各元素之间有关联，其转移概率为：p p(白白白白/白白白白)0.9143 0.9143 p p(黑黑黑黑/黑黑黑黑)0.80.8求：这个一阶马尔可夫信源的信源熵，并画出该信求：这个一阶马尔可夫信源的信源熵，并画出该信求：这个一阶马尔可夫信源的信源熵，并画出该信求：这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。源的香农线图。源的香农线图。源的香农线图。4/1/20233习题习题33.3.有有6行、行、8列的棋型方格，若有两个质点列的棋型方格，若有两个质点A和和B分别以等概率落入任一方格内，但

6、分别以等概率落入任一方格内，但A、B不能落入同一方格内。求：不能落入同一方格内。求：若仅有质点若仅有质点若仅有质点若仅有质点A A，求，求，求，求A A落入任一个格的平均信息量落入任一个格的平均信息量落入任一个格的平均信息量落入任一个格的平均信息量若已知若已知若已知若已知A A已落入，求已落入，求已落入，求已落入，求B B落入的平均信息量落入的平均信息量落入的平均信息量落入的平均信息量若若若若A A、B B是可分辨的，求是可分辨的，求是可分辨的，求是可分辨的，求A A、B B都落入的平均信都落入的平均信都落入的平均信都落入的平均信息量息量息量息量4/1/20234习题习题44.4.从大量统计资

7、料知道，男性中红绿色盲的发从大量统计资料知道，男性中红绿色盲的发病率为病率为7%，女性发病率为，女性发病率为0.5%，如果你问，如果你问一位男士：一位男士：“你是否色盲？你是否色盲？”他的回答可能他的回答可能是是“是是”，可能是，可能是“否否”，问这两个回答中，问这两个回答中各含有多少信息量，平均每个回答中含有多各含有多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？的平均自信息量是多少？4/1/20235习题习题55.5.在一个袋中放有在一个袋中放有5个黑球，个黑球，10个白球，以摸个白球，以摸一个球为一个实验，

8、摸出的球不再放进去。一个球为一个实验，摸出的球不再放进去。求：求：一次实验包含的不确定度。一次实验包含的不确定度。一次实验包含的不确定度。一次实验包含的不确定度。第一次实验第一次实验第一次实验第一次实验X X摸出的是黑球，第二次实验摸出的是黑球，第二次实验摸出的是黑球，第二次实验摸出的是黑球，第二次实验Y Y给出给出给出给出的不确定度。的不确定度。的不确定度。的不确定度。第一次实验第一次实验第一次实验第一次实验X X找出的是白球，第二次实验找出的是白球，第二次实验找出的是白球，第二次实验找出的是白球，第二次实验Y Y给出给出给出给出的不确定度。的不确定度。的不确定度。的不确定度。第二次实验第二

9、次实验第二次实验第二次实验Y Y包含的不确定度。包含的不确定度。包含的不确定度。包含的不确定度。4/1/20236习题习题66.6.有一个可旋转的圆盘，盘面上被均匀地分成有一个可旋转的圆盘，盘面上被均匀地分成38份，用份，用1,2，38数字标示，其中有数字标示，其中有2份份涂绿色，涂绿色，18份涂黑色，份涂黑色，18份涂红色。圆盘停份涂红色。圆盘停转后，盘面上指针指向某一数字和颜色。求：转后，盘面上指针指向某一数字和颜色。求：若仅对颜色感兴趣，计算平均不确定度。若仅对颜色感兴趣，计算平均不确定度。若仅对颜色感兴趣，计算平均不确定度。若仅对颜色感兴趣，计算平均不确定度。若对颜色和数字都感兴趣，计

10、算平均不确定度。若对颜色和数字都感兴趣，计算平均不确定度。若对颜色和数字都感兴趣，计算平均不确定度。若对颜色和数字都感兴趣，计算平均不确定度。如果颜色已知时，计算条件熵。如果颜色已知时，计算条件熵。如果颜色已知时，计算条件熵。如果颜色已知时，计算条件熵。4/1/20237习题习题77.7.有两个二元随机变量有两个二元随机变量X和和Y，它们的联合概，它们的联合概率如右表所示，并定义另一随机变量率如右表所示，并定义另一随机变量ZXY（一般乘积）。试计算：（一般乘积）。试计算：HH(X X)，HH(Y Y)，HH(Z Z)，HH(XZXZ)，HH(YZYZ)和和和和HH(XYZXYZ)HH(X/YX

11、/Y)，HH(Y Y/X X)，HH(X/ZX/Z)，HH(Z Z/X X)，HH(Y/ZY/Z)，HH(Z/YZ/Y)，HH(X/YZX/YZ)，HH(Y/XZY/XZ)和和和和HH(Z/XYZ/XY)I I(X;YX;Y)，I I(X;ZX;Z)，I I(Y;ZY;Z)，I I(X;Y/ZX;Y/Z)，I I(Y;Z/XY;Z/X)和和和和I I(X;Z/YX;Z/Y)4/1/20238习题习题7Y XY X0 01 10 01/81/83/83/81 13/83/81/81/8Z Z0 01 1p p7/87/81/81/8Z XZ X0 01 10 01/21/23/83/81 10

12、01/81/8Z YZ Y0 01 10 01/21/23/83/81 10 01/81/84/1/20239习题习题8、98.8.某无记忆信源的符号集为某无记忆信源的符号集为某无记忆信源的符号集为某无记忆信源的符号集为0,10,1，已知，已知，已知，已知p p0 0=1/4=1/4，p p1 1=3/4=3/4。求：求：求：求：求符号的平均熵。求符号的平均熵。求符号的平均熵。求符号的平均熵。由由由由100100个符号构成的序列，求某特定序列（个符号构成的序列，求某特定序列（个符号构成的序列，求某特定序列（个符号构成的序列，求某特定序列（mm个个个个“0”0”和和和和100-100-mm个个个

13、个“1”1”）的自信息量的表达式。）的自信息量的表达式。）的自信息量的表达式。）的自信息量的表达式。计算计算计算计算中序列的熵。中序列的熵。中序列的熵。中序列的熵。9.9.设有一个二进制一阶马尔可夫信源，其信源符号为设有一个二进制一阶马尔可夫信源，其信源符号为设有一个二进制一阶马尔可夫信源，其信源符号为设有一个二进制一阶马尔可夫信源，其信源符号为X X(0,1)(0,1)，条件概率为，条件概率为，条件概率为，条件概率为p p(0/0)=0.25 (0/0)=0.25 p p(0/1)=(0/1)=p p(1/1)=0.5 (1/1)=0.5 p p(1/0)=0.75(1/0)=0.75 画出

14、状态图并求出各符号稳态概率。画出状态图并求出各符号稳态概率。画出状态图并求出各符号稳态概率。画出状态图并求出各符号稳态概率。4/1/202310习题习题1010.10.设有一信源，它在开始时以设有一信源，它在开始时以p(a)=0.6，p(b)=0.3，p(c)=0.1的概率发出的概率发出X1。如果。如果X1为为a时则时则X2为为a、b、c的概率为的概率为1/3；如果；如果X1为为b时则时则X2为为a、b、c的概率为的概率为1/3；如果；如果X1为为c时则时则X2为为a、b的概率为的概率为1/2，而为，而为c的概率是的概率是0。而且后面发出。而且后面发出Xi的概率只与的概率只与Xi1有关。又有关

15、。又p(Xi/Xi-1)=p(X2/X1),i3。试利用马尔可夫。试利用马尔可夫信源的图示法画出状态转移图，并求出转移信源的图示法画出状态转移图，并求出转移概率矩阵和信源熵概率矩阵和信源熵H。4/1/202311习题习题1111.11.一个马尔可夫过程的基本符号一个马尔可夫过程的基本符号0,1,2，这三个，这三个符号以等概率出现，具有相同的转移概率，符号以等概率出现，具有相同的转移概率，并且没有固定约束。并且没有固定约束。画出一阶马尔可夫过程的状态图，并求稳定状画出一阶马尔可夫过程的状态图，并求稳定状画出一阶马尔可夫过程的状态图，并求稳定状画出一阶马尔可夫过程的状态图，并求稳定状态下的马尔可夫

16、信源熵态下的马尔可夫信源熵态下的马尔可夫信源熵态下的马尔可夫信源熵HH1 1。画出二阶马尔可夫过程的状态图，并求稳定状画出二阶马尔可夫过程的状态图，并求稳定状画出二阶马尔可夫过程的状态图，并求稳定状画出二阶马尔可夫过程的状态图，并求稳定状态下二阶马尔可夫信源熵态下二阶马尔可夫信源熵态下二阶马尔可夫信源熵态下二阶马尔可夫信源熵HH2 2。4/1/202312习题习题12有点难度，重点看看有点难度，重点看看12.12.有一个一阶马尔可夫链有一个一阶马尔可夫链有一个一阶马尔可夫链有一个一阶马尔可夫链X X1 1,X X2 2,X Xr r,各各各各X Xr r取值于集取值于集取值于集取值于集A=A=

17、a a1 1,a a2 2,a a3 3。已知起始概率。已知起始概率。已知起始概率。已知起始概率p p(a ai i)为：为：为：为：p p1 1=1/2,=1/2,p p2 2=p p3 3=1/4=1/4，转移概率如下表所示。求：，转移概率如下表所示。求：，转移概率如下表所示。求：，转移概率如下表所示。求：j j i i1 12 23 31 11/21/21/41/41/41/42 22/32/30 01/31/33 32/32/31/31/30 0 X X1 1X X2 2X X3 3的联合熵和的联合熵和的联合熵和的联合熵和平均符号熵。平均符号熵。平均符号熵。平均符号熵。这个链的极限平均

18、这个链的极限平均这个链的极限平均这个链的极限平均符号熵。符号熵。符号熵。符号熵。HH0 0,HH1 1,HH2 2和它们所和它们所和它们所和它们所对应的冗余度。对应的冗余度。对应的冗余度。对应的冗余度。4/1/20231312题的答案题的答案oo1.H(X1X2X3)=H(x1)+H(x2/x1)+H(x3/x2)1.H(X1X2X3)=H(x1)+H(x2/x1)+H(x3/x2)ooH(x1)=-0.5log0.5-2*0.25log0.25=1.5bit/H(x1)=-0.5log0.5-2*0.25log0.25=1.5bit/符号符号符号符号ooP(aiajP(aiaj)=)=P(a

19、iP(ai)*)*p(aj/aip(aj/ai)得到图二，同理得图三；得到图二，同理得图三；得到图二，同理得图三；得到图二，同理得图三；ooH(X2/X1)=H(X2/X1)=P(aiajP(aiaj)*)*log(paj/ailog(paj/ai)相加；同理，得相加；同理，得相加；同理，得相加；同理，得H(X3/X2);H(X3/X2);oo2.2.根据图一画香农线图，的平稳概率，求极限熵；根据图一画香农线图，的平稳概率，求极限熵；根据图一画香农线图，的平稳概率，求极限熵；根据图一画香农线图，的平稳概率，求极限熵；oo3.H0=1-H3.H0=1-H4/1/202314习题习题12 j j

20、i i1 12 23 31 11/21/21/41/41/41/42 22/32/30 01/31/33 32/32/31/31/30 0X X1 1X X2 21 12 23 31 11/41/41/81/81/81/82 21/61/60 01/121/123 31/61/61/121/120 0X X2 2X X3 31 12 23 31 17/247/247/487/487/487/482 25/365/360 05/725/723 35/365/365/725/720 0p p1 1=1/2,=1/2,p p2 2=p p3 3=1/4=1/4p p(X X2121)=7/12)=7

21、/12p p(X X2222)=5/24)=5/24p p(X X2323)=5/24)=5/244/1/202315习题习题1313.13.一阶马尔可夫信源的状态图如图所示，信源一阶马尔可夫信源的状态图如图所示，信源X的符号集为的符号集为0,1,2。求信源平稳后的概率分布求信源平稳后的概率分布求信源平稳后的概率分布求信源平稳后的概率分布p p(0)(0)，p p(1)(1)和和和和p p(2)(2)。求此信源的熵。求此信源的熵。求此信源的熵。求此信源的熵。近似认为此信源为无记忆时，符号的概率分布近似认为此信源为无记忆时，符号的概率分布近似认为此信源为无记忆时，符号的概率分布近似认为此信源为无

22、记忆时，符号的概率分布等于平稳分布。求近似信源的熵等于平稳分布。求近似信源的熵等于平稳分布。求近似信源的熵等于平稳分布。求近似信源的熵HH(X X)并与并与并与并与HH 进进进进行比较。行比较。行比较。行比较。对一阶马尔可夫信源，对一阶马尔可夫信源，对一阶马尔可夫信源，对一阶马尔可夫信源，p p取何值时取何值时取何值时取何值时HH 取最大值，取最大值，取最大值，取最大值，又当又当又当又当p p=0=0或或或或p p=1=1时结果如何？时结果如何？时结果如何？时结果如何？4/1/20231613题的答案题的答案4/1/202317习题习题134/1/202318习题习题1414.14.一阶马尔可夫信源一阶马尔可夫信源的状态图如图所示。的状态图如图所示。信源信源X的符号集为的符号集为0,1,2。平稳后的信源的概平稳后的信源的概平稳后的信源的概平稳后的信源的概率分布。率分布。率分布。率分布。信源熵信源熵信源熵信源熵HH 当当当当p p=0=0或或或或p p=1=1时信源时信源时信源时信源的熵，并说明其理的熵，并说明其理的熵，并说明其理的熵，并说明其理由。由。由。由。4/1/202319