信息理论与编码课后答案第2章.doc

《信息理论与编码课后答案第2章.doc》由会员分享，可在线阅读，更多相关《信息理论与编码课后答案第2章.doc（55页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上第二章 信息的度量习题参考答案 不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问：（1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为 因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。 设事件A为任一特定排列，则其发生概率为 可得，任一特定排列的不确定性为 比特 （2）设事件B为从中抽取13张牌，所给出的点数都不同。 扑克牌52张中抽取13张，不考虑其排列顺序，共有种可能的组

2、合，各种组合都是等概率发生的。13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。所以 则事件B发生所得到的信息量为 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“2和6 同时出现”这事件的自信息量。（2）“两个3同时出现”这事件的自信息量。（3）两个点数的各种组合（无序对）的熵。（4）两个点数之和（即2，3，12构成的子集）的熵。（5）两个点数中至少有一个是1的自信息。解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为，所以36种中任一状态出现的概率相等，为。（1）

3、设“2和6同时出现”这事件为A。在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。所以 得 比特（2） 设“两个3同时出现”这个事件为B。在这36种状态中，两个3同时出现只有一种状态，所以 得 比特（3） 设两个点数的各种组合构成信源X。这信源X的符号集A就是这36种状态，并且其为等概率分布。得 所以 比特/状态（4） 设两个点数之和构成信源Z，它是由两个骰子的点数之和组合，即Z=X+Y（一般加法）。 而 所以得 满足 则 比特（5） 在这36种状态中两个点数中至少有一个数是1的状态共有11种，每种状态是独立出现的，每种状态出现的概率是1/36。现设两个点数中至少有一个数是1的事件

4、为C事件，则得 所以 比特2.5设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况：（1） 红色球和白色球各50只；（2） 红色球99只，白色球1只；（3） 红，黄，蓝，白色各25只。求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。解：依题意，令R表示事件“取到的是红球”，W表示事件“取到的是白球”，Y表示事件“取到的是黄球”，B表示事件“取到的是蓝球”。（1） 若布袋中有红色球和白色球各50只，即 则 bit （2） 若布袋中红色球99只，白色球1只，即 则 bit bit （3） 若布袋中有红，黄，蓝，白色各25只，即 bit2.

5、4 离散熵（2.6）设信源为，。（1）求信源的熵；（2）信源发出由个“0”和(100-)个“1”构成的序列，求序列的自信息量；（3）比较（1）（2）的计算结果。解：(1) H(X)= = 0.54 bit/符号 (2) 考虑X为DMS I =mlog8+(100-m)log= 3m+(100-m)0.19 =2.81m+19 bit/符号序列 (3) (1) 计算出的值表示每个信源符号的统计平均信息量。 (2)计算出的值表示序列（长度100）的信息量，此时平均每个符号的信息量为 bit/符号。（2.7）设信源为求X的熵，并解释为什么，不满足信源熵的极值性。 解： bit/符号 不满足极值性的原

6、因？（2.8）大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男子是否为红绿色盲，他回答“是”或“否”。（1）这二个回答中各含多少信息量?（2）平均每个回答中含有多少信息量?（3）如果你问一位女子，则答案中含有的平均信息量是多少?解：对于男性，是红绿色盲的概率记作，不是红绿色盲的概率记作，这两种情况各含的信息量为 bit bit平均每个回答中含有的信息量为 bit对于女性，是红绿色盲的概率记作，不是红绿色盲的记作，则平均每个回答中含有的信息量为 bit （2.10） 设随机变量X的概率分布为。随机变量Y是X的函数，其分布为将X的4个最小的概率分布合并为一个：（1）

7、请解释log5H(X)log7，原因； (2) 计算，；(3) 计算 并解释其结果解：（1） 根据熵的极限性，当随机变量等概率分布时，随机变量的熵最大。有7个可能取值的随机变量的最大熵为，随机变量X不是等概率分布，所以H(X)log7。根据熵的渐化性（2） 比特/符号 比特/符号（3） 因为随机变量Y是X的函数，所以 比特/符号2.6 平均互信息及其性质（2.11）设随机变量和的联合概率空间为，定义一个新随机变量（普通乘积）。（1）计算熵、以及；（2）计算条件熵、以及。（3）计算互信息量、以及； 解 （1） bit/符号的概率分布如下 由得由对称性可得（2）H(X|Y)=H(XY)-H(Y)=

8、1.811-1=0.811bit/symbH(Y|X)=H(XY)-H(X)=1.811-1=0.811bit/symbH(X|Z) = H(XZ)-H(Z)=1.406-0.544=0.862bit/symb H(Z|X) = H(XZ)-H(X)=1.406-1=0.406bit/symbH(Y|Z) = H(YZ)-H(Z)=1.406-0.544=0.862bit/symb H(Z|Y) = H(YZ)-H(Y)=1.406-1=0.406bit/symbH(X|YZ) = H(XYZ)-H(YZ)=1.811-1.406=0.405bit/symbH(Y|XZ) = H(XYZ)-H

9、(XZ)=1.811-1.406=0.405bit/symbH(Z|XY) = H(XYZ)-H(XY)=1.811-1.811=0 bit/symb (3)（2.12）任意三个离散随机变量、和，求证： 证明：方法一：利用定义证明。左边=右边= = = = = = = 得证方法二：利用性质证明。因为 所以 可得 得证。（2.13）有一离散无记忆信源，其输出为X0,1,2，相应的概率为p=，p=，p=，设计两个独立试验去观察它，其结果分别为Y0,1 , Y0,1 ，已知条件概率如表3.1所列。(1) 求和，并判断哪一个实验好些；(2) 求并计算做Y和Y两个试验比做Y或Y中的一个实验得多少关于X的

10、信息；(3) 求和,并解释它们的含义。表 3.1p(Y1/X)Y1p(Y2/X)Y20101X010X01010111021/21/2201解：(1)，要求和需要先求,。,要求和需要先求,。由及联合概率分布与边缘概率分布的关系可得及，如表3-2所示，所以 比特/符号比特/符号同样可求出和 如表3.3所示Y201X01/4011/40201/21/21/2Y101X01/40101/421/41/41/21/2表3.2 表3.3因此第二个实验好些。（2） 表3.4 表3.5Y1Y200011011X0100010010201/201/2Y1Y200011011X01/40001001/40201

11、/401/41/41/41/41/4 可以看出：做和两个实验比做一个实验可多得到的信息为做和两个实验比做一个实验可多得到的信息为（3），它表示做完实验以后，从实验可得到关于的信息量。,它表示做完实验以后，从实验可得到关于的信息量。（2.14）若三个离散随机变量、和有如下关系：（普通加法），其中和相互统计独立。试证明：证明：（1）因为Z=+ (2) 则（x,y）=（x,z）,即联合事件和Z的概率空间购成一一映衬。 又因为与相互独立，所以H()=H(|Z) = - = - = - = - = H(z|x) H(z) 同理 H（）H（z） （3）因为与相互独立，所以 H（x,）=H（x）+H（） =

12、H（x）+H（z|x） =H（x，z） H(z) 得证。 （4）利用前面结论 I （x；z)=H(z)-H(z|x) =H(z)-H（） (5） I （x；z)=H(z)-H(z|x) = H(z) （6） I（x；z)=H(x)-H(x|z) =H（x） （7） I（；z|x)=H(x|z)-H(z) =H（x|z） =H() （8） I （x；z)=H(x|z)-H(z) =H（x|z） 或 I （x；z)=H(|z)-H(|zx) =H（x|z）2.15设随机变量和相互统计独立，且它们均等概率取值。定义新随机变量（模2和），计算：（1）、以及；（2）、以及；（3）、以及；（4）、以及；（

13、5）、以及。解： ； ；（1）H(x)=H(y)=1 bit/符号 bit/符号H(xy)=H(x)+H(y) =2bit/符号H(yz)=H(y)+H(z|y) =1+log2 =2 bit/符号H(xz)=H(x)+H(z|x) =1+log2 = 2 bit/符号H(xyz)=H(xy)+H(z|xy)= H(xy)= H(x)+H(y)=2 bit/符号（2）H(x|y) = H(x)=1 bit/符号H(x|z) =1 bit/符号H(y|z)=1bit/符号H(x|yz)=0H(y|xz)=0H(z|xy)=0（3）I(x;y)= H(x)- H(x|y)= H(x)- H(x)=

14、0 I(x;z)= H(x)- H(x|z)= 0 I(y;z)= H(y)- H(y|z)= 0（4）I(x;y|z)= H(x|z)- H(x|yz)= H(x|z)=1bit I(z;y|x)= H(z|x)- H(z|xy)= H(z|x)=1bit（5）I(xy;z)= H(xy)- H(xy|z)= H(xy)- H(xy)=0bit I(x;yz)= H(x)- H(x|yz)= H(x) =1bit I(y;xz)= H(y)- H(y|xz)= H(y) =1bit2.7 离散无记忆信源的扩展2.16 每帧电视图像可看成是由个独立变化的像素组成的，每个像素又取128个不同的亮

15、度电平，并设亮度电平是等概出现的。问每帧图像含有多少信息量？现假设有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，（1）试问广播员描述此图像所广播的信息量是多少？（2）假设汉字字汇是等概分布的，并且彼此无依赖，试问若要恰当地描述此帧图像，广播员在口述中至少需要多少个汉字？解：设电视图像每个像素取128个不同的亮度点平，并设电平等概率出现，每个像素的亮度信源为得每个像素亮度含有的信息量为： 一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆次扩展信源。得每帧图像含有的信息量为 广播口述时，广播员是从10 000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则

16、汉字字汇信源是 得该汉字字汇中每个汉字含有的信息量 广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述。所以，广播员描述此帧图像所广播的信息量为 若广播员仍从此汉字字汇信源中独立地选取汉字来描述电视图像，每次口述一个汉字含有信息量是,每帧电视图像含有的信息量是,则广播员口述此图像至少需用的汉字数等于 （2.17） 设信源发出二重延长消息,其中第一个符号为A、B、C三种消息，第二个符号为D、E、F、G四种消息，概率和如下：ABC 1/2 1/3 1/6D 1/4 3/10 1/6E 1/4 1/5 1/2F 1/4 1/5 1/6G 1/4 3/10 1/6求二次扩展信源的联合熵

17、。解：由题知X,Y的联合概率分布如下：ABCD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36所以 2.8 离散有记忆信源的熵（2.18）设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按 的概率发出符号。（1）试问这个信源是否是平稳的？（2）试计算,及；（3）试计算并写出信源中可能有的所有符号。解：（1） 此信源在任何时刻发出的符号概率都是相同的，即信源发出符号概率分布与时间平移无关，而且信源发出的序列之间也是彼此无依赖的。因此这个信源是平稳信源，而且是离散无记忆信源。（2）（3） 的所有符号：（2.19）设某离散

18、平稳信源，概率空间为并设信源发出的符号只与前一个符号有关（相邻），其联合概率为,如下所示： 0120 1/4 1/1801 1/18 1/3 1/1820 1/18 7/36求信源的信息熵、条件熵与联合熵，并比较信息熵与条件熵的大小。解：因为边沿分布条件分布概率如下：0120 9/11 1/801 2/11 3/4 2/920 1/8 7/9所以信息熵： 条件熵： 联合熵： 或 可知 解释：（1）信源的条件熵比信源熵少0.672bit/符号。这是由符号之间的相互依存性造成的。（2）联合熵表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为 因此 原因：略去了和之间的依赖

19、性。2.9 马尔可夫信源的信息熵（2.20） 黑白气象传真图的消息只有黑色和白色两种，即信源，设黑色出现的概率为，白色的出现概率为。（1）假设图上黑白消息出现前后没有关联，求熵（2）假设图上黑白消息出现前后有关联，其依赖关系为， ，求此一阶马尔可夫信源的熵。（3）分别求上述两种信源的剩余度，并比较和的大小，试说明其物理意义。解：（1）假设黑白气象传真图上黑白消息出现的前后没有关联，则等效于一个离散无记忆信源，信源概率空间为信源的信息熵 （2）假设黑白气象传真图的消息前后有关联时，从给出的依赖关系可知，黑白消息之间的依赖关系与时间无关，并且满足一阶马尔可夫信源的定义。此一阶马尔可夫信源为 其状态

20、集。从给出的依赖关系可以画出其状态转移图，如图2.3所示，并从图中可得状态的一步转移矩阵0.80.20.10.9黑白图2-3 状态转移图此马尔可夫链是时齐的，状态数有限，且是不可约闭集。所以状态的极限概率存在，其满足即 由此求得 此一阶马尔可夫信源的熵为注意：现计算得到的状态极限概率Q（黑）、Q（白）的值不完全等于题中给出的黑白出现的概率P（黑）、P（白）。所以计算一阶马尔可夫信源的熵时不能用P（黑）和P（白）来计算。若此题最初给出P（黑）=，P（白）=，此时信源为二维平稳信源了。（3） 黑白消息信源的剩余度 由前两小题中计算的和比较可知 其结果说明：当信源的消息（符号）之间有依赖时，信源输出

21、消息的不确定性减弱。本题中，当有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后面基本可猜测是黑色消息。这时信源的平均不确定性减弱。所以，信源消息之间有依赖时信源熵小于信源消息之间无依赖时信源熵。这表明信源熵正是反映信源的平均不确定性的大小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息（符号）之间依赖关系就越大。（2.21） j i12311/21/41/422/301/332/31/30（1） 求的联合熵和平均符号熵；（2） 求这个链的极限平均符号熵；（3） 求和它们对应的冗余度解：（1）信源是一阶马尔可夫的，所以由知的联合概率为1231 1/4

22、 1/8 1/82 1/60 1/123 1/6 1/120因此 由知的联合概率为1231237/245/365/367/4805/727/485/720 的联合熵为平均符号熵为(2) 设信源稳态符号概率分布，由解得：信源的极限平均符号熵(3) 三个熵分别为由冗余度的计算公式，得它们的冗余度分别为(2.22) 设有一个马尔科夫链的一步转移概率矩阵为0 1 2试计算：（1） 该马尔科夫链的二步转移概率矩阵；（2） 平稳后状态“0”，“1”，“2”的极限概率。解：（1）以下推导可利用计算马尔科夫链的二步转移概率矩阵根据-方程 同理 （2） 马尔科夫链的平稳分布满足解方程组得：2.10离散信源的信息

23、（速）率和信息含量效率（2.23）设信源为试求：（1） 信源的熵、信息含量效率以及冗余度；（2） 求二次和三次扩展信源的概率空间和熵。解：（1） （2） 二次扩展信源的概率空间及熵 三次扩展信源的概率空间及熵（2.24） 设以8000样值/秒的速率抽样一语音信号，并以级对抽样均匀量化，设抽样值取各量化值的概率相等，且抽样间相互独立统计。求：（1） 每抽样的信息熵；（2） 求信源的信息输出率。解：（1） 每抽样由256各量化取值，且各量化值的概率相等，因此每抽样的信息熵为（2） 信源的信息输出率为2.11 连续随即变量的熵和平均互信息量（2.25）设连续随即变量X的概率密度函数为（1） 求X的熵

24、；（2）求的熵；（3）求的熵。解：（1）因为 所以 故若则所以若则所以（2.24）求连续随即变量X在均值受限条件下达到最大值熵的概率密度函数，并计算最大熵。解：设连续随机变量，其概率密度函数满足求达到极大时的最佳分布。用变分法求的最大值及达到最大值时的。即 其中，为待定常数。因为上式中被积分函数中没有含项，所以使变分为零，只需求被积函数对的偏导数为零即可。所以得 由 求得 而 得 故得即为指数概率分布最大熵取不同的对数底对应不同的单位可见，连续随机变量，当其平均值受限，其概率密度函数为指数分布时，熵达到最大值。（2.27） 连续随机变量X和Y得联合概率密度为试求。解：本章测试题一、 填空题 1

25、.N阶平稳信源的N维分布函数与_无关。 2.在对信源进行观察之前，对认识主体来说，信源存在_不确定性，观察之后，信源还存在_不确定性。 3.联合符号的不确定性，等于_的不确定性加上_的不确定性。 4.256个亮度值构成的信源，其熵值最大为_比特。 5.无条件熵_条件熵，条件多的熵_条件少的熵。（填大于或小于）二、 判断题 1.对于DMS，长度为3的符号串的平均不确定是单个符号平均不确定的3倍。（） 2.信源内部的关联性，会提高熵值。（） 3.马尔科夫信源符号的输出不仅与当前的信源状态有关，而且还与以前的状态有关。（） 4.信息含量效率越高，信源的冗余度也越高。（） 5.与离散熵相同，微分熵也是

26、非负的。（）三、 选择题 1.下列物理量，不满足非负性的是（）A. H(X); B. I(X;Y); C. I; D. H() 2.连续型随机变量的取值受限，那么该随机变量服从_时，微分熵最大。A. 高斯分布；B. 泊松分布；C. 均匀分布；D. 指数分布 3.下列说法中，不正确的是_A. 熵功率，其中P为连续随即变量X的平均功率B. 熵功率，其中h(X)是X的微分熵C. 若X平均功率为P，但不是高斯分布，则D. X的平均功率为P时（均值非零），则X得最大熵为 4.下列表达式不正确的是_A.B.C.D. 5.下列关于马尔科夫信源的叙述中，不正确的是_ A. 某一时刻信源符号的输出只与当时的信源

27、状态有关，而与之前的状态无关B. 信源状态只由当前输出符号和前一时刻信源状态唯一确定C. 一般马尔科夫信源的信息熵是其平均符号熵的极限值D. M阶马尔科夫信源的极限熵等于m+1阶条件熵四、 计算题 1.（红书，p10，例1.5）例1.5 居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6cm以上的，而女孩中身高1.6cm以上的占总数一半。假设我们得知“身高1.6cm以上的某女孩是大学生”的消息，问获得多少信息量？ 2.（红书，例1.14）例1.14 已知信源U包含8个数字消息0，1，2，3，4，5，6，7.为了在二进制信道上传输，用信源编码器把这8个十进制数编成三位二进制代

28、码组，信源各消息（符号）的先验概率及相应的代码组如下：信源信息01234567三位二进制代码组000001010011100101110111求互信息量。 3. （李梅，29页）游戏。3扇门中有一扇门后藏有一袋金子，并且3扇门后面藏有金子的可能性相同。你选择其中一扇门，主持人会打开后面没藏有金子的另一扇门（如果你选择的门后藏有金子，则主持人会在另两扇门中任意打开一扇门）。主持人给了你多少金子位置的信息？ 4. （李梅，20页）2.15 给定X,Y的联合概率分布，如表2.10所示。求：表2.10Y X01010（1）（2）（3）（4）（5） I(X;Y)5. (傅祖芸祥，12页）【2.1】设有1

29、2枚同值硬币，其中有一枚为假币，且只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现采用天平比较左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？6. （红书）例2.25 一阶马尔科夫的状态转移图如图2.6所示。求：图2.6（1） 稳态下状态的概率分布；（2） 信源的熵。7. （傅祖芸）【2.25】minimum entropy.what is the minimum value of H()=H(p) as P ranges over the set of n-dimensional probability vectors? Find all

30、Ps which achieve minimum.8. （傅精，4.4）【4.4】设某连续信道，其特性如下而信道输入变量X的概率密度函数为试计算：（1） 信源的熵h(X)。（2） 平均互信息I(X;Y)。9. （原2.14）设X和Y是相互独立的高斯随即变量，均值分别为、，方差分别为、。变量变换：，。试求10. (原2.16)设有N个相互独立的连续随即变量求证并求等号成立的条件。11. （原2.18）设n阶马尔科夫信源S，其符号集，又设为其平稳后的一维概率分布，现定义一无记忆信源，它的符号集也是，又其符号概率分布等于m阶马尔科夫信源S平稳后的一维概率分布，称信源为m阶的伴随信源，试证明。五、实验

31、题1. 试用matlab编程实现离散无记忆信源熵值的计算。2. 试用matlab编程绘制2个符号信源熵函数与概率分布的曲线。3. 试用matlab编程绘制3个符号信源熵函数与概率分布的曲面。本章测试题答案一、填空题1. 时间的起点2. 先验，后验3. 关于输入，干扰引入（或者：关于输出，观察到后还剩余）4. 85. 大于，小于二、判断题1. ；2. ；3. ；4. ；5. 三、选择题1. C；2. C；3. C；4. B；5. D四、计算题1、解：设表示“大学生”这一事件，表示“身高1.60m以上”这一事件，则故 2、 解：表示译码器收到第一个码元后提供的关于信息的信息量。先计算后验概率，按贝

32、叶斯公式有 故收到第一个码元“0”后的后验概率为 求得互信息量为 如 此式表示译码器收到一个码元“0”后，提供的有关信息的信息量为0.415 bit。同理求接到01后的后验概率，按贝叶斯公式有 如 此式表示译码器收到码元“01”后，提供的有关信息的信息量为2 bit。 欲求接到011后的后验概率，按贝叶斯公式有 如 此式表示译码器收到码元“011”后，提供的有关信息的信息量为3 bit。相关概率如下表所示。信源消息01234567三位二进制代码组000001010011100101110111 1/41/41/81/81/161/161/161/161/31/31/61/60000001/21

33、/20000000100003、 解：假定表示藏金子的位置，表示你选择的门，表示支持人打开的门，显然和是相互独立的，但是和、和都不相互独立，因为并且。对于任意一个值和一个，有 换句话说，如果主持人打开一扇空门，那么你选择的门后面藏有金子的可能性是，因此你应该打开另外一扇门，因为对于任意一个值和一个，有，所以 比特/符号 比特/符号4、 解：由的联合概率分布求出的边缘概率分布，如表2.11所示。0 1 表2.11 (a) (b)0 1 (1) (2) (3) 比特/符号(4) 比特/符号(5) 比特/符号5、 解：在12枚同值硬币中，哪一枚是假币，假币的重量是比真币的重量重还是轻，都是“无知”、“不确定的”。而用天平比较左右两边轻重的测量方法，每测一次，能获得一定的信息量，能消除部分不确定性。测量若干次后，能消除全部不确定性，获得全部信息，则就能确定出其中一枚假币及其重量，因此设“在12枚同值硬币中，某一枚为假币”这事件为，其出现的概率为