第二章习题解答.ppt

《第二章习题解答.ppt》由会员分享，可在线阅读，更多相关《第二章习题解答.ppt（35页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1 习题解答第二章 基本信息论第二章第二章 习题解答习题解答2 习题解答第二章 基本信息论2.1 某大学设置有六个系，每个系的学生数分别为某大学设置有六个系，每个系的学生数分别为:问：问：“某学生某学生 A 是五系的学生是五系的学生”这一消息提供这一消息提供的的 信息量是多少？信息量是多少？36013602360480600480人数人数6543系别系别解解设设 xi 表示消息表示消息“某学生某学生 A 是是 i 系的学生系的学生”，则状态空间为：则状态空间为：x1x2p(x)x6x5x4x3X消息消息 x5 所提供的信息量为：所提供的信息量为：3 习题解答第二章 基本信息论2.2 某无线电厂

2、生产某无线电厂生产 A,B,C,D 四种产品，四种产品，其中其中 A 占占 10%,B 占占 20%，C 占占 30%，D 占占 40%。有两个消息。有两个消息“现在完现在完 成一台成一台 B 种产品种产品”，“现在完成一台现在完成一台 C 种产品种产品”，试试确确 定哪一种消息提供的信息量大一些？定哪一种消息提供的信息量大一些？则状态空间为：则状态空间为：消息消息 xB和和 xC 所提供的信息量分别为：所提供的信息量分别为：解解设设 表示消息表示消息“现在完成一台现在完成一台 种产品种产品”，xAxBp(x)xDxCX0.1 0.2 0.3 0.4可见，消息可见，消息 xB比比消息消息xC

3、所提供的信息量所提供的信息量大一些。大一些。4 习题解答第二章 基本信息论2.3 试求：试求：(1)在一付标准扑克牌中抽出一张牌的平均信息量；在一付标准扑克牌中抽出一张牌的平均信息量；(2)若扑克仅按它的等级鉴定而不问花色，重复上述计算。若扑克仅按它的等级鉴定而不问花色，重复上述计算。解解(1)每张牌不同，共有每张牌不同，共有 54 种状态且等概，种状态且等概，平均信息量为：平均信息量为：(2)只按等级，共有只按等级，共有 14 种状态，其状态空间为：种状态，其状态空间为：23 AQ p(x)王王KJX平均信息量为：平均信息量为：5 习题解答第二章 基本信息论2.4 设甲地的天气预报为：晴设甲

4、地的天气预报为：晴(占占4/8)，阴，阴(占占2/8)，小雨，小雨(占占1/8)，大雨大雨(占占1/8)，乙地的天气预报为：晴，乙地的天气预报为：晴(占占7/8)，小雨，小雨(占占1/8)，试求两地天气预报各自提供的平均信息量。试求两地天气预报各自提供的平均信息量。解解(1)甲地天气预报所提供的平均信息量为：甲地天气预报所提供的平均信息量为：(2)乙地天气预报所提供的平均信息量为：乙地天气预报所提供的平均信息量为：6 习题解答第二章 基本信息论2.5 一个发射机发出一个发射机发出 A、B、C 三个消息，它的先验概率三个消息，它的先验概率 与条件概率分别为：与条件概率分别为：2/2716/279

5、/27p(i)CBAijp(j/i)0 4/5 1/5 1/2 1/2 0 1/2 2/5 1/10ABCiA B C 试求：试求：(1)该信源的熵？该信源的熵？(2)若信源的消息之间无关，信源熵为多少？若信源的消息之间无关，信源熵为多少？(3)该信源的剩余度？该信源的剩余度？7 习题解答第二章 基本信息论首先求联合概率：首先求联合概率：p(i j)=p(i)p(j/i)p(i j)jA B CiABC 0 36/135 9/135 16/54 16/54 0 2/54 4/135 2/270已知已知 2/2716/279/27p(i)CBAijp(j/i)0 4/5 1/5 1/2 1/2

6、0 1/2 2/5 1/10ABCiA B C解解8 习题解答第二章 基本信息论(3)信源的剩余度为：信源的剩余度为：(1)该信源的熵该信源的熵(即条件熵即条件熵)为：为：(2)若信源的消息之间无关，信源的熵若信源的消息之间无关，信源的熵(即无条件熵即无条件熵)为：为：解解9 习题解答第二章 基本信息论2.6 设有一测量某大坝水面高度并以设有一测量某大坝水面高度并以 8 个等级向远处传送测量个等级向远处传送测量 结果的遥测装置，各等级出现的概率为：结果的遥测装置，各等级出现的概率为：2/16100m8/16105m1/16110m1/1696m1/16115m 1/161/161/16p(x)

7、130m125m120mx 试求试求剩余度为多少？剩余度为多少？解解信源熵为：信源熵为：剩余度为：剩余度为：10 习题解答第二章 基本信息论息量，因此实际的息量，因此实际的平均信息量平均信息量(即实际熵即实际熵)为：为：2.7 有一二元通信系统，传送有一二元通信系统，传送 0 和和 1 的概率分别为的概率分别为 1/4 和和 3/4，为了可靠地传输消息为了可靠地传输消息,重复传输重复传输 3 次次,试求试求剩余度为多少？剩余度为多少？解解 当不重复传输时当不重复传输时,信源熵信源熵 H(x)是每个消息的平均信息量是每个消息的平均信息量.剩余度为：剩余度为：现在现在每个每个消息重复消息重复传输传

8、输 3 次，但次，但后面两次并后面两次并不产生新的不产生新的信信注：注：本题不是一维马氏链，故不能通过先求条件概率，再求条本题不是一维马氏链，故不能通过先求条件概率，再求条件熵件熵 H(X2/X1)的方法来得到的方法来得到实际熵实际熵.11 习题解答第二章 基本信息论2.8 有一个产生有一个产生 A、B、C、D 四种消息的信源，其出现的概率四种消息的信源，其出现的概率 相等相等。通过某一通信系统传输时通过某一通信系统传输时,B 和和 C 无误无误;A 以以 1/4 的的 概率传为概率传为 A,以以 1/4 的概率误传为的概率误传为 B、C、D;而而 D 以以 1/2 的的 概率正确传输概率正确

9、传输,以以 1/2 的概率误传为的概率误传为 C。试求其可疑度？收。试求其可疑度？收 到的信号中哪一个最可靠？其散布度为多少？到的信号中哪一个最可靠？其散布度为多少？解解 设设 xi 表示分别发出表示分别发出 A、B、C、D；则已知则已知先验概率先验概率与与转移概率转移概率如右表：如右表：X x1 x2 x3 x4p(x)1/4 1/4 1/4 1/4 p(y/x)x1 x2 x3 x4y1y2y3y4 1/4 0 0 0 1/4 1 0 0 1/4 0 1 1/2 1/4 0 0 1/2 yi 表示分别收到表示分别收到 A、B、C、D.12 习题解答第二章 基本信息论首先首先求其它求其它几种

10、概率：几种概率：联合概率联合概率:后验概率后验概率:Y的概率的概率:Y y1 y2 y3 y4p(y)1/16 5/16 7/16 3/16 p(x y)x1 x2 x3 x4y1y2y3y4 1/16 0 0 0 1/16 1/4 0 0 1/16 0 1/4 1/8 1/16 0 0 1/8p(y/x)x1 x2 x3 x4y1y2y3y4 1 0 0 0 1/5 4/5 0 0 1/7 0 4/7 2/7 1/3 0 0 2/3解解13 习题解答第二章 基本信息论(1)可疑度可疑度：某个某个 yj 时的可疑度。时的可疑度。其中其中为具体收到为具体收到 解解14 习题解答第二章 基本信息论

11、可见，收到的信息中，可见，收到的信息中，A 最可靠，最可靠，C 最可疑。最可疑。(2)收到的信息中哪一个最可靠收到的信息中哪一个最可靠？由由有：有：0.50.51.01.00.250.250.250.25解解15 习题解答第二章 基本信息论(3)散布度散布度：某个某个 xi 时的散布度。时的散布度。其中其中为具体发出为具体发出 解解16 习题解答第二章 基本信息论可见，在发出的信息中，可见，在发出的信息中，A 的散布度最大。的散布度最大。(4)发出的信息中哪一个散布度最大发出的信息中哪一个散布度最大？0.50.51.01.00.250.250.250.25由由有：有：解解17 习题解答第二章

12、基本信息论2.9 如果一帧电视图像的信息量约为如果一帧电视图像的信息量约为 9.96105106 比特，某一比特，某一 广播广播员员在在电电台台试图试图用他的用他的 10,000 个字的字个字的字汇汇中的中的 1000 个字个字 来口述此来口述此电视图电视图像。假定他的字像。假定他的字汇汇中的中的 10,000个字在描述此个字在描述此 图图像像时时每个字以等概出每个字以等概出现现，试试确定广播确定广播员员描述此描述此图图像所广播像所广播 的信息量是多少？的信息量是多少？该该广播广播员员能否用能否用1000个字恰当地描述此个字恰当地描述此图图 像？古像？古语语云云“一幅画一幅画值值1000个字个

13、字”是夸大了是夸大了还还是低估了？是低估了？(1)本题设定每帧电视图像为：本题设定每帧电视图像为：500600 像素像素,10 级级灰度，灰度，解解故状态数故状态数(即各种图像的总数即各种图像的总数)为：为：平均信息量平均信息量(熵熵)为：为：且每且每帧图帧图像出像出现现的概率相等。的概率相等。18 习题解答第二章 基本信息论(1)(2)广播员的描述采用的是所谓的广播员的描述采用的是所谓的“千字文、万字表千字文、万字表”故状态数故状态数(即各种即各种千字文千字文的总数的总数)为：为：平均信息量平均信息量(熵熵)为：为：(3)(倍倍)。可见，可见，“一幅画胜过千言万语一幅画胜过千言万语”！2.9

14、 如果一帧电视图像的信息量约为如果一帧电视图像的信息量约为 9.96105106 比特，某一比特，某一 广播广播员员在在电电台台试图试图用他的用他的 10,000 个字的字个字的字汇汇中的中的 1000 个字个字 来口述此来口述此电视图电视图像。假定他的字像。假定他的字汇汇中的中的 10,000个字在描述此个字在描述此 图图像像时时每个字以等概出每个字以等概出现现，试试确定广播确定广播员员描述此描述此图图像所广播像所广播 的信息量是多少？的信息量是多少？该该广播广播员员能否用能否用1000个字恰当地描述此个字恰当地描述此图图 像？古像？古语语云云“一幅画一幅画值值1000个字个字”是夸大了是夸

15、大了还还是低估了？是低估了？解解19 习题解答第二章 基本信息论2.10 有一个以有一个以“点点”和和“划划”构成的二元通信系统构成的二元通信系统,“点点”的长度的长度 为为 0.01 秒秒,“划划”的长度为的长度为 0.04 秒。秒。“点点”和和“划划”出出现的概现的概 率分别为率分别为 0.75 和和 0.25,试求信息速率为多少？试求信息速率为多少？若若“点点”和和 “划划”出现的概率相等，信息速率又为多少？出现的概率相等，信息速率又为多少？解解(1)设每秒可传输设每秒可传输 n 个消息，则个消息，则(秒秒)，(个个)，信息速率为：信息速率为：20 习题解答第二章 基本信息论2.10 有

16、一个以有一个以“点点”和和“划划”构成的二元通信系统构成的二元通信系统,“点点”的长度的长度 为为 0.01 秒秒,“划划”的长度为的长度为 0.04 秒。秒。“点点”和和“划划”出出现的概现的概 率分别为率分别为 0.75 和和 0.25,试求信息速率为多少？试求信息速率为多少？若若“点点”和和 “划划”出现的概率相等，信息速率又为多少？出现的概率相等，信息速率又为多少？解解(1)(2)设每秒可传输设每秒可传输 n 个消息，则个消息，则(秒秒)，(个个)，信息速率为：信息速率为：注：注：本题说明本题说明,虽然等概时熵最大虽然等概时熵最大,但熵速率不一定是最大的但熵速率不一定是最大的,因此因此

17、,利用熵速率刻画信道的特性要更好一些。利用熵速率刻画信道的特性要更好一些。21 习题解答第二章 基本信息论2.11 某学生常因患感冒请假缺课，现调查缺课请假是否与就寝某学生常因患感冒请假缺课，现调查缺课请假是否与就寝 时间有关时间有关,设设 X1 表示缺课表示缺课,X2 表示上课表示上课,Y1 表示就寝时表示就寝时间间 过晚，过晚，Y2 表示正确就寝，得到如下调查结果：表示正确就寝，得到如下调查结果：0.90.1p(x)X2X1X X1 X2 p(y/x)0.5 5/18 0.5 13/18Y1Y20.70.3p(y)Y2Y1Y试问该生缺课与就寝时间的关系？试问该生缺课与就寝时间的关系？解解(

18、1)计算计算联合概率联合概率 p(x y)和和条件概率条件概率 p(x/y)：X1 X2 p(x y)0.05 0.25 0.05 0.65Y1Y2 X1 X2 p(x/y)1/6 5/6 1/14 13/14Y1Y222 习题解答第二章 基本信息论(2)计算计算熵熵、条件熵条件熵以及以及联合熵联合熵：(3)上述三组只需计算其中一组。由于无条件熵与上述三组只需计算其中一组。由于无条件熵与条件熵相条件熵相 差不大，说明该生缺课与就寝时间没有太大的关系。差不大，说明该生缺课与就寝时间没有太大的关系。解解23 习题解答第二章 基本信息论如果一旦称出哪如果一旦称出哪枚是枚是假币假币(且知道其轻重且知道

19、其轻重)，则所获得的，则所获得的2.12 有有 12 枚银币枚银币,其中有一枚是假币其中有一枚是假币,样子完全一样样子完全一样,只知只知道道 假币与真币的重量不同假币与真币的重量不同,但不知其轻重。为了称出哪一枚但不知其轻重。为了称出哪一枚 是假币，问至少必须称几次是假币，问至少必须称几次(使用没有砝码的天枰使用没有砝码的天枰)？解解(1)由于只有一枚不知轻重的假币，故状态数为：由于只有一枚不知轻重的假币，故状态数为：信息量信息量(熵熵)为：为：息量息量(熵熵)为：为：(3)称多少次才有可能获得称多少次才有可能获得 的信息量呢？的信息量呢？故至少必须称三次才行。故至少必须称三次才行。(2)每称

20、一次会出现三种情况每称一次会出现三种情况,故故每称一次每称一次所获得的最大信所获得的最大信24 习题解答第二章 基本信息论2.13 某二元数字通信系统某二元数字通信系统,以每秒以每秒 1000 码元的速度传输码元的速度传输 0 和和 1,且且 0 和和 1 的概率分别为的概率分别为 p(0)=1/3,p(1)=2/3。由于信道有噪声。由于信道有噪声,误误 码率为码率为 Pe=0.210-2 比特比特,试试 求接收的信息速率。求接收的信息速率。p(j/i)i(发发)0 1j(收收)01 0.998 0.002 0.002 0.998(1)求出求出联合概率联合概率和和接收概率接收概率.(收收)0

21、1 p(j)1.002/3 1.998/3(2)接收信息速率：接收信息速率：p(i j)i(发发)0 1j(收收)01 0.998/3 0.004/3 0.002/3 1.996/3(发发)0 1 p(i)1/3 2/3解解已知已知信源概率信源概率和和转移概率转移概率.25 习题解答第二章 基本信息论2.14 一信源以相等概率产生消息一信源以相等概率产生消息 A、B、C,速率为速率为 100/s.由于由于 信道中的噪声影响，各符号信道中的噪声影响，各符号 正确接收的概率如右：正确接收的概率如右：j(收收)p(j/i)3/4 1/4 0 1/4 1/2 1/4 0 1/4 3/4ABCi(发发)

22、A B C求接收信息速率？求接收信息速率？(1)求出求出联合概率联合概率和和接收概率接收概率.解解p(i j)j(收收)A B Ci(发发)ABC 3/12 1/12 0 1/12 2/12 1/12 0 1/12 3/12 j(收收)A B Cp(j)1/3 1/3 1/3(2)接收信息速率：接收信息速率：26 习题解答第二章 基本信息论2.15 某气象员用明线报告天气状态，有四种可能的状态某气象员用明线报告天气状态，有四种可能的状态:晴、晴、云、雨、雾。云、雨、雾。(1)若每种状态等概，设计一个最佳的二元若每种状态等概，设计一个最佳的二元 编码方案编码方案,并求编码效率；并求编码效率；(2

23、)若四种状态的概率分别为：若四种状态的概率分别为：晴晴(占占1/4)、云、云(占占1/8)、雨、雨(占占1/8)、雾、雾(占占1/2),求此时的最求此时的最 佳的二元编码方案。佳的二元编码方案。解解(1)采用采用香农香农-范诺编码范诺编码晴晴云云雨雨雾雾1/41/41/41/4p(x)码字码字 码长码长001101012222熵：熵：编码效率：编码效率：平均码长：平均码长：27 习题解答第二章 基本信息论解解(2)采用采用香农香农-范诺编码范诺编码晴晴云云雨雨雾雾1/21/41/81/8p(x)码字码字码长码长01110111233熵：熵：编码效率：编码效率：平均码长：平均码长：012.15

24、某气象员用明线报告天气状态，有四种可能的状态某气象员用明线报告天气状态，有四种可能的状态:晴、晴、云、雨、雾。云、雨、雾。(1)若每种状态等概，设计一个最佳的二元若每种状态等概，设计一个最佳的二元 编码方案编码方案,并求编码效率；并求编码效率；(2)若四种状态的概率分别为：若四种状态的概率分别为：晴晴(占占1/4)、云、云(占占1/8)、雨、雨(占占1/8)、雾、雾(占占1/2),求此时的最求此时的最 佳的二元编码方案。佳的二元编码方案。28 习题解答第二章 基本信息论2.16 一个信源产生两个消息一个信源产生两个消息 A、B,其概率分别为：其概率分别为：p(A)=1/16,p(B)=15/1

25、6,设计一个二元编码方案设计一个二元编码方案,使编码效率在使编码效率在 70%以上。以上。解解采用三次扩展的采用三次扩展的香农香农-范诺编码范诺编码BBBBBABABABBBAAABAAABAAA33752252252251515151p(x)码字码字码长码长0111111100111110101111001113335555熵：熵：编码效率：编码效率：平均码长：平均码长：010129 习题解答第二章 基本信息论2.17 设有六个消息，其出现的概率分别为：设有六个消息，其出现的概率分别为：1/16B2/16C3/16D1/16A4/16E5/16p(x)Fx将它们分别进行香农将它们分别进行香农

26、-范诺编码与霍夫曼编码，并比较编范诺编码与霍夫曼编码，并比较编码效率码效率？解解(1)香农香农-范诺编码范诺编码FEDCBA543211p(x)码字码字码长码长00111101011101101222344熵：熵：编码效率：编码效率：平均码长：平均码长：30 习题解答第二章 基本信息论(2)霍夫曼编码霍夫曼编码FEDCBA543211p54322544375497熵：熵：编码效率：编码效率：平均码长：平均码长：160101010101码字：码字：A B C D E F0101 0100 011 11 10 00解解31 习题解答第二章 基本信息论解解2.18 两个一维随机变量的概率密度函数两个

27、一维随机变量的概率密度函数 p(x)如图所示，问哪一如图所示，问哪一 个的熵大？个的熵大？(1)概率密度函数为概率密度函数为熵：熵：32 习题解答第二章 基本信息论(1)(2)概率密度函数为概率密度函数为熵：熵：解解2.18 两个一维随机变量的概率密度函数两个一维随机变量的概率密度函数 p(x)如图所示，问哪一如图所示，问哪一 个的熵大？个的熵大？33 习题解答第二章 基本信息论2.19 信源变量信源变量 x 的取值为正的取值为正,其平均值为其平均值为 A。试求信源熵最大。试求信源熵最大 时的概率密度函数时的概率密度函数 p(x)以及最大熵以及最大熵 H(x)。求求 p(x)使使 H(x)最大

28、。最大。条件：条件：问题：问题：解解目标：目标：34 习题解答第二章 基本信息论令令得得最大熵为：最大熵为：2.19 信源变量信源变量 x 的取值为正的取值为正,其平均值为其平均值为 A。试求信源熵最大。试求信源熵最大 时的概率密度函数时的概率密度函数 p(x)以及最大熵以及最大熵 H(x)。设设解解35 习题解答第二章 基本信息论2.20 已知一个平均功率受限的连续信号，通过带宽已知一个平均功率受限的连续信号，通过带宽 w=1 M Hz 的高斯白噪声信道，试求：的高斯白噪声信道，试求：(1)若信噪比若信噪比为为 10，信道容量，信道容量为为多少？多少？(2)若信道容量不变，信噪比降为若信道容量不变，信噪比降为5，信道带宽应为多少？，信道带宽应为多少？解解香农公式香农公式(1)信噪比为信噪比为 P/N=10，带宽为，带宽为 w=1 M Hz=106 Hz，故带宽应为：故带宽应为：(2)信噪比为信噪比为 P/N=5，信道容量为，信道容量为故信道容量为：故信道容量为：