信息论基础与编码 (22).pdf

《信息论基础与编码 (22).pdf》由会员分享，可在线阅读，更多相关《信息论基础与编码 (22).pdf（34页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1第二章第二章信息量信息量 熵与马尔科夫链熵与马尔科夫链1、一个号码锁有一个号码锁有 3 个数字，每个数字可设置为个数字，每个数字可设置为 099（含（含 0 和和 99）中的任何一）中的任何一个整数值。试计算打开该锁所需的信息。个整数值。试计算打开该锁所需的信息。解析：本题考查信息的度量解析：本题考查信息的度量难度系数：难度系数：2答案：答案：31loglog19.9 bit100IP 2、中国国家标准局所规定的二级汉字共、中国国家标准局所规定的二级汉字共 6763 个。设每字使用的频度相等，求个。设每字使用的频度相等，求一个汉字所含的信息量。设每个汉字用一个一个汉字所含的信息量。设每个汉字

2、用一个1616的二元点阵显示，试计算显的二元点阵显示，试计算显示方阵所能表示的最大信息。显示方阵的利用率是多少？示方阵所能表示的最大信息。显示方阵的利用率是多少？解析解析：本题考查信息的度量本题考查信息的度量，主要考查学生必须掌握如何获取概率主要考查学生必须掌握如何获取概率，从而得到从而得到计算信息量。计算信息量。难度系数：难度系数：3解：由于每个汉字的使用频度相同，它们有相同的出现概率，即67631P因此每个汉字所含的信息量为1loglog12.7 bit6763IP 字字每个显示方阵能显示256161622种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是2561l

3、oglog256 bit2IP 阵阵显示方阵的利用率或显示效率为0497.02567.12阵字II3、一信源有一信源有 4 种输出数符种输出数符：3,2,1,0 ,iiXi，且且4/1iXP。设信源向信宿发出设信源向信宿发出3X，但由于传输中的干扰，接收者收到，但由于传输中的干扰，接收者收到3X后，认为其可信度为后，认为其可信度为 0.9。于是信源。于是信源再次向信宿发送该数符再次向信宿发送该数符（3X），信宿无误收到信宿无误收到。问信源在两次发送中发出的信息问信源在两次发送中发出的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？（提示：先计算第量各是多少？信宿在两次接收中得到的信息量

4、又各是多少？（提示：先计算第二次传输中收、发的信息量二次传输中收、发的信息量。）解析：本题考查信息的度量主要考查学生必须掌握如何求解概率解析：本题考查信息的度量主要考查学生必须掌握如何求解概率难度系数：难度系数：3解：第二次发送无误收到，因此发、收信息量相等，均为2bit 15.09.0log)(log)(3232XPXI第一次发出的信息量为0313()log()log0.252 bitIXP X 第一次传送的信息量为两次发送信息量之差：130323()()()1.85 bitIXIXIX4、一信源有、一信源有 6 种输出状态，概率分别为种输出状态，概率分别为5.0AP25.0BP125.0C

5、P05.0EDPP025.0FP试计算试计算)(XH。然后求消息。然后求消息ABABBA和和FDDFDF中的信息量（设信源先后发出中的信息量（设信源先后发出的符号相互独立的符号相互独立），并将之与，并将之与 6 位消息的信息量期望值相比较。位消息的信息量期望值相比较。解析解析：本题考查信息的度量及离散信源熵掌握信源熵函数的求解方法本题考查信息的度量及离散信源熵掌握信源熵函数的求解方法 主要主要是学生必须掌握统计学中数学期望的求解方法。是学生必须掌握统计学中数学期望的求解方法。难度系数：难度系数：2解：由信息熵定义，该信源输出的信息熵为611()()log()111logloglog0.5log

6、20.25log40.125log820.05log200.025log401.94 bitiiiABFABFH XP XP XPPPPPP 消息 ABABBA 所含的信息量为 1333loglog3 log2log49 bitABABIIIPP消息 FDDFDF 所含的信息量为 2333loglog3 log20log4028.932 bitDFDFIIIPP6 位长消息序列的信息量期望值为6()11.64 bitIH X三者比较为21III5、一信源有、一信源有 6 种输出状态，概率分别为种输出状态，概率分别为4.0AP，2.0BP，12.0CP，1.0EDPP，08.0FP试计算试计算)

7、(XH。然后求消息。然后求消息ABABBA和和FDDFDF中的信息量（设信源先后发出中的信息量（设信源先后发出的符号相互独立的符号相互独立），并将之与，并将之与 6 位消息的信息量期望值相比较。位消息的信息量期望值相比较。3解析：本题考查信息的度量及离散信源熵解析：本题考查信息的度量及离散信源熵难度系数：难度系数：2解：由信息熵定义，该信源输出的信息熵为611()()log()111logloglog0.4log2.50.2log50.12log8.320.1log100.08log12.52.32 bitiiiABFABFH XP XP XPPPPPP 消息 ABABBA 所含的信息量为 1

8、333loglog3 log2.5log510.93 bitABABIIIPP消息 FDDFDF 所含的信息量为 2333loglog3 log10log12.520.90 bitDFDFIIIPP6 位长消息序列的信息量期望值为6()13.92 bitIH X三者比较为21III6、两 个 信 源、两 个 信 源1S和和2S均 有 两 种 输 出：均 有 两 种 输 出：1 ,0X和和1 ,0Y，概 率 分 别 为，概 率 分 别 为2/110XXPP，4/10YP，4/31YP。试计算。试计算)(XH和和)(YH。设。设1S发出序发出序列列0101，2S发出发出 0111，如传输过程无误，

9、第一个字符传送结束后，相应的两个信，如传输过程无误，第一个字符传送结束后，相应的两个信宿分别收到多少信息量？当整个序列传送结束后，收到的总信息量及平均每次宿分别收到多少信息量？当整个序列传送结束后，收到的总信息量及平均每次发送的信息量又各是多少？（设信源先后发出的数字相互独立发送的信息量又各是多少？（设信源先后发出的数字相互独立。）解析：本题考查信息的度量及离散信源熵解析：本题考查信息的度量及离散信源熵难度系数：难度系数：2解：X 和 Y 的信息熵分别为bit 81.034log434log411log)(bit 12log212log211log)(1010iYYiXXiiiiPPYHPPX

10、H因传输无误，信宿收到的信息等于发送信息。因此当第一个字符传送结束后，两信宿收到信息量等于发送的信息量，即400121loglog1 bit21loglog2 bit4XYIPIP 整个序列发送结束后，由于符号间相互独立，两信宿收到的总信息量是124log24 bit4log43log3.24 bit3II总总总总平均每次（每个符号）发送（携带）的信息为)(bit 81.0424.34)(bit 144421XHIIXHIIYX总总7、从普通的、从普通的 52 张扑克牌中随机地抽出一张张扑克牌中随机地抽出一张(a)当告知你抽到的那张牌是当告知你抽到的那张牌是：红桃红桃；人头人头；红桃人头时红桃

11、人头时，你所得的信息各你所得的信息各是多少？是多少？(b)如果已知那张牌是红人头，为确切地知道是哪张牌，还需要多少信息如果已知那张牌是红人头，为确切地知道是哪张牌，还需要多少信息?解析：本题考查信息的度量解析：本题考查信息的度量难度系数：难度系数：3解：(a)根据扑克牌的构成，抽到“红桃”、“人头”、“红桃人头”的概率分别为 13/52=1/4、12/52=3/13 和 3/52，所以当告知抽到的那张牌是：“红桃”、“人头”和“红桃人头”时，由信息量定义式（1-5），所得到的信息各是log(1/4)2 bitI 红红桃桃log(3/13)2.115 bitI 人人头头log(3/53)4.14

12、 bitI 红红桃桃人人头头(b)在 52 张扑克牌中，共有红人头 6 张（3 张红桃，3 张方块），因此在已知那张牌是红人头，为确切地知道是哪张牌，还需要log(1/6)2.58 bitI 信息。8、若以若以 5 作为信息量对数的底作为信息量对数的底，试求该信息量单位与比特试求该信息量单位与比特（bit）和奈特和奈特（nat）的换算关系。的换算关系。解析：本题考查信息的度量解析：本题考查信息的度量难度系数：难度系数：2解：一个二元信息所含的最大信息熵是确定的，所以当以 2 或 5 为底时，最大信息熵相同，即51 bit=43.02log2log52(该信息量单位)或1(该信息量单位)=2.3

13、3 bit同理，1 nat=eee5loglog0.62(该信息量单位)或1(该信息量单位)=1.61 nat。亦可：1 bit=0.693 nat1 nat=1/0.6930.43=0.62(该信息量单位)9、掷、掷 5 次均匀的钱币。当结果是次均匀的钱币。当结果是“正反正反反正反正反反”和和“两正三反两正三反”时，信息量各时，信息量各是多少？是多少？解析：本题考查信息的度量解析：本题考查信息的度量难度系数：难度系数：2解：1/32)(正反正反反P5)32/1log()(正反正反反Ibit5/1610/321/3225)(两正三反P，68.1)16/5log()(两正三反Ibit10、考虑一

14、个服从均匀分布且有、考虑一个服从均匀分布且有 32 种可能结果的随机变量，为确定一个结果种可能结果的随机变量，为确定一个结果，需要一个能够容纳需要一个能够容纳 32 个不同值的标识个不同值的标识。问问：可否用可否用 5bit 的字符串来描述这的字符串来描述这些标识些标识？解析：本题考查离散信源的熵解析：本题考查离散信源的熵难度系数：难度系数：2解解：该随机变量的熵为：()log325bit/symbolH X 这个值恰好等于描述该随机变量 X 所需要的比特数。在此情形中，所有结果都有相同长度的表示。11、同时扔一对骰子同时扔一对骰子，当得知当得知“两骰子面朝上点数之和为两骰子面朝上点数之和为

15、2”或或“面朝上点数之面朝上点数之和为和为 8”或或“骰子面朝上之和是骰子面朝上之和是 3 和和 4”时时，试问这三种情况分别获得多少信息试问这三种情况分别获得多少信息量？量？解析：本题考查信息的度量解析：本题考查信息的度量难度系数：难度系数：2解解：设“两骰子面朝上点数之和为 2”为事件 A，则在可能出现的 36 种可能中，只能个骰子都为 1，这一种结果。即：P（A）=1/36，I（A）=2logP（A）=2log365.17 比特设“面朝上点数之和为 8”为事件 B，则有五种可能：2、6；6、2；4、4；3、5；5、3；即：6P（B）=5/36，I（B）=2logP（B）=2log36/5

16、2.85 比特设“骰子面朝上之和是 3 和 4”为事件 C，则有两种可能：3、4；4、3；即：P（C）=2/36，I（C）=2logP（C）=2log36/24.17 比特12、同时掷出两个正常的骰子，也就是各面呈现的概率都为同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求：，求：(1)“3 和和 5 同时出现同时出现”这事件的自信息；这事件的自信息；(2)“两个两个 1 同时出现同时出现”这事件的自信息；这事件的自信息；(3)两个点数的各种组合（无序）对的熵和平均信息量；两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即两个点数之和（即 2,3,12 构成的子集

17、）的熵；构成的子集）的熵；(5)两个点数中至少有一个是两个点数中至少有一个是 1 的自信息量。的自信息量。解析：本题考查信息的度量及离散信源熵解析：本题考查信息的度量及离散信源熵难度系数：难度系数：3解：(1)bitxpxIxpiii 170.4181log)(log)(18161616161)(2)bitxpxIxpiii 170.5361log)(log)(3616161)(3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有 21 种组合：其中 11，22，33，44，

18、55，66 的概率是3616161其他 15 个组合的概率是181616121111()()log()6log15log4.337 bit/symbol36361818iiiH Xp xp x (4)7参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：2356789111241011151511111()3618936636918361212()()log()111111115511 2log2log2log2log2loglog36361818121299363666 3.274 bit/symboliiiXP XH Xp xp x (5)1111()11663611()log(

19、)log1.710 bit36iiip xI xp x 13、某一无记忆信源的符号集为某一无记忆信源的符号集为0,1，已知，已知 P(0)=1/4，P(1)=3/4。(1)求符号的平均熵；求符号的平均熵；(2)有有 100 个符号构成的序列个符号构成的序列，求某一特定序列求某一特定序列（例如有例如有 m 个个“0”和和（100-m）个个“1”）的自信息量的表达式；）的自信息量的表达式；(3)计算计算(2)中序列的熵。中序列的熵。解析：本题考查信息的度量及离散信源熵解析：本题考查信息的度量及离散信源熵难度系数：难度系数：2解：(1)1133()()log()loglog0.811 bit/sym

20、bol4444iiiH Xp xp x (2)bitmxpxIxpmiimmmi 585.15.4143log)(log)(434341)(100100100100100(3)100()100()1000.81181.1 bit/symbolH XH X14、地区的女孩中有地区的女孩中有 25是大学生是大学生，在女大学生中有在女大学生中有 75是身高是身高 1.6 米以上的米以上的，而女孩中身高而女孩中身高 1.6 米以上的占半数一半米以上的占半数一半。假如我们得知假如我们得知“身高身高 1.6 米以上的某女米以上的某女孩是大学生孩是大学生”的消息，问获得多少信息量？的消息，问获得多少信息量？

21、解析：本题考查信息的度量解析：本题考查信息的度量8难度系数：难度系数：2解解：设 A 为女大学生，B 为 1.6 米以上的女孩则依题意有:1()4P A，1()2P B，3(|)4P B A 133()()(|)4416P ABP A P B A()3(|)()8P ABP A BP B所以信息量为228log3log 31.415(bit)315、一副充分洗乱了的牌（含、一副充分洗乱了的牌（含 52 张牌张牌），试问，试问(1)任一特定排列所给出的信息量是多少？任一特定排列所给出的信息量是多少？(2)若从中出去抽取若从中出去抽取 13 张牌，所给出的点数都不相同时得到多少信息量？张牌，所给出

22、的点数都不相同时得到多少信息量？解析：本题考查信息的度量解析：本题考查信息的度量难度系数：难度系数：2解解：（1）任一排列发生的概率为 1/52!Ilog52!225.58 bit（2）13 张牌点数都不相同发生的概率为 1/413Ilog41326 bit16、设离散无记忆信源、设离散无记忆信源)x(PX=8/13a4/12a4/11a8/30a4321，其发出的消息为，其发出的消息为（202120130213001203210110321010021032 011223210），求：，求：（1）此消息的自信息是多少？）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？）

23、在此消息中平均每个符号携带的信息量是多少？解析：本题考查信息的度量解析：本题考查信息的度量难度系数：难度系数：2解解：(1)因为离散信源是无记忆的，所以起发出的消息序列中各符号是无依赖且统计独立的。因此，此消息的自信息就为该消息中各符号自信息之和。I（01a）=log P（1a）=log83=1.415 比特I（12a）=log P（2a）=log41=2 比特I（23a）=log P（3a）=log41=2 比特I（34a）=log P（4a）=log81=3 比特则此消息的自信息是：I=14I（01a）+13I（12a）+12 I（23a）+6I（34a）141.415+132+122+6

24、3987.81 比特(2)此消息中平均每个符号携带的信息量是：I2=87.81451.95 比特/符号17、如有、如有 6 行行 8 列的棋型方格，有二个质点列的棋型方格，有二个质点 A 和和 B，分别以等概率落入任一方，分别以等概率落入任一方格内，他们的坐标分别为（格内，他们的坐标分别为（XA,YA），(XB,YB)，但，但 A、B 不能落入同一方格不能落入同一方格内。内。（1）如仅有质点）如仅有质点 A，求，求 A 落入任一个格的平均自信息量是多少？落入任一个格的平均自信息量是多少？（2）若已知）若已知 A 已落入，求已落入，求 B 落入的平均自信息量。落入的平均自信息量。（3）若）若 A

25、,B 是可分辨的，求是可分辨的，求 A,B 同都落入的平均自信息量。同都落入的平均自信息量。解析：本题考查信息的度量及离散信源熵解析：本题考查信息的度量及离散信源熵重点考查学生对联合熵、条件熵重点考查学生对联合熵、条件熵的掌握程度，主要学生熟悉的掌握程度，主要学生熟悉 二元离散变量求和的基本技巧，即二元离散变二元离散变量求和的基本技巧，即二元离散变量的求和量的求和，先固定一个变量，对另一个变量求和，在放开固定的变量，对，先固定一个变量，对另一个变量求和，在放开固定的变量，对其进行求和，这是高等数学中二元变量积分的思想。其进行求和，这是高等数学中二元变量积分的思想。难度系数：难度系数：3解解:(

26、1)H(XA)=)(log)(241iiiaPaP=log24（比特）(2)H(XB/XA)=qi 1)/(log)/()(1ijqjijiaaPaaPaP=2423log)/(log)/()(1124201aaPaaPaPjjj（比特）(3)H(XAXB)=qi 1)(log)(1jiqjjiaaPaaP=)(log)(24121jqjjaaPaaP=24*23*241*231log(241*231)=log24*23=log23+log24（比特）18、从大量统计资料知道从大量统计资料知道，男性中红绿色盲的发病率为男性中红绿色盲的发病率为 7，女性发病率为女性发病率为 0.5，如果你问一位

27、男同志，如果你问一位男同志：“你是否是红绿色盲？你是否是红绿色盲？”他的回答可能是他的回答可能是“是是”，可，可能是能是“否否”，问这二个答案中各含多少信息量？平均每个回答中含有多少信息，问这二个答案中各含多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解析：本题考查信息的度量及离散信源熵解析：本题考查信息的度量及离散信源熵难度系数：难度系数：2解解：（1）若男同志回答“是”：Ilog(1/7%)3.84 bit回答“否”：Ilog(1/93%)0.1 bit平均信息量为：I7%log7%

28、93%log93%0.36 bit（2）若问女同志，平均信息量为：I0.5%log0.5%99.5%log99.5%0.045bit1019、设信源设信源123456,()0.2,0.19,0.18,0.17,0.16,0.17XaaaaaaP x求这信源的熵，并解释求这信源的熵，并解释为什么为什么()log6H x，不满足信源熵的极值性。，不满足信源熵的极值性。解析：本题考查离散信源熵解析：本题考查离散信源熵难度系数：难度系数：2解解：信源的熵为：2222111()0.2log 50.19log0.18log0.17log0.190.180.17H x 22110.16log0.17log2

29、.6570.160.17bit/符号()log6H x 是因为此信息的61()1iiP a，不满足信息熵极值性的条件。20、已知随机变量、已知随机变量 X 和和 Y 的概率分布满足：的概率分布满足：123123111211(),(),(),(),(),(),244366P aP aP aP bP bP b试求能使试求能使 H H(XY)(XY)取最大值的联合概率分布。取最大值的联合概率分布。解析：本题考查离散信源熵计算解析：本题考查离散信源熵计算难度系数：难度系数：3解：H(XY)H(X)+H(Y),等号在 X,Y 独立时取得。因此，当 X 和 Y 的联合概率分布为P()=P()=P()=P(

30、)=P()=P()=P()=P()=P()=时，H(XY)取得最大值。21、设设有一概率空间，其概率分布为有一概率空间，其概率分布为1p,2p,qp，并有，并有1p2p。若取。若取1p=1p-，2p=2p+，其中，其中 0 0，12121ppapp ，展开11a1p+(1-a)2p=21pp 1p+2121pppp2p=2p+(1-a)1p+a2p=2121pppp1p+21pp 2p=1p-因为 f(x)=-xlogx 是型凸函数，根据型函数的性质有：f(a1p+(1-a)2p)af(1p)+(1-a)f(2p)即:f(2p+)af(1p)+(1-a)f(2p)-(2p+)log(2p+)-

31、21pp 1plog1p+2121pppp2plog2p同理有：-(1p+)log(1p+)-2121pppp1plog1p+21pp 2plog2p两式相加，得：-(1p+)log(1p+)-(2p+)log(2p+)-1plog1p-2plog2pH(X)H(X)物理意义：当信源部分符号趋于等概分布时，信源的熵是增加的。22、试证明试证明:若若LmjjLiipqp11,1,则则 1212-11212-1,(,),mLmLLLLLLqqqH pppq qqH ppppp Hppp并说明等式的物理意义。并说明等式的物理意义。解析：本题学生考查离散信源熵的证明，主要考查学生的逻辑能力解析：本题学

32、生考查离散信源熵的证明，主要考查学生的逻辑能力,特别考查学特别考查学生两个变量求和技巧，即联合概率乘积形式，取对数将乘积变为相加，然后再生两个变量求和技巧，即联合概率乘积形式，取对数将乘积变为相加，然后再固定一个变量，对另一个变量求和，最后再放开另一个变量固定一个变量，对另一个变量求和，最后再放开另一个变量对其求和。对其求和。难度系数：难度系数：4(1)证明证明：根据熵函数表达式（概率矢量P(p1,p2,pq)）H(p)=H(p1,p2,pn)=iniipp log1H(p1,p2,pL-1,q1,q2,qm)=loglog111jmjjiLiiqqppH(p1,p2,pL-1,pL)=iLi

33、ipp log112H(pLqpLq2pLq1m,)=-pLpLqpLqjjlog1mj=mjjq1pLqjlog+得：loglog11pLq jmjjiLiiqpplogloglog1log111mjpjjmjjLiLiiLqqqppp Lp loglogloglog1111mjjLLjmjjiLiiqppqqpp p L1 mjLjqp =+结论得证（2）等式的物理意义：该等式是熵函数递增性性质的数学表达。表明了若原信源 X（L 个符号的概率分布为 p1,p2,pL-1,pL）中有一符号划分成 m 个元素（符号），而这 m 个符号的概率之和等于原符号的概率，则新信源的熵增加。增加了一项由于

34、划分而产生的不确定性量。23、（1）为了使电视图象获得良好的清晰度和规定的适当的对比度为了使电视图象获得良好的清晰度和规定的适当的对比度，需要用需要用 5*105个象素和个象素和 10 个不同的亮度电平，求传递此图象所需的信息率（比特个不同的亮度电平，求传递此图象所需的信息率（比特/秒秒）。并设。并设每秒要传送每秒要传送 30 帧图像，所有象素是独立变化，且所有亮度电平等概率出现。帧图像，所有象素是独立变化，且所有亮度电平等概率出现。（2）设某彩电系统设某彩电系统，除了满足对于黑白电视系统的上述要求外除了满足对于黑白电视系统的上述要求外，还必须有还必须有 30个不同的色彩度，试证明传输这彩色系

35、统的信息率要比黑白系统的信息率约大个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5 倍。倍。解析：本题考查离散信源熵解析：本题考查离散信源熵主要是要求学生准确的估算符号的概率。主要是要求学生准确的估算符号的概率。难度系数：难度系数：3解解：（1）因为每帧图象可以看成是离散的数字图象，每个像素的亮度是随机而且等概率出现的，则每个像素亮度信源的概率空间为：)(iaPX=1.0,.,1.0,1.0,.,1021aaa101)(iiaP=1每个像素亮度含有的信息量为：H(X)=log2103.32 比特/像素=1 哈特/像素现在，所有的像素是独立变化的，则每帧图象可以看成是离

36、散亮度信源的无记忆 N 次扩展信源。故，每帧图象含有的信息量是：13H(XN)=NH(X)=5105log10=5105哈特/帧1.66106比特/帧而每秒传送 30 帧图象，则传递这个图象所需要的信息率为R1=30H(XN)=1.5106哈特/秒4.98107比特/秒（2）证明：每个像素具有 10 个不同的亮度和 30 个色彩度。由上面的计算得亮度等概率出现的情况下，每个像素含有的信息量是：H(X)=log2103.32比特/像素。每个像素的色彩度也是等概率出现的，则色彩度信源的概率空间为：)(jbPX=30/1,.,30/1,30/1,.,1021bbb301)(jjbP=1每个像素色彩度

37、含有的信息量：H(Y)=log2304.91 比特/像素而亮度和色彩度是相互独立的，所以亮度和色彩度同时出现，每像素含有的信息量：H(XY)=H(X)+H(Y)=log10+log30=log3008.23 比特/像素如果每帧所用的像素数和每秒传送的帧数都相同的情况下，传输这彩色系统的信息率与传输黑白系统的信息率之比就等于彩色系统每像素含有的信息量与黑白系统每像素含有的信息量之比：)()(XHXYH=10log300log2.5证毕。24、每帧电视图像可以认为是由、每帧电视图像可以认为是由 3105个像素组成，所以像素均是独立变化，个像素组成，所以像素均是独立变化，且每一像素又取且每一像素又取

38、 128 个不同的亮度电平，并设亮度电平等概率出现。问每个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量帧图像含有多少信息量?现有一广播员在约现有一广播员在约 10000 个汉字的字汇中选个汉字的字汇中选 1000个字来口述此电视图像，试问广播员描述图像所广播的信息量是多少个字来口述此电视图像，试问广播员描述图像所广播的信息量是多少(假设假设汉字字汇是等概率分布汉字字汇是等概率分布，并彼此无依赖并彼此无依赖)?若要恰当地描述图像若要恰当地描述图像，广播员在口广播员在口述中至少需要多少汉字述中至少需要多少汉字?解析：本题考查离散信源熵，主要是要求学生准确的估算符号的概率。解析：

39、本题考查离散信源熵，主要是要求学生准确的估算符号的概率。难度系数：难度系数：3解解:亮度电平等概率出现每个像素所含的信息量为 H(X)=log 128=7 bit/像素。而每个像素均是独立变化的每帧电视图像所包含的信息量为 H(X)=3105H(X)=2.1106bit假设汉字字汇是等概率分布每个汉字出现的概率均为110000从而每个汉字携带的信息量为 log 10000=13.2877 bit/字汉字间彼此无依赖，广播员口述的 1000 个汉字所广播的信息量为100013.2877=13287.7 bit若要恰当地描述图像，广播员在口述中至少需要的汉字数为62.1 1013.28771584

40、1 个汉字。1425、为了传输一个由字母为了传输一个由字母 A、B、C、D 组成的符号集，把每个字母编码成两个组成的符号集，把每个字母编码成两个二元码脉冲序列，以二元码脉冲序列，以 00 代表代表 A，01 代表代表 B，10 代表代表 C，11 代表代表 D。每个二元。每个二元脉冲宽度为脉冲宽度为 5ms。（1）不同字母等概率出现时，计算传输的平均信息速率？）不同字母等概率出现时，计算传输的平均信息速率？（2）若每个字母出现的概率分别为）若每个字母出现的概率分别为 pA=1/5，pB=1/4，pC=1/4，pD=3/10，试，试计算传输的平均信息速率？计算传输的平均信息速率？解析解析：本题考

41、查离散信源熵本题考查离散信源熵，主要要求学生深刻理解题意主要要求学生深刻理解题意，准确估算字符的准确估算字符的概率。概率。难度系数：难度系数：3解解：（1）由题可知，当不同字母等概率出现时，平均自信息量为：H(x)=log4=2(比特/字母)又因为每个二元脉冲宽度为 5ms，故一个字母的脉冲宽度为 10ms则字母的传输速率为 100 字母/秒故传输的平均信息速率为：200 比特/秒(2)当每个字母分别以题中的概率出现时，平均自信息量为：H(x)=P(ai)logP(ai)=(1/5)*log5+2*(1/4)*log4+(3/10)*log(10/3)=1.98(比特/字母)同样字母的传输速率

42、为 100 个/秒故传输的平均信息速率为：198 比特/秒26、证明平稳信源有、证明平稳信源有 H(X3|X1X2)H(X2|X1)，并说明等式成立的条件。，并说明等式成立的条件。解析：本题考查离散信源熵，主要考查几个相关变量之间的统计依赖关系，即解析：本题考查离散信源熵，主要考查几个相关变量之间的统计依赖关系，即满条件熵大于条件熵函数满条件熵大于条件熵函数。衍生满条件概率大于等于条件概率或者无条件衍生满条件概率大于等于条件概率或者无条件概率。概率。难度系数：难度系数：4证明证明：设离散平稳信源输出的随机符号序列为X1,X2,X3，又设 x1X1,x2X2,x3X3,而 x1,x2,x3,取至

43、同一符号集 A=a1,a2,aq,并满足有 X2P(x2|x1)=1,X3P(x3|x2)=1,X3P(x2|x1x2)=1,X1P(x1)=1,X2P(x2)=1,X3P(x3)=1,X1X2P(x2x1)=X2X3P(x2x3)=X1X3P(x1x3)=1,X1X2X3P(x1x2x3)=1,X1P(x1x2x3)=P(x2x3),X2P(x1x2x3)=P(x1x3),X3P(x1x2x3)=P(x2x1)在区域0，1内，设 f(x)=-xlogx,f(x)在0，1内是型凸函数，所以满足不等式 a pif(xi)f(pixi)，其中pi=1,（i from 1to q）现在 xi=P(x

44、3|xix2)，使其概率空间 为 P(x1|x2)，并满足X1P(x1|x2)=1。所以根据 a 得，X1P(x1|x2)-xilogxi-X1P(x1|x2)xilogX1P(x1|x2)xi-P(x3|xix2)logP(x3|xix2)-X1P(x1|x2)P(x2|xix2)logX1P(x1|x2)P(x2|xix2)所以X1P(xix2x3)=P(x2x3)，X1P(x1x3|x2)P(x2)=P(x3|x2)P(x2)。上式对所有 xi，x2，x3的取值都成立，所以X1P(x1x3|x2)=P(x3|x2)。即X1P(x1|x2)P(x3|xix2)=P(x3|x2)所以 X1P

45、(x1x3|x2)log P(x3|xix2)P(x3|x2)log P(x3|x2)因为 0P(x2)1，x2X2，所以上式两边相乘，等号不变，有15X1P(x2)P(x1x3|x2)log P(x3|xix2)P(x2)P(x3|x2)log P(x3|x2)上式对所有 x2，x3都成立，所以对所有的 x2，x3，求和下式也成立。X1X2X3P(xix2x3)log P(x3|xix2)X2X3P(x2x3)log P(x3|x2)，因为 H(X3|XiX2)H(X3Xi)，所以是平稳信源 H(X3|X2)H(X2|Xi)得 H(X3|XiX2)H(X2|Xi)，只有当 P(x3|xix2

46、)P(x3|x2)时（对所有的 xi，x2，x3），等式成立。27、证明证明 H(X1X2XN)H(X1)H(X2)H(XN)解析：本题考查离散信源熵解析：本题考查离散信源熵主要考查联合熵上确界的确定问题，主要考查学主要考查联合熵上确界的确定问题，主要考查学生对条件概率与无条件概率的理解。生对条件概率与无条件概率的理解。难度系数：难度系数：4证明证明：设离散平稳信源输出的随机符号序列为X1,X2,XN-1XNXN+1。又设 x1X1,x2X2,xN-1XN-1,xNXN,而且 x1x2xN-1xN都取于同一符号集，并满足有Xi1XiP(xixi+1)=1i=1,2,NXi1Xi2XiP(xix

47、i+1xi+2)=1i=1,2,N1XXNP(x1x2xN-1xN)1i=1,2,NXiP(xixi+1)P(xi+1)i=1,2,NXi1XiP(xixi+1xi+2)=P(xi+2)i=1,2,N1X1XNP(x1x2xN-1xN)P(xN)i=1,2,N根据离散平稳信源的信息熵表达式有H(X1X2XN)=H(X1)+H(X2|X1)+H(X3|X2X1)+H(XN|XN-1XN-2X1)现设 Pi=P(x2x1),其满足 0Pi1,2XP(x2x1)=1Pi=P(x2),也满足 0Pi1,2XP(x2)=1则有2XP(x2x1)log P(x2x1)2XP(x2x1)log P(x2)因

48、为 P(x1)0,所以上式两边相乘，等号不变。2XP(x1)P(x2x1)log P(x2x1)2XP(x1)P(x2x1)log P(x2)上式对所有 x1的取值都成立，所以对所有 x1求和，下式成立1X2XP(x2x1)log P(x2x1)1X2XP(x2x1)log P(x2)2XP(x2)log P(x2)H(X2)证得 H(X2|X1)H(X2)16同理 H(X3|X2X1)H(X3)依此类推对于 H(XN|XN-1XN-2X1)同理可设PiP(xNx1x2xN-1)其满足 0Pi1，则有XNP(xNx1x2xN-1)1又设 Pi=P(xN),也满足 0Pi1,XNP(xN)1 则

49、有XNP(xNx1x2 xN-1)log P(xNx1x2 xN-1)-XNP(xNx1x2 xN-1)log P(xN)因为XNP(x1x2xN-1)P(xNx1x2xN-1)log P(xNx1x2xN-1)XNP(x1x2xN-1)P(xNx1x2xN-1)log P(xN)上式对所有 x1x2xN-1的取值都成立，所以对所有 x1x2xN-1求和，下式成立1X1XNXNP(x1x2xN-1xN)log P(xNx1x2xN-1)1X1XNXNP(x1x2xN-1xN)log P(xN)=XNP(xN)log P(xN)=H(XN)得 H(XN|XN-1XN-2X1)H(XN)由此可证2

50、8、设有一个信源设有一个信源，它产生它产生 0,1 序列的消息序列的消息。它在任意时间而且不论以前发生过它在任意时间而且不论以前发生过什么符号，均按什么符号，均按 P(0)=0.4，P(1)=0.6 的概率发出符号。的概率发出符号。(1)试问这个信源是否平稳的试问这个信源是否平稳的?(2)试计算试计算 H(X2)，H(X3|X1X2)及及lim()NNHX。(3)试计算试计算 H(X4)并写出并写出 X4信源中可能有的所有符号。信源中可能有的所有符号。解析：本题考查离散、平稳无记忆信源熵概念解析：本题考查离散、平稳无记忆信源熵概念难度系数：难度系数：3解解：(1)因为信源发出符号的概率分布与时