信息论与编码期末考试题学生复习用.pdf

《信息论与编码期末考试题学生复习用.pdf》由会员分享，可在线阅读，更多相关《信息论与编码期末考试题学生复习用.pdf（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论基础参考答案 一、填空题 1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。2、信源的剩余度主要来自两个方面,一是信源符号间的相关性，二是信源符号的统计不均匀性.3、三进制信源的最小熵为 0，最大熵为32logbit/符号。4、无失真信源编码的平均码长最小理论极限制为信源熵(或 H(S)/logr=Hr(S）).5、当 R=C 或（信道剩余度为 0）时,信源与信道达到匹配。6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道.7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。8、若连续信源输出信号的平均功率为2，则输出信号幅度的概率密度是高斯

2、分布或正态分布或 22212xf xe时，信源具有最大熵，其值为值21log22e.9、在下面空格中选择填入数学符号“,”或“”（1）当 X 和 Y 相互独立时,H(XY）=H(X）+H（X/Y)=H（Y）+H(X）。（2）1222H X XHX 12333H X X XHX （3）假设信道输入用 X 表示，信道输出用 Y 表示.在无噪有损信道中，H（X/Y)0,H（Y/X）=0，I（X;Y）H（X)。三、已知信源 1234560.20.20.20.20.10.1SssssssP （1）用霍夫曼编码法编成二进制变长码；(6 分）（2）计算平均码长L；(4 分)（3）计算编码信息率R；(2 分)

3、（4)计算编码后信息传输率R；（2 分）（5)计算编码效率。（2 分）（1)01010100111.00.20.20.20.20.10.11S2S3S4S5S6S 编码结果为：1234560001100101110111SSSSSS（2）610.420.632.6iiiLP码元符号（3）bitlogr=2.6RL 符号（4)2.53bit0.9732.6H SRL码元其中，bit0.2,0.2,0.2,0.2,0.1,0.12.53H SH符号（5）0.973logH SH SLrL 四、某信源输出 A、B、C、D、E 五种符号,每一个符号独立出现，出现概率分别为 1/8、1/8、1/8、1/

4、2、1/8。如果符号的码元宽度为 0.5s。计算：（1）信息传输速率tR。（2）将这些数据通过一个带宽为 B=2000kHz 的加性白高斯噪声信道传输，噪声的单边功率谱密度为6010WnHz。试计算正确传输这些数据最少需要的发送功率 P。解:（1)1tXRH XHYt 61111log4log882211log 8log 22231log 2log 2222 log 22bit24100.5tHXbitRbpss (2）666624 102 10 log 1102 101226PPPW 五、一个一阶马尔可夫信源，转移概率为 1121122221|,|,|1,|033P S SP S SP S

5、SP S S.（1）画出状态转移图。(2)计算稳态概率。(3)计算马尔可夫信源的极限熵。(4）计算稳态下1H，2H及其对应的剩余度。解:(1)1S2S131(2）由公式 21|iijjjP SP SS P S 有 21112122211122|31|31iiiiiiP SP SSP SP SP SP SP SSP SP SP SP S 得 123414P SP S（3）该马尔可夫信源的极限熵为：2211|log|322311loglog433433110.5781.599240.6810.4720.205ijijiijHP SP SSP SSbitnathart 符号符号符号（4）在稳态下：2

6、133 11logloglog0.81144 44iiiP xP xbit 符号 20.2050.4720.681HHhartnatbit符号符号符号 对应的剩余度为 1100.811110.1891111loglog2222HH 2200.681110.3191111loglog2222HH 六、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。1 21 21 21 21 21 21 21 2XY 解：信道传输矩阵如下|110022110022110022110022Y XP 可以看出这是一个对称信道，L=4,那么信道容量为 11 1log4,0,02 2log|log|11log4

7、2log221LjijijCHLp yxp yxbit 七、设 X、Y 是两个相互独立的二元随机变量，其取 0 或 1 的概率相等。定义另一个二元随机变量 Z=XY(一般乘积）。试计算（1),;H XH Z(2）,;H XYH XZ(3)|,|;H X YH Z X(4);,;I X YI X Z；解：（1)Z 0 1 P（Z)3/4 1/4 1 1,12 2H XHbit 3 1(2),0.81134 4HHbit(2）1 12H XYH XH Ybit 对 111 1|11,0,1.5222 2H XZH XH Z XHHbit 对(3)|1H X YH Xbit 111 1|1,0,0.

8、5222 2H Z XHHbit(4),|0I X YH YH Y XH YH Y ,|0.8113 0.5 0.3113I X ZH ZH Z Xbit 八、设离散无记忆信源的概率空间为120.80.2XxxP，通过干扰信道,信道输出端的接收符号集为12,Yy y，信道传输概率如下图所示。5 61 41 63 41x2x1y2y(1)计算信源X中事件1x包含的自信息量；(2)计算信源X的信息熵；(3)计算信道疑义度|H X Y；(4)计算噪声熵|H Y X；(5)计算收到消息Y后获得的平均互信息量.解：（1)1log0.80.3220.09690.223I xbithartnat （2）0.

9、8,0.2 0.7220.50.217H XHbitnathart符号符号符号（3）转移概率:x y y1 y2 x1 5/6 1/6 x2 3/4 1/4 联合分布:x y y1 y2 x1 2/3 12/15 4/5 x1 3/20 1/20 1/5 49/60 11/60 1/5 2231,3 15 20 201.4040.9730.423H XYHbitnathart符号符号符号 49/60,11/60 0.6870.4760.207HYHbitnathart符号符号符号|0.7170.4970.216HXY HXY HYbitnathart符号符号符号(4)|0.6820.4730.

10、205HY X HXY HXbitnathart符号符号符号（5）;|0.005040.003490.00152I XY HX HXYbitnathart符号符号符号 （）1、人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息.2、信息的 可度量性 是建立信息论的基础。3、统计度量 是信息度量最常用的方法。4、熵 是香农信息论最基本最重要的概念.。12、自信息量的单位一般有 比特、奈特和哈特.13、必然事件的自信息是 0 。14、不可能事件的自信息量是 .15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和。16、数据处理定理:当消息经过多级处理后，随着处理器

11、数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。17、离散平稳无记忆信源X 的 N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。18、离散平稳有记忆信源的极限熵，H)/(lim121NNNXXXXH.19、对于 n 元 m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。25、若一离散无记忆信源的信源熵 H（X）等于 2。5，对信源进行等长的无失真二进制编码,则编码长度至少为 3 。26、m 元长度为 ki，i=1,2，n 的异前置码存在的充要条件是：nikim11.27、若把掷骰子的结果作为一离散信源,则其信源熵为 log26.28、同时掷两个正常的骰子，各面呈现的概率

12、都为1/6，则“3 和 5 同时出现”这件事的自信息量是 log218(1+2 log23）.30、一副充分洗乱的扑克牌（52 张），从中任意抽取 1 张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 52log2 。31、根据输入输出信号的特点,可将信道分成离散信道、连续信道、半离散或半连续 信道。32、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为 无记忆 信道。33、具有一一对应关系的无噪信道的信道容量C=log2n 。34、强对称信道的信道容量C=log2nHni。35、对称信道的信道容量C=log2m-Hmi。36、对于离散无记忆信道和信源的 N 次扩展，其信道

13、容量 CN=NC 。43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量.44、信道矩阵10002/12/1代表的信道的信道容量C=1 。45、信道矩阵100101代表的信道的信道容量C=1 。53、单符号的失真度或失真函数 d（xi，yj）表示信源发出一个符号 xi，信宿再现 yj所引起的 误差或失真.54、汉明失真函数 d（xi,yj）=jiji10 .55、平方误差失真函数d（xi,yj)=（yj xi）2。56、平均失真度定义为失真函数的数学期望,即 d(xi，yj）在 X 和 Y 的 联合概率空间 P（XY）中 的统计平均值。57、如果信源

14、和失真度一定，则平均失真度是 信道统计特性 的函数。58、如果规定平均失真度D不能超过某一限定的值D，即：DD.我们把DD 称为 保真度准则。59、离散无记忆 N 次扩展信源通过离散无记忆 N 次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的 N 倍。60、试验信道的集合用PD来表示,则 PD=mjniDDxypij,2,1,2,1;:)/(.61、信息率失真函数,简称为率失真函数,即：试验信道中的平均互信息量的 最小值。62、平均失真度的下限取0 的条件是失真矩阵的 每一行至少有一个零元素。63、平均失真度的上限 Dmax取Dj:j=1，2，,m中的 最小值。64、率失真函数对

15、允许的平均失真度是 单调递减和连续的。65、对于离散无记忆信源的率失真函数的最大值是 log2n 。66、当失真度大于平均失真度的上限时 Dmax时，率失真函数 R（D）=0.67、连续信源 X 的率失真函数 R（D）=);()/(YXIPxypInfD .68、当2D时，高斯信源在均方差失真度下的信息率失真函数为)(DR D22log21 。69、保真度准则下的信源编码定理的条件是 信源的信息率 R 大于率失真函数 R(D）。70、某二元信源2/12/110)(XPX其失真矩阵 D=00aa，则该信源的 Dmax=a/2 。71、某二元信源2/12/110)(XPX其失真矩阵 D=00aa，

16、则该信源的 Dmin=0 .72、某二元信源2/12/110)(XPX其失真矩阵 D=00aa,则该信源的 R（D）=1-H（D/a）。73、按照不同的编码目的，编码可以分为三类：分别是 信源编码、信道编码和安全编码.74、信源编码的目的是：提高通信的有效性。75、一般情况下,信源编码可以分为 离散信源编码、连续信源编码和相关信源编码。76、连续信源或模拟信号的信源编码的理论基础是 限失真信源编码定理。77、在香农编码中,第 i 个码字的长度 ki和 p(xi)之间有)(log1)(log22iiixpkxp 关系。78、对信源16/116/116/116/18/18/14/14/1(8765

17、4321xxxxxxxxXPX）进行二进制费诺编码，其编码效率为 1 。79、对具有 8 个消息的单符号离散无记忆信源进行 4 进制哈夫曼编码时，为使平均码长最短，应增加 2 个概率为 0 的消息。80、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是 香农编码.81、对于二元序列 0011100000011111001111000001111111,其相应的游程序列是 23652457。82、设无记忆二元序列中，“0”和“1”的概率分别是 p0和 p1,则“0”游程长度 L（0）的概率为 11)0(0)0(ppLpL 。83、游程序列的熵 等于 原二元序列的熵。84、若“0游程的哈夫吗编

18、码效率为0，“1”游程的哈夫吗编码效率为1，且01对应的二元序列的编码效率为，则三者的关系是 01 。85、在实际的游程编码过程中,对长码一般采取 截断 处理的方法。86、“0”游程和“1游程可以分别进行哈夫曼编码,两个码表中的码字可以重复，但 C 码 必须不同。87、在多符号的消息序列中，大量的重复出现的，只起占时作用的符号称为 冗余位.88、“冗余变换即:将一个冗余序列转换成一个二元序列和一个 缩短了的多元序列。89、LD 编码是一种 分帧传送冗余位序列 的方法。90、LD 编码适合于冗余位 较多或较少 的情况.91、信道编码的最终目的是 提高信号传输的可靠性。92、狭义的信道编码即：检、纠错编码。93、BSC 信道即：无记忆二进制对称信道。94、n 位重复码的编码效率是 1/n 。95、等重码可以检验 全部的奇数位错和部分的偶数位错。96、任意两个码字之间的最小汉明距离有称为码的最小距dmin，则 dmin=),(minccdcc。97、若纠错码的最小距离为dmin，则可以纠正任意小于等于 t=21mind个差错.98、若检错码的最小距离为dmin，则可以检测出任意小于等于 l=dmin1 个差错。99、线性分组码是同时具有 分组特性和线性特性 的纠错码。100、循环码即是采用 循环移位特性界定 的一类线性分组码。