信息论与编码期末考试题(全套).pdf

《信息论与编码期末考试题(全套).pdf》由会员分享，可在线阅读，更多相关《信息论与编码期末考试题(全套).pdf（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、-（一)一、判断题共 0 小题，满分 20 分.1 当随机变量X和Y相互独立时，条件熵)|(YXH等于信源熵)(XH.（）2 由于构成同一空间的基底不是唯一的，所以不同的基 底 或 生 成 矩 阵 有 可 能 生 成 同 一 码集 (）3.一般情况下，用变长编码得到的平均码长比定长编码大得多.（）4.只要信息传输率大于信道容量，总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.（)5.各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.().连 续 信 源 和 离 散 信 源 的 熵 都 具 有 非 负 性.(）.信源的消息通过信道传输后的误差或失真越大,信宿收

2、到消息后对信源存在的不确 定性就越小，获得的信息量就越小.8 汉明码是一种线性分组码 (）9.率失真函数的最小值是0 （)1必然事件和不可能事件的自信息量都是0.（）二、填空题共 6 小题,满分 20 分 1、码的检、纠错能力取决于 .2、信源编码的目的是 ;信道编码的目的是 3、把信息组原封不动地搬到码字前k位的),(kn码就叫做 .4、香 农 信 息 论 中 的 三 大 极 限 定 理是 、.、设信道的输入与输出随机序列分别为X和Y，则),(),(YXNIYXINN成立的 条件 .6、对于香农费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某 二 元 信 源01()1/2

3、 1/2XP X，其 失 真 矩 阵00aDa,则该信源的maxD=.三、本题共 4 小题,满分 0 分 1、某信源发送端有 2 种符号ix)2,1(i,axp)(1；接收端有3种 符 号iy)3,2,1(j,转 移 概 率 矩 阵 为1/21/201/21/41/4P.（1）计算接收端的平均不确定度()H Y；（2）计算由于噪声产生的不确定度(|)H Y X；（3）计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示，信源X的符号集为2,1,0.()求信源平稳后的概率分布;（2）求此信源的熵;（3)近似地认为此信源为无记忆时，符号的概率分布为平 稳分布.求近似信源的熵)(

4、XH并与H进行比较.3、设 码 符 号 为2,1,0X，信 源 空 间 为05.005.005.005.01.01.02.04.087654321ssssssss试构造一种三元紧致码.、设 二 元)4,7(线 性 分 组 码 的 生 成 矩 阵 为0121-pp/21-pp/2p/2p/2p/2p/21-p图2-13-1000101010011100101100001011G.（1）给出该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式;（2)若接收矢量)0001011(v，试计算出其对应的伴随式S并按照最小距离译码准则 试着对其译码 (二)一、填空题(共 15 分,每空 1 分）、信源

5、编码的主要目的是 ,信道编码的主要目的是 。2、信源的剩余度主要来自两个方面，一是 ,二是 。3、三进制信源的最小熵为 ，最大熵为 。4、无 失 真 信 源 编 码 的 平 均 码 长 最 小 理 论 极 限 制为 。5、当 时，信源与信道达到匹配。6、根 据 信 道 特 性 是 否 随 时 间 变 化,信 道 可 以 分 为 和 。7、根 据 是 否 允 许 失 真,信 源 编 码 可 分 为 和 。8、若连续信源输出信号的平均功率为2,则输出信号幅度的概率密度是 时,信源具有最大熵，其值为值 。9、在下面空格中选择填入数学符号“,”或“”（）当 X 和 Y 相互独立时,H(XY）H(X)H

6、(X/Y)(Y)+H（X)。（)1222H X XHX 12333H X X XHX （3）假设信道输入用 X 表示，信道输出用 Y 表示。在无噪有损信道中,H(/)0,H（Y/)0，I(；Y)H(X)。二、(分）若连续信源输出的幅度被限定在【2,】区域内，当输出信号的概率密度是均匀分布时,计算该信源的相对熵,并说明该信源的绝对熵为多少。三、(16 分)已知信源 1234560.20.20.20.20.10.1SssssssP （1)用霍夫曼编码法编成二进制变长码;(6 分）(2）计算平均码长L；（分)（）计算编码信息率R；（分)(4)计算编码后信息传输率R;（2 分）（）计算编码效率。(2

7、分)四、（10 分）某信源输出、B、C、D、E 五种符号，每一个符号独立出现，出现概率分别为 1/、18、1/8、1/、1/8。如果符号的码元宽度为 0.5s。计算:(1)信息传输速率tR。（5 分)(2)将这些数据通过一个带宽为 B=2000Hz 的加性白高斯噪声信道传输，噪声的单边功率谱密度为6010WnHz。试计算正确传输这些数据最少需要的发送功率 P。（5 分)五、(6 分)一个一阶马尔可夫信源，转移概率为1121122221|,|,|1,|033P S SP SSP S SP SS。()画出状态转移图。(分)(2）计算稳态概率。(4 分)（)计算马尔可夫信源的极限熵。(分)（4）计算

8、稳态下1H,2H及其对应的剩余度。(4 分)六、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。1 21 21 21 21 21 21 21 2XY 七、(6 分)设 X、Y 是两个相互独立的二元随机变量，其取0 或 1 的概率相等。定义另一个二元随机变量 Z=(一般乘积）。试计算（),;H XH Z(2),;H XYH XZ-（3）|,|;H X YH Z X(4);,;I X YI X Z;八、(10分）设 离 散 无 记 忆 信 源 的 概 率 空 间 为120.80.2XxxP,通过干扰信道，信道输出端的接收符号集为12,Yy y，信道传输概率如下图所示。5 61 41 63

9、 41x2x1y2y(1)计算信源X中事件1x包含的自信息量；(2)计算信源X的信息熵;(3)计算信道疑义度|H X Y;(4)计算噪声熵|H Y X;(5)计算收到消息Y后获得的平均互信息量。信息论基础参考答案 一、填空题（共 15 分,每空 1 分）、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。3、三进制信源的最小熵为 0，最大熵为32logbit/符号。4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)lo=r(S)）。、当 R=C 或（信道剩余度为 0)时,信源与信道达

10、到匹配。6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。8、若连续信源输出信号的平均功率为2,则输出信号幅度的概率密度是高斯分布或正态分布或 22212xf xe时，信源具有最大熵,其值为值21log22e。9、在下面空格中选择填入数学符号“,”或“”（1）当 X 和 Y 相互独立时,H（XY)H(）+H（/Y）H(Y）+H(X)。(2)1222H X XHX 12333H X X XHX （3)假设信道输入用 X 表示,信道输出用 Y 表示。在无噪有损信道中,H(X/Y)0，(YX)=,（X;Y)H(X）。二

11、、（6 分)若连续信源输出的幅度被限定在【，6】区域内，当输出信号的概率密度是均匀分布时,计算该信源的相对熵，并说明该信源的绝对熵为多少。1,2640,xf x其它 62logf xf x dx 相对熵hx 2it/自由度 该信源的绝对熵为无穷大。三、（16 分)已知信源 1234560.20.20.20.20.10.1SssssssP （1）用霍夫曼编码法编成二进制变长码；(分）（2）计算平均码长L；（分)（3)计算编码信息率R;(2 分）()计算编码后信息传输率R;(2 分）（）计算编码效率。（2 分）（）01010100111.00.20.20.20.20.10.11S2S3S4S5S6

12、S 编码结果为：1234560001100101110111SSSSSS-（）610.420.632.6iiiLP码元符号（3）bitlogr=2.6RL 符号（4)2.53bit0.9732.6H SRL码元其中，bit0.2,0.2,0.2,0.2,0.1,0.12.53H SH符号（5）0.973logH SH SLrL 评分:其他正确的编码方案:1，要求为即时码 2，平均码长最短 四、（0 分）某信源输出 A、D、E 五种符号,每一个符号独立出现，出现概率分别为 18、1/、8、1/2、/8。如果符号的码元宽度为5s。计算：(1)信息传输速率tR。(分）（2）将这些数据通过一个带宽为

13、B200kHz 的加性白高斯噪声信道传输，噪声的单边功率谱密度为6010WnHz。试计算正确传输这些数据最少需要的发送功率。（5 分）解:（1)1tXRH XHYt 61111log4log882211log 8log 22231log 2log 2222 log 22bit24100.5tHXbitRbpss ()666624 102 10 log 1102 101226PPPW 五、（16 分)一个一阶马尔可夫信源,转移概率为 1121122221|,|,|1,|033P S SP S SP S SP S S。（1)画出状态转移图。（4 分)（2)计算稳态概率。(分）(3)计算马尔可夫信源

14、的极限熵。(4 分)()计算稳态下1H,2H及其对应的剩余度。(4 分)解：()1S2S131(2）由公式 21|iijjjP SP SSP S 有 21112122211122|31|31iiiiiiP SP SSP SP SP SP SP SSP SP SP SP S 得 123414P SP S(3）该马尔可夫信源的极限熵为:2211|log|322311loglog433433110.5781.599240.6810.4720.205ijijiijHP SP SSP SSbitnathart 符号符号符号（4)在稳态下：2133 11logloglog0.81144 44iiiP xP

15、 xbit 符号 20.2050.4720.681HHhartnatbit符号符号符号 对应的剩余度为 1100.811110.1891111loglog2222HH -2200.681110.3191111loglog2222HH 六、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。1 21 21 21 21 21 21 21 2XY 解：信道传输矩阵如下|110022110022110022110022Y XP 可以看出这是一个对称信道，=，那么信道容量为 11 1log4,0,02 2log|log|11log42log221LjijijCHLp yxp yxbit 七、(16

16、 分)设 X、是两个相互独立的二元随机变量，其取0 或 1 的概率相等。定义另一个二元随机变量 ZXY（一般乘积）。试计算(1),;H XH Z(2),;H XYH XZ(3）|,|;H X YH Z X(4);,;I X YI X Z;解:（1）Z 0 1 P(Z)3/4/4 1 1,12 2H XHbit 3 1(2),0.81134 4HHbit()1 12H XYH XH Ybit 对 111 1|11,0,1.5222 2H XZH XH Z XHHbit 对(3)|1H X YH Xbit 111 1|1,0,0.5222 2H Z XHHbit(4）,|0I X YH YH Y

17、XH YH Y ,|0.8113 0.5 0.3113I X ZH ZH Z Xbit 八、(10分)设 离 散 无 记 忆 信 源 的 概 率 空 间 为120.80.2XxxP,通过干扰信道，信道输出端的接收符号集为12,Yy y,信道传输概率如下图所示。5 61 41 63 41x2x1y2y(6)计算信源X中事件1x包含的自信息量;(7)计算信源X的信息熵;(8)计算信道疑义度|H X Y;(9)计算噪声熵|H Y X;(10)计算收到消息Y后获得的平均互信息量。解：（)-1log0.80.3220.09690.223I xbithartnat ()0.8,0.2 0.7220.50.

18、217H XHbitnathart符号符号符号(3)转移概率:x y 1 2 x1/1/6 x2 3/4 1/4 联合分布:y y1 y2 x1 2/3 12/1 4/5 x1/20/20 1/5 4960 1/6 15 2231,3 15 20 201.4040.9730.423H XYHbitnathart符号符号符号 49/60,11/60 0.6870.4760.207HYHbitnathart符号符号符号|0.7170.4970.216HXY HXY HYbitnathart符号符号符号(4)|0.6820.4730.205HY X HXY HXbitnathart符号符号符号（5)

19、;|0.005040.003490.00152I XY HX HXYbitnathart符号符号符号 (三)一、选择题（共 1分，每小题 2 分)、有一离散无记忆信源 X，其概率空间为125.0125.025.05.04321xxxxPX，则其无记忆二次扩展信源的熵H(X2)=（)A、1.75比特/符号;B、3.5 比特/符号；C、9 比特/符号；、18 比特/符号。、信道转移矩阵为112132425363(/)(/)000000(/)(/)000000(/)(/)P y xP y xP y xP y xP y xP y x,其中(/)jiP yx两两不相等，则该信道为 A、一一对应的无噪信道

20、 B、具有并归性能的无噪信道 C、对称信道 D、具有扩展性能的无噪信道 3、设信道容量为 C，下列说法正确的是：（）A、互信息量一定不大于 C、交互熵一定不小于 C C、有效信息量一定不大于 C D、条件熵一定不大于 C 、在串联系统中,有效信息量的值(）、趋于变大 B、趋于变小 C、不变 D、不确定 5、若 BSC 信道的差错率为 P，则其信道容量为：(）A、H p B、12log1ppp p C、1 H p D、log()PP 二、填空题(2分,每空分)1、（7,)线性分组码中,接受端收到分组的位数为_ ，伴随式 S 可能的值有_ 种,差错图案 e 的长度为 ,系统生成矩阵Gs为_ 行的矩

21、阵,系统校验矩阵 Hs为_ 行的矩阵，Gs和 Hs满足的关系式是 。2、一张0241像素的 16 位彩色 BMP 图像能包含的最大信息量为 。3、香农编码中，概率为()iP x的信源符号 xi对应-的 码 字C的 长 度 应 满 足 不 等式 。3、设 有 一 个 信 道，其 信 道 矩 阵 为 0.250.50.250.250.250.50.50.250.25,则它是 信道(填 对 称，准 对 称），其 信 道 容 量 是 比特/信道符号。三、（0 分)12()0.50.5XxxP X，通过一个干扰信道，接受符号集为12Yyy,信道转移矩阵为13443144 试求(1)H(X)，H(Y)，H

22、(XY）；（7 分）(2)（|）,(XY）;（5 分)（3)I(Y；X)。(分)(4)该信道的容量 C（分）（）当平均互信息量达到信道容量时,接收端Y 的熵H(Y)。(2分）计算结果保留小数点后 2 位,单位为比特/符号。四、（分)简述平均互信息量的物理意义，并写出对应公式。五、(10 分)假设英文字母表（=26),密钥 k=b，当明文 m=aiycoe 时,使用 Vie 密码算法后得到的密文 c=?请写出具体的步骤。六、(0 分）设有离散无记忆信源，其概率分布如下：12345671111111()24816326464xxxxxxxXP X 对其进行费诺编码，写出编码过程，求出信源熵、平均码

23、长和编码效率。七、信道编码（1 分）现有生成矩阵1000111010011000100110001101sG 1.求对应的系统校验矩阵 Hs。（2 分）2 求该码字集合的最小码字距离、最大检错能力maxl、最大纠错能力t ax。（3 分）2.填写下面的s 表（8 分)e 4.现有接收序列为(1100100)r，求纠错译码输出 c。（4 分)5.画出该码的编码电路(4 分)(四)四、简答题（共 20 分,每题 10 分 1.利用公式介绍无条件熵、条件熵、联合熵和平均互信息量之间的关系。2.简单介绍哈夫曼编码的步骤 五、计算题(共0 分）1 某信源含有三个消息，概率分别为 p(0）=.2，p(1)

24、=0.3，(2）=.5,失真矩阵为421032201D。求 Dmax、Dmi和 R（Dmax）。(1分)-2 设对称离散信道矩阵为1111336611116633P，求信道容量 C。(10 分）3 有一稳态马尔可夫信源，已知转移概率为(S1/S1)=/，（S1/2)=1。求：(1)画出状态转移图和状态转移概率矩阵。(2)求出各状态的稳态概率。(3)求出信源的极限熵。（20 分)(五)一、(1)填空题（1）1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2）必然事件的自信息是 0 。（3）离散平稳无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X

25、的熵的 N 倍 。（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为_信源符号等概分布_。（5）对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是 香农编码 。（6）已知某线性分组码的最小汉明距离为 3,那么这组码最多能检测出2_个码元错误,最多能纠正_个码元错误。（7）设有一离散无记忆平稳信道,其信道容量为 C,只要待传送的信息传输率 R_小于_(大于、小于或者等于），则存在一种编码，当输入序列长度 n 足够大，使译码错误概率任意小。（8）平均错误概率不仅与信道本身的统计特性有关，还与译码规则_和_编码方法_有关 二、(9)判断题 （1）信息就是一种消息。（）（2）信息论研究的主要问

26、题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（)（3）概率大的事件自信息量大。（）（4）互 信 息 量 可 正、可 负 亦 可 为 零。（)（5）信源剩余度用来衡量信源的相关性程度,信源剩余度大 说 明 信 源 符 号 间 的 依 赖 关 系 较 小。（)（6）对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。（）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。(）（8）信源变长编码的核心问题是寻找紧致码（或最佳码）,霍 夫 曼 编 码 方 法 构 造 的 是 最 佳 码。（）(9）信息率失真函数 R(D)是关于平均失真度的上凸函数 (）三、（5)居住

27、在某地区的女孩中有 2%是大学生，在女大学生中有75是身高1.6米以上的,而女孩中身高1.米以上的占总数的一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息，问获得多少信息量?解：设A表示“大学生”这一事件,B表示“身高1 60以上”这一事件,则 P(）25 (B）5 p(BA)=.75 （2分)故 p(A|)p（A)/p(B)=p(A)p(B|)/p()=0.75*0.50.50.375 （2分）(A|B)=-log0375=.42bt （1分)五、(18）.黑白气象传真图的消息只有黑色和白色两种，求:1)黑色出现的概率为 0.,白色出现的概率为 0.。给出这个只有两个符号的信

28、源 X 的数学模型。假设图上黑白消息出现前后没有关联，求熵 XH;-2）假设黑白消息出现前后有关联，其依赖关系为,，求其熵 XH。3）分别求上述两种信源的冗余度,比较它们的大小并说明其物理意义。解：1）信源模型为 (1分)（2分)）由题意可知该信源为一阶马尔科夫信源。（分）由 4分）得极限状态概率 (2分）分）119.02log)(121XH (分)447.02log)(122XH 12。说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大,依赖关系就越大。（2分）六、（18).信源空间为 1234567()0.20.190.180

29、.170.150.10.01XxxxxxxxP X，试分别构造二元香农码和二元霍夫曼码,计算其平均码长和编码效率（要求有编码过程）。七(6).设 有 一 离 散 信 道，其 信 道 传 递 矩 阵 为14.3)(71iiilapL831.014.361.2)(LXHR-2/16/13/13/12/16/16/13/12/1，并设41)(21)(41)(321xpxpxp,试分别按最大后验概率准则与最大似然译码准则确定译码规则,并计算相应的平均错误概率。1)（3 分）最小似然译码准则下，有，2）（3分）最大后验概率准则下，有,八（1）.二元对称信道如图。1)若 430 p，411 p,求 XH、

30、YXH|和YXI;)求该信道的信道容量。解:1)共6分 2）,（3分)此时输入概率分布为等概率分布。（1分)九、(18)设 一 线 性 分 组 码 具 有 一 致 监 督 矩 阵110101100110111000H 1)求此分组码 n?,k=？共有多少码字?2)求此分组码的生成矩阵 G。3）写出此分组码的所有码字。)若接收到码字(11001),求出伴随式并给出翻译结果。解：1）n=,=3,共有8个码字。(3分）2）设码字012345CCCCCCC 由TTHC0得 0000135034012CCCCCCCCCC （3分)令监督位为012CCC,则有 340451352CCCCCCCCC (3分

31、)生成矩阵为101100110010011001 (2分)3）所有码字为00000,0101,01011,01110,011,101011,110101,11100。（4分）由TTHRS得 101S，（2分)该码字在第5位发生错误，（01001）纠正为（10011），即译码为（101001）（1分）(六)一、概念简答题(每题 5 分,共0 分）1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同？.简述最大离散熵定理。对于一个有个符号的离散信源，其最大熵是多少?3解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于一个一

32、般的通信系统，试给出其系统模型框图,并结合此图，解释数据处理定理。.写出香农公式,并说明其物理意义。当信道带宽为 500Hz，信噪比为 30dB 时求信道容量。符号/749.0|bitYXH-6.解释无失真变长信源编码定理。7.解释有噪信道编码定理。8.什么是保真度准则？对二元信源，其失真矩阵,求 a0 时率失真函数的和?二、综合题(每题 1分,共 60 分)黑白气象传真图的消息只有黑色和白色两种,求:1）黑色出现的概率为 0.3，白色出现的概率为 0.7。给出这个只有两个符号的信源 X 的数学模型。假设图上黑白消息出现前后没有关联，求熵;2)假设黑白消息出现前后有关联，其依赖关系为:，,，求

33、其熵;.二元对称信道如图。；）若,求和；)求该信道的信道容量和最佳输入分布。.信源空间为,试分别构造二元和三元霍夫曼码,计算其平均码长和编码效率。4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则,并计算相应的平均错误概率。5.5.已知一(8,5）线性分组码的生成矩阵为。求：1)输入为全01和1100时该码的码字;)最小码距。6.设某一信号的信息传输率为 56bit/s,在带宽为 4kHz的高斯信道中传输，噪声功率谱 NO=510mw/H。试求:(1）无差错传输需要的最小输入功率是多少?()此时输入信号的最大连续熵是多少？写出对应的输入概率密度函

34、数的形式。答案 一、概念简答题(每题 5 分,共 40 分）答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息 表示从 Y 获得的关于每个 X 的平均信息量，也表示发 X 前后的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。2.答：最大离散熵定理为:离散无记忆信源，等概率分布时熵最大。最大熵值为。3.答：信息传输率 R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。-平均互信息是信源概率分布的型凸函数,是信道传递概率的 U 型凸函数。4.

35、答：通信系统模型如下:数据处理定理为：串联信道的输入输出、Y、组成一个马尔可夫链,且有，。说明经数据处理后,一般只会增加信息的损失。答:香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量,其值取决于信噪比和带宽。由得,则.答：只要，当足够长时,一定存在一种无失真编码。7.答：当 R时,只要码长足够长,一定能找到一种编码方法和译码规则，使译码错误概率无穷小。答：）保真度准则为:平均失真度不大于允许的失真度。)因为失真矩阵中每行都有一个，所以有,而。二、综合题（每题分,共0 分）1.答：1)信源模型为 ）由得 则 2答：1）)，最佳输入概率分布为等概率分布。.答:1）二元码的码字依序为:10,1,01,011,010，111,1000,1001。平均码长，编码效率)三元码的码字依序为：,00,02，0，1，22,01，01。平均码长,编码效率 4答:1）最小似然译码准则下，有,2)最大错误概率准则下，有，5.答:1)输入为 0001时，码字为011；输入为 1010时，码字为00101。-)6.答:）无错传输时,有 即则 2)在时,最大熵 对应的输入概率密度函数为