信息论与编码期末考试题全套.docx

一一, 推断题共 10 小题，总分值 20 分.1. 当随机变量和相互独立时，条件熵等于信源熵. 2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. 3.一般状况下，用变长编码得到的平均码长比定长编码大得多. 4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的随意小的误差概率实现牢靠的通信. 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. 6. 连续信源和离散信源的熵都具有非负性. 7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确 定性就越小，获得的信息量就越小. 8. 汉明码是一种线性分组码. 9. 率失真函数的最小值是. 10.必定事务和不行能事务的自信息量都是. 二, 填空题共 6 小题，总分值 20 分.1, 码的检, 纠错实力取决于 . 2, 信源编码的目的是 ；信道编码的目的是 .3, 把信息组原封不动地搬到码字前位的码就叫做    .4, 香农信息论中的三大极限定理是 , , .5, 设信道的输入与输出随机序列分别为和，那么成立的 条件  .6, 对于香农-费诺编码, 原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7, 某二元信源，其失真矩阵，那么该信源的=  .三, 此题共 4 小题，总分值 50 分.1, 某信源发送端有2种符号 EMBED Equation.3 ,；接收端有3种符号 EMBED Equation.3 ，转移概率矩阵为.（1） 计算接收端的平均不确定度；（2） 计算由于噪声产生的不确定度；（3） 计算信道容量以及最正确入口分布.2, 一阶马尔可夫信源的状态转移图如右图所示， 信源的符号集为.1求信源平稳后的概率分布； 2求此信源的熵； 3近似地认为此信源为无记忆时，符号的概率分布为平 稳分布.求近似信源的熵并与进展比拟. 4, 设二元线性分组码的生成矩阵为.1给出该码的一样校验矩阵，写出全部的陪集首和与之相对应的伴随式； 2假设接收矢量，试计算出其对应的伴随式并依据最小距离译码准那么 试着对其译码.二一, 填空题共15分，每空1分1, 信源编码的主要目的是 ，信道编码的主要目的是 。2, 信源的剩余度主要来自两个方面，一是 ，二是 。3, 三进制信源的最小熵为 ，最大熵为 。4, 无失真信源编码的平均码长最小理论极限制为 。5, 当 时，信源与信道到达匹配。6, 依据信道特性是否随时间改变，信道可以分为 和 。7, 依据是否允许失真，信源编码可分为 和 。8, 假设连续信源输出信号的平均功率为，那么输出信号幅度的概率密度是 时，信源具有最大熵，其值为值 。9, 在下面空格中选择填入数学符号“或“1当X和Y相互独立时，HXY H(X)+H(X/Y) H(Y)+H(X)。2 3假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。三, 16分信源1用霍夫曼编码法编成二进制变长码；6分2计算平均码长;4分3计算编码信息率;2分4计算编码后信息传输率;2分5计算编码效率。2分。计算：1信息传输速率。5分五, (16分)一个一阶马尔可夫信源，转移概率为。(1) 画出状态转移图。(4分)(2) 计算稳态概率。(4分)(3) 计算马尔可夫信源的极限熵。(4分)(4) 计算稳态下,及其对应的剩余度。(4分)六, 设有扰信道的传输状况分别如下图。试求这种信道的信道容量。七, (16分)设X, Y是两个相互独立的二元随机变量，其取0或1的概率相等。定义另一个二元随机变量Z=XY(一般乘积)。试计算(1) (2) (3) (4) ;八, (10分)设离散无记忆信源的概率空间为，通过干扰信道，信道输出端的接收符号集为，信道传输概率如以下图所示。(1) 计算信源中事务包含的自信息量；(2) 计算信源的信息熵；(3) 计算信道疑义度；(4) 计算噪声熵；(5) 计算收到消息后获得的平均互信息量。信息论根底2参考答案一, 填空题共15分，每空1分1, 信源编码的主要目的是提高有效性，信道编码的主要目的是提高牢靠性。2, 信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不匀称性。3, 三进制信源的最小熵为0，最大熵为bit/符号。4, 无失真信源编码的平均码长最小理论极限制为信源熵或H(S)/logr= Hr(S)。5, 当R=C或信道剩余度为0时，信源与信道到达匹配。6, 依据信道特性是否随时间改变，信道可以分为恒参信道和随参信道。7, 依据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。8, 假设连续信源输出信号的平均功率为，那么输出信号幅度的概率密度是高斯分布或正态分布或时，信源具有最大熵，其值为值。9, 在下面空格中选择填入数学符号“或“1当X和Y相互独立时，HXY=H(X)+H(X/Y)=H(Y)+H(X)。2 EMBED Equation.DSMT4 3假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。三, 16分信源1用霍夫曼编码法编成二进制变长码；6分2计算平均码长;4分3计算编码信息率;2分4计算编码后信息传输率;2分5计算编码效率。2分1 编码结果为：234其中，5评分：其他正确的编码方案：1，要求为即时码 2，平均码长最短。计算：1信息传输速率。5分1 五, (16分)一个一阶马尔可夫信源，转移概率为。(1) 画出状态转移图。(4分)(2) 计算稳态概率。(4分)(3) 计算马尔可夫信源的极限熵。(4分)(4) 计算稳态下,及其对应的剩余度。(4分)解：(1)(2)由公式有得(3)该马尔可夫信源的极限熵为：(4)在稳态下：对应的剩余度为六, 设有扰信道的传输状况分别如下图。试求这种信道的信道容量。解：信道传输矩阵如下可以看出这是一个对称信道，L=4,那么信道容量为七, (16分)设X, Y是两个相互独立的二元随机变量，其取0或1的概率相等。定义另一个二元随机变量Z=XY(一般乘积)。试计算(1) (2) (3) (4) ;解：(1)Z01P(Z)3/41/4(2) (3) (4) 八, (10分)设离散无记忆信源的概率空间为，通过干扰信道，信道输出端的接收符号集为，信道传输概率如以下图所示。(6) 计算信源中事务包含的自信息量；(7) 计算信源的信息熵；(8) 计算信道疑义度；(9) 计算噪声熵；(10) 计算收到消息后获得的平均互信息量。解：(1) (2) (3)转移概率：x yy1y2x15/61/6x23/41/4联合分布：x yy1y2x12/312/154/5x13/201/201/549/6011/601/5(4)(5)(三)一、 选择题共10分，每题2分1, 有一离散无记忆信源X，其概率空间为，那么其无记忆二次扩展信源的熵H(X2)=( )A, 1.75比特/符号； B, 3.5比特/符号；C, 9比特/符号； D, 18比特/符号。2、 信道转移矩阵为其中两两不相等，那么该信道为3、 A, 一一对应的无噪信道B, 具有并归性能的无噪信道C, 对称信道D, 具有扩展性能的无噪信道3, 设信道容量为C，以下说法正确的选项是： A, 互信息量肯定不大于CB, 交互熵肯定不小于CC, 有效信息量肯定不大于CD, 条件熵肯定不大于C4, 在串联系统中，有效信息量的值 A, 趋于变大B, 趋于变小C, 不变D, 不确定 5, 假设BSC信道的过失率为P，那么其信道容量为： A, B, C, D, 二、 填空题20分，每空2分1、 (7,4)线性分组码中，承受端收到分组R的位数为_ ，伴随式S可能的值有_ 种,过失图案e的长度为 ，系统生成矩阵Gs为_ 行的矩阵，系统校验矩阵Hs为_ 行的矩阵，Gs和Hs满意的关系式是 。2、 香农编码中,概率为的信源符号xi对应的码字Ci的长度Ki应满意不等式 。3, 设有一个信道，其信道矩阵为 ，那么它是 信道填对称，准对称，其信道容量是 比特/信道符号。三, 20分，通过一个干扰信道，承受符号集为，信道转移矩阵为试求1H(X),H(Y),H(XY);7分(2) H(Y|X),H(X|Y);5分 (3) I(Y;X)。3分(4)该信道的容量C3分5当平均互信息量到达信道容量时，接收端Y的熵HY。2分 计算结果保存小数点后2位,单位为比特/符号。四、 9分简述平均互信息量的物理意义，并写出应公式。六, 10分设有离散无记忆信源，其概率分布如下：对其进展费诺编码，写出编码过程，求出信源熵, 平均码长和编码效率。七, 信道编码21分现有生成矩阵1. 求对应的系统校验矩阵Hs。2分 2求该码字集合的最小码字距离d, 最大检错实力 , 最大纠错实力t max 。3分2. 填写下面的es表 8分es4. 现有接收序列为，求纠错译码输出。4分5. 画出该码的编码电路 4分(四)四、 简答题共20 分，每题10分1. 利用公式介绍无条件熵, 条件熵, 联合熵和平均互信息量之间的关系。2. 简洁介绍哈夫曼编码的步骤五、 计算题共40 分1 某信源含有三个消息，概率分别为p(0)=0.2，p(1)=0.3，p(2)=0.5，失真矩阵为。求Dmax, Dmin和R (Dmax)。10分2 设对称离散信道矩阵为，求信道容量C。10分3 有一稳态马尔可夫信源，转移概率为p(S1/ S1)= 2/3，p(S1/ S2)= 1。求：(1) 画出状态转移图和状态转移概率矩阵。(2) 求出各状态的稳态概率。(3) 求出信源的极限熵。20分五一, 11填空题（1） 1948年，美国数学家 香农 发表了题为“通信的数学理论的长篇论文，从而创立了信息论。（2） 必定事务的自信息是 0 。 （3） 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 （4） 对于离散无记忆信源，当信源熵有最大值时，满意条件为_信源符号等概分布_。（5） 对于香农编码, 费诺编码和霍夫曼编码，编码方法惟一的是 香农编码 。（6） 某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_个码元错误，最多能订正_1_个码元错误。（7） 设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R_小于_C大于, 小于或者等于， 那么存在一种编码，当输入序列长度n足够大，使译码错误概率随意小。（8） 平均错误概率不仅与信道本身的统计特性有关，还与_译码规那么_和_编码方法_有关二, 9¢推断题 （1） 信息就是一种消息。 ´ （2） 信息论探讨的主要问题是在通信系统设计中如何实现信息传输, 存储和处理的有效性和牢靠性。 Ö （3） 概率大的事务自信息量大。 ´ （4） 互信息量可正, 可负亦可为零。 Ö （5） 信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依靠关系较小。 ´ （6） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 Ö （7） 非奇异码肯定是唯一可译码，唯一可译码不肯定是非奇异码。 ´ （8） 信源变长编码的核心问题是找寻紧致码或最正确码，霍夫曼编码方法构造的是最正确码。 Ö 9信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ´ )五, 18.黑白气象 图的消息只有黑色和白色两种，求：1 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；3分别求上述两种信源的冗余度，比拟它们的大小并说明其物理意义。解：1信源模型为 1分 2分 2由题意可知该信源为一阶马尔科夫信源。 2分由 4分得极限状态概率 2分 3分 1分 。说明：当信源的符号之间有依靠时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依靠关系的强弱，冗余度越大，依靠关系就越大。2分六, 18.信源空间为，试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率要求有编码过程。 23分最大后验概率准那么下，有，八10¢.二元对称信道如图。1假设，求, 和； 2求该信道的信道容量。 解：1共6分 2， 3分此时输入概率分布为等概率分布。1分九, 18¢设一线性分组码具有一样监视矩阵1求此分组码n=,k=共有多少码字？2求此分组码的生成矩阵G。3写出此分组码的全部码字。4假设接收到码字101001，求出伴随式并给出翻译结果。解：1n=6,k=3,共有8个码字。3分2设码字由得 3分 令监视位为，那么有 3分生成矩阵为 2分3全部码字为000000，001101，010011，011110，100110，101011，110101，111000。4分4由得 ，2分该码字在第5位发生错误，101001订正为101011，即译码为1010011分六一, 概念简答题每题5分，共40分1.什么是平均自信息量与平均互信息，比拟一下这两个概念的异同？2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？3.说明信息传输率, 信道容量, 最正确输入分布的概念，说明平均互信息与信源的概率分布, 信道的传递概率间分别是什么关系？4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，说明数据处理定理。5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。6.说明无失真变长信源编码定理。7.说明有噪信道编码定理。8.什么是保真度准那么？对二元信源，其失真矩阵，求a>0时率失真函数的和？二, 综合题每题10分，共60分1.黑白气象 图的消息只有黑色和白色两种，求：1 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；2 假设黑白消息出现前后有关联，其依靠关系为：，求其熵 ；2.二元对称信道如图。；1假设，求和； 2求该信道的信道容量和最正确输入分布。，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。5.一8，5线性分组码的生成矩阵为。求：1输入为全00011和10100时该码的码字；2最小码距。答案一、 概念简答题每题5分，共40分1.答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所供应的信息量。平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性削减的量，还表示通信前后整个系统不确定性削减的量。2.答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为。平均互信息是信源概率分布的型凸函数，是信道传递概率的U型凸函数。5.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。由得，那么6.答：只要，当N足够长时，肯定存在一种无失真编码。7.答：当RC时，只要码长足够长，肯定能找到一种编码方法和译码规那么，使译码错误概率无穷小。8.答：1保真度准那么为：平均失真度不大于允许的失真度。2因为失真矩阵中每行都有一个0，所以有，而。二, 综合题每题10分，共60分1.答：1信源模型为2由得那么2.答：1 2，最正确输入概率分布为等概率分布。3.答：1二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。平均码长，编码效率2三元码的码字依序为：1，00，02，20，21，22，010，011。平均码长，编码效率