信息论与编码期末考试题----学生复习.pdf
信息论基础参考答案信息论基础参考答案一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性.2、信源的剩余度主要来自两个方面，一是信源符号间的相关性,二是信源符号的统计不均匀性。3、三进制信源的最小熵为 0，最大熵为 bit/符号.4、无失真信源编码的平均码长最小理论极限制为信源熵（或H（S)/logr=Hr(S）)。5、当 R=C 或（信道剩余度为 0）时，信源与信道达到匹配。6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。8、若连续信源输出信号的平均功率为,则输出信号幅度的概率密度是高斯分布或正态分布或时,信源具有最大熵，其值为值。9、在下面空格中选择填入数学符号“”或“（1)当 X 和 Y 相互独立时，H（XY）=H(X）+H(X/Y）=H(Y)+H（X)。（2）（3)假设信道输入用 X 表示，信道输出用 Y 表示。在无噪有损信道中，H（X/Y）0，H(Y/X)=0,I(X；Y)1对应的二元序列的编码效率为，则三者的关系是 01。85、在实际的游程编码过程中，对长码一般采取截断处理的方法.86、“0游程和“1”游程可以分别进行哈夫曼编码，两个码表中的码字可以重复,但 C 码必须不同。87、在多符号的消息序列中，大量的重复出现的，只起占时作用的符号称为 冗余位。88、“冗余变换”即：将一个冗余序列转换成一个二元序列和一个 缩短了的多元序列。89、L-D 编码是一种 分帧传送冗余位序列 的方法。90、L-D 编码适合于冗余位 较多或较少 的情况。91、信道编码的最终目的是 提高信号传输的可靠性.92、狭义的信道编码即：检、纠错编码。93、BSC 信道即：无记忆二进制对称信道。94、n 位重复码的编码效率是 1/n。95、等重码可以检验 全部的奇数位错和部分的偶数位错。96、任意两个码字之间的最小汉明距离有称为码的最小距 dmin,则 dmin=。97、若纠错码的最小距离为 dmin,则可以纠正任意小于等于 t=个差错。98、若检错码的最小距离为 dmin，则可以检测出任意小于等于 l=dmin-1 个差错.99、线性分组码是同时具有 分组特性和线性特性 的纠错码。100、循环码即是采用 循环移位特性界定 的一类线性分组码。三、判断（50 道)1、必然事件和不可能事件的自信息量都是0。错2、自信息量是的单调递减函数。对3、单符号离散信源的自信息和信源熵都具有非负性。对4、单符号离散信源的自信息和信源熵都是一个确定值。错5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的.对6、自信息量、条件自信息量和联合自信息量之间有如下关系：对7、自信息量、条件自信息量和互信息量之间有如下关系：对8、当随即变量 X 和 Y 相互独立时，条件熵等于信源熵。对9、当随即变量X和Y相互独立时,I(X；Y)=H（X）。错10、信源熵具有严格的下凸性.错11、平均互信息量 I（X；Y）对于信源概率分布 p(xi）和条件概率分布 p（yj/xi）都具有错17、连续信源和离散信源都具有可加性.对18、连续信源和离散信源的平均互信息都具有非负性。对19、定长编码的效率一般小于不定长编码的效率。对20、若对一离散信源（熵为 H（X）进行二进制无失真编码，设定长码子长度为 K，变长码子平均长度为，一般K.错21、信道容量 C 是 I（X;Y)关于 p（xi）的条件极大值。对22、离散无噪信道的信道容量等于 log2n，其中 n 是信源 X 的消息个数。错23、对于准对称信道，当时，可达到信道容量 C。错24、多用户信道的信道容量不能用一个数来代表。对25、多用户信道的信道容量不能用一个数来代表，但信道的信息率可以用一个数来表示.错26、高斯加性信道的信道容量只与信道的信噪有关。对27、信道无失真传递信息的条件是信息率小于信道容量。对28、最大信息传输速率，即：选择某一信源的概率分布(p（xi），使信道所能传送的信息率的最大值。错29、对于具有归并性能的无燥信道,当信源等概率分布时（p（xi）=1/n），达到信道容量。错30、求解率失真函数的问题，即：在给定失真度的情况下,求信息率的极小值。对31、信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.错32、当 p（xi）、p（yj/xi）和 d（xi,yj）给定后,平均失真度是一个随即变量。错33、率失真函数对允许的平均失真度具有上凸性.对34、率失真函数没有最大值.错35、率失真函数的最小值是 0.对36、率失真函数的值与信源的输入概率无关.错37、信源编码是提高通信有效性为目的的编码。对38、信源编码通常是通过压缩信源的冗余度来实现的。对39、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理.错40、一般情况下,哈夫曼编码的效率大于香农编码和费诺编码。对41、在编 m（m2）进制的哈夫曼码时，要考虑是否需要增加概率为 0 的码字，以使平均码长最短。对42、游程序列的熵（“0”游程序列的熵与“1”游程序列的熵的和)大于等于原二元序列的错47、等重码和奇(偶）校验码都可以检出全部的奇数位错.对48、汉明码是一种线性分组码。对49、循环码也是一种线性分组码。对50、卷积码是一种特殊的线性分组码.错四、简答（20 道）1、信息的主要特征有哪些？（4）2、信息的重要性质有哪些?（4）3、简述几种信息分类的准则和方法。（5）4、信息论研究的内容主要有哪些？（8）5、简述自信息的性质.(13）6、简述信源熵的基本性质。（23)7、简述信源熵、条件熵、联合熵和交互熵之间的关系。(48）8、信道的分类方法有哪些？（93-94）9、简述一般离散信道容量的计算步骤.（107）10、简述多用户信道的分类。（115116）11、简述信道编码定理。(128）12、简述率失真函数的性质。(140145）13、简述求解一般离散信源率失真函数的步骤.（146149)14、试比较信道容量与信息率失真函数。(164）15、简述编码的分累及各种编码的目的。(168）16、简述费诺编码的编码步骤。（170）17、简述二元哈夫曼编码的编码步骤.（173)18、简述广义的信道编码的分类及各类编码的作用。（188）19、简述线性分组码的性质。(196）20、简述循环码的系统码构造过程。（221)
