2022年信息论与编码理论汇编 .pdf

《2022年信息论与编码理论汇编 .pdf》由会员分享，可在线阅读，更多相关《2022年信息论与编码理论汇编 .pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第 1 页共 5 页2011-2012 信息论与编码理论1 B 卷答案一、单项选择题（每题3 分，总计 15 分）1当底为e时，熵的单位为（C ） 。A 奈特B 哈特C 奈特 /符号D 哈特 /符号2下列关系式中( B )正确。A )();(XIYXIB );(),(YXIYXHC )|()|(XYHYXHD );();(YXHYXI3下列（D ）陈述是正确的。A Shannon 编码是最优码B LZ 编码是异字头码C Huffman 编码可以不需要知道信源的分布D 典型序列的数目不一定比非典型的多4下列数组中（A ）不满足二个字母上的Kraft 不等式。A (1， 1，1) B (2,2,2

2、,2) C (3,3,3) D （4，4，4）5下列（D ）是只对输出对称的。A 316121216131B 2.04. 04 .04.02. 04 .04.04. 02 .0C 323131323231D 2. 04.04. 04. 02.02. 0二、填空题（每空2 分，总计20 分）1若二元离散无记忆中25.0)0(p，75.0)1(p，则当给出100比特的信源序列，其中有5个1，则其自信息为3log52002比特，整个序列的熵为)3log432(1002比特 / 符号 . 2 若某离散信道信道转移概率矩阵为5.025.025.025.05 .025.025.025.05.0， 则其信道

3、容量为5. 13log2比特/ 符号；转移概率矩阵为25.05 .025.05.025.025.025.025.05.0，则其信道容量为5. 13log2比特 / 符号。3. 两个相同的BSC做级联信道，其信道转移矩阵分别为pppp11， 则级联信道的信道转移矩阵为22222212222221pppppppp，无穷多个级联后的矩阵为5. 05 .05. 05 .0。4若一个信道的输入熵为6 .2)(XH比特 /符号，输出熵为3.2)(YH比特 /符号，7.1);(YXI比特 /符号，则),(YXH3.2 比特 /符号，散布度为0.6 比特 /符号。名师资料总结 - - -精品资料欢迎下载 -

4、- - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 5 页 - - - - - - - - - 第 2 页共 5 页5在二元LZ 编码中，若信源有K个，某段信源序列共有M个字典，则码长KM22loglog。6存在D元唯一可译码，其平均码长必小于1log)(DUH。三、判断题（每题2 分，总计10 分）1. 概率小的事件自信息大（）2. 若一个码字集合中的码字长度满足Kraft 不等式，则其必为逗点码。（）3. 若码字都被配置在树的叶子节点处，则这种码一定是异字头码。（ ）4. 平均互信息是下凸函数。 （）5. 算数编码需

5、要知道信源的分布。（）四、计算题 （55 分）1） （ 15 分）设随机变量YX ,的联合概率分布如下：XYZ。分别求);(),|(),(),(ZXIYXHYHXH。解: X的分布率为X0 1 p2121则1)(XH比特 /符号 . Y的分布率为Y0 1 p4143则3log432)(2YH比特 /符号 . YX0 1 0 41411 0 21ZX0 1 0 210名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 5 页 - - - - - - - - - 第 3 页共 5

6、 页)0()0,0()0|0(YPYXpYXp=1,)1() 1,0()1|0(YPYXpYXp=31)0()0, 1()0|1(YPYXpYXp=0,)1()1, 1()1|1(YPYXpYXp= 32)1|0(log) 1, 0()0|0(log)0, 0()|(22ppppYXH) 1|1(log) 1 , 1()0|1(log)0, 1(22pppp=32log210log031log411log412222=213log432比特 /符号 .Z0 1 p2121)0()0, 0()0|0(ZPZXpZXp=1,)1()1,0()1|0(ZPZXpZXp=0)0()0, 1()0|1(

7、ZPZXpZXp=0,)1()1, 1()1|1(ZPZXpZXp=1 则)1()1|1(log) 1 , 1()1()0|1 (log)0, 1()0() 1|0(log) 1 ,0()0()0|0(log)0 ,0();(2222XpppXpppXpppXpppZXI=0 比特 /符号 . 2） （ 20 分）若离散无记忆信源的概率分布为4.03.02.01. 0dcbaU分别构造二元，三元Huffman 编码（要求码长方差最小，但不需求出），Shannon编码， Fano 编码， Shannon-Fano-Elias 编码。并求 中二元 Huffman 编码的编码效率。 （只列出式子即可

8、）1 0 21名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 5 页 - - - - - - - - - 第 4 页共 5 页解:对信源按概率从大到小排序, 1.02.03 .04. 0abcdU,建立码树则有二元Huffman 编码: ,000a,001b,01c1d要进行三元Huffman 编码 ,则需要添加一个空信源,成为01 .02 .03.04 . 0eabcdU, 建立码树则有三元Huffman 编码 : ,00a,01b, 1c2dShannon编码如下 :

9、 信源码长累加概率码字d2 0 00 c2 0.4 01 b3 0.7 101 a4 0.9 1110 Fano编码如下 : 信源概率第 1 次分组第 2 次分组第 3 次分组码字d0.4 0 0 c0.3 1 0 10 b0.1 1 0 110 a0.1 1 111 Shannon-Fano-Elias 编码信源概率)(xF)(xF)(xl二元)(xF码字a0.1 0.1 0.05 5 0.00001 00001 b0.2 0.3 0.2 4 0.000100 0001 c0.3 0.6 0.45 3 0.011 011 d0.4 1 0.8 3 0.110 110 二元 Huffman 编

10、码的平均码长为l =4.013.022.031.03=1.9 编码效率为9. 1)4 .0, 3.0,2.0, 1.0(2log)()(HlUHRUH名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 5 页 - - - - - - - - - 第 5 页共 5 页3） （ 20 分）若离散无记忆信道的信道转移矩阵为43412121，用两种方法求该信道容量。方法一 : 方法二 : 令输入概率为)1 ,(pp时达到了信道容量,则代入);(YXI中,得到关于p的函数 ,另其导数为

11、0,解得p=3429795.0,则当)1 ,(pp=)6570205.0,3429795.0(时达到信道容量,为0345.0. 811281.0175.0log75.025. 0log25.05. 0log5.05.0log5. 075.025. 05. 05 .010622562.0377438.1811281.012123811281.0175.025.05 .05.0110)628082.0 ,371918.0()2 ,2()1 (),0(10CCww0345.0034536.1log)649773.0384763.0log()22log(10C)6570205. 0,3429795. 0(75.025.05 .05. 0)1(),0()1 (),0(wwqq名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 5 页 - - - - - - - - -