第四章习题答案.doc

精品文档，仅供学习与交流，如有侵权请联系网站删除第4章习题4-1 对信源进行二元编码，编码方案为信息符号对应码字s1000s2001s3011s4100s5101s61110s71111110（1）计算平均码长；（2）编码后信息传输率；（3）编码信息率；（4）编码效率。解：（1）（码元/信源符号）（2）（比特/信源符号）（bit/码元）（3）=3.14（ bit/信源符号）（4）或者4-2 设离散无记忆信源的概率空间为，若对信源采取等长二元编码，要求编码效率，允许译码错误概率，试计算需要的信源序列长度N为多少？解：信源熵为（bit/符号）自信息量的方差因为编码效率，由可得可得所以，信源序列长度达到以上，才能实现给定的要求，因此等长编码没有实际的意义，一般统计编码都是采用不等长编码。4-6设离散无记忆信源的概率空间为，对信源进行N次扩展，采用霍夫曼编码。当N=1，2，时的平均码长和编码效率为多少？解：（1）N=1时，将编成0，编成1，则又因为信源熵bit/符号所以（2）N=2时，编码过程如下概率霍夫曼编码0.8110.09010.090000.01001所以则所以（3）N=时，由香农第一定理可知，必然存在唯一可译码，使而霍夫曼编码为最佳码，即平均码长最短的码，故即4-7已知信源共7个符号消息，其概率空间为试进行香农编码。并计算编码后的信息传输率和编码效率。 解：下面以消息为例来介绍香农编码。计算，取整数作为的码长。计算的累加概率，有将0.74变换成二进制小数，取小数点后面三位101作为的代码。其余消息的代码可以用相同的方法计算得到，如表所示。信息符号符号概率累加概率码字长度码字s10.2002.343000s20.190.202.413001s30.180.392.483011s40.170.572.563100s50.150.742.743101s60.100.893.3441110s70.010.996.6671111110信源熵： bit/符号平均码长： 码元/符号信息传输率编码效率：4-8 已知信源用霍夫曼编码法编成二进制变长码，计算平均码长和编码效率。解：平均码长： 码元/符号信息传输率编码效率：4-11已知信源（1）求符号熵H(S)。（2）用香农编码法编成二进制变长码，计算其编码效率。（3）用费诺编码法编成二进制变长码，计算其编码效率。（4）用霍夫曼编码法编成二进制变长码，计算其编码效率。（5）用霍夫曼编码法编成三进制变长码，计算其编码效率。（6）若用逐个信源符号来编定长二进制码，要求不出差错译码，求所需要的每符号的平均信息率和编码效率。（7）当译码差错小于的定长二进制码要达到（4）中的霍夫曼编码效率时，估计要多少个信源符号一起编才能办到？解：（1） bit/符号（2）香农编码过程如下：累加概率码字s10.3201.644200s20.220.322.1843010s30.180.542.4743100s40.160.722.6443101s50.080.883.64441110s60.040.964.644511110 码元/符号（3）费诺编码过程如下：消息符号消息概率第一次分组第二次分组第三次分组第四次分组二元码字码长s10.3200002s20.221012s30.1810102s40.16101103s50.081011104s60.04111114 码元/符号（4）霍夫曼二进制编码过程如下： 码元/符号（5）霍夫曼三进制编码过程如下：按3为底的信源熵为： 单位/符号码元/符号（6）因为有6个符号，因此需要3bit来进行编码，故需要的符号平均信息率为3bit/符号。（7） 解得因此，使用定长码则需要个符号连在一起编。4-12 设信源S的N次扩展信源为，采用最佳编码对它进行编码，而码符号为，编码后所得的码符号可以看作一个新信源求证：当时，新信源X符号集的概率分布趋于等概分布。证明：由香农第一定理知当平均码长达到极限值时，编码效率这时编码后的信道信息传输率（新信源的信息传输率）即新信源的r个符号（即码符号）独立等概分布，达到最大熵。4-15设某二元无记忆信源每秒钟发出2.5个信源符号。将此信源的输出符号送入无噪无损信道中进行传输，而信道每秒钟只传送两个二元符号。（1） 如果不通过编码，信源能否在此信道中进行无失真传输？。（2） 如果通过适当编码，信源能否在此信道中进行无失真传输？如何进行信源编码？解：（1）如果不对信源进行编码，这时信源输出（二元信源符号/秒），而信道传输速率为2（二元信道符号/秒），因为，所以不通过编码，该信源不能在信道中进行无失真编码。（2）信源熵二元无噪无损信道的最大信息传输率而信道每秒钟传送2个符号，所以该信道的最大信息传输速率如果信源每秒钟发送2.5个信源符号，则信源输出的信息速率则所以，通过适当编码，信源能够在此信道中进行无失真传输。如何进行编码呢？我们将对N次扩展信源进行信源编码。当N=2时，对二次扩展信源进行霍夫曼编码。编码过程如下概率霍夫曼编码0.6410.16010.160000.04001则单个符号的平均码长所以，二次扩展编码后，送入信道的传输速率为（二元码符号/秒）信源编码得到的二元码符号进入信道，即信道符号就是二元码符号，由题意可知，信道每秒钟可以传送两个符号。因为，此时就可以在信道中进行无失真编码。【精品文档】第 6 页