第三章答案-电子科大信息论导论作业.rtf.pdf

2 某信源有 8 个符号u1u8，概率分别为 1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，编成这样的码：000，001，010，011，100，101，110，111。求（1）信源的符号熵 H（U） ；（2）出现一个“1”或一个“0”的概率；（3）这种码的编码效率；（4）相应的香农码和费诺码；（5）该码的编码效率。11111解： （1）H（u） log22log24log28log216log232248163211log264(log2128)2 1.98(比特/符号)641281121211121111 0.8243831633236431283（2）p(0) p(1)1 p(0) 0.2（3）H ( X )1.984 66 %3Klog221（4） （5）香农码：信源消息符号ui符号概率p(ui)1/21/41/81/161/321/64累加概率pi01/23/47/815/1631/32log2p(ui)123456码字010110111011110111110码字长度123456u1u2u3u4u5u6u7u81/1281/12863/64127 /1287711111101111111771 .9841111111 2 3 4 5 6 7 2费248163264128log221 1诺码：U1U2U3U4U5U6U7U801U2U3U4U5U6U7U8U101U3U4U5U6U7U8U201U4U5U6U7U8U301U5U6U7U8U401U6U7U8U501U7U8U601U7U8费诺码为：0 10 110 1110 11110 111110 1111110 1111111同样H ( X ) 1K3-11 信源符号 X 有 6 种字母，效率为（0.32，0.22，0.18，0.16，0.08，0.04） 。（1）求符号熵H (X)（2）用香农编码编成二进制变长码，计算其编码效率。（3）用费诺编码编程二进制变长码，计算其编码效率。（4）用哈夫曼编码编程二进制变长码，计算其编码效率。（5）用哈夫曼编码编程三进制变长码，计算其编码效率。（6）若用单个信源符号来编定长二进制码， 要求能不出差错的译码，求所需要的每符号的平均信息率和编码效率。解： （1）6H（ p(xi)log2p(xi) 0.32log2LX）i11 0.08log2 0.04log2 2.35 （比特/符号）0.080.04（2）信源消息符号xi符号概率p(xi)0.320.22累加概率pi00.321111 0.22log2 0.18log2 0.16log20.320.220.180.16log2p(xi)1.643862.18442码字00010码字长度23x1x2x30.180.160.080.540.720.882.473932.643863.643861001011110334x4x5x60.040.964.64386111105其码字为 00 010 100 101 1110 11110HL( X )k2 .350 .32 2 ( 0 .22 0 .18 0 .16 ) 3 0 .08 4 0 .04 512 .35 82 .75 %2 .84（3）x1x 2x 3x4 x5 x60 x1x 2011x3x 4x 5x601x4x 5x 6x1x2x301x5x 6x40 x51x6其码字为 00 01 10 110 1110 1111HL( X )k2 .35（4）( 0 .32 0 .22 0 .18 ) 2 0 .16 3 ( 0 .08 0 .04 ) 41 97 .92 %其码字为 11 01 00 101 1001 1000HL( X )k2 .35（5）( 0 .32 0 .22 0 .18 ) 2 0 .16 3 ( 0 .08 0 .04 ) 41 97 .92 %0.320.1801010.222010.0820.16其码字为011101220.04121120。（6）由题意知，要遍个无失真二进制编码，其码字的个数必须大于等于6，当wi 2时，只有 4 个小于 6，其编码必失真当wi 3时，有 8 个大于 6，编码满足要求，故k KL3log2mlog223比特/信源符号 )L1HL(X)2.35 78.33%3k3-10 设有离散无记忆信源P ( X ) 0 .37 ,0 .25 ,0 .18 ,0 .10 ,0 .07 ,0 .03 .（1）求该信源符号熵H(X)。（2）用哈夫曼编码成二元变长码，计算其编码效率。解： （1）H（ p(xi)log2p(xi) 0.37log2LX）i60.07log2（2）0.18110.03log2 2.23 （比特/符号）0.070.03110.25log240.18log20.1log2100.370.181.0000.38000.200.25010.10110.6210.3710.1000.07故码字分别为 11，10，00，0.03010，0111，0110k (0.37 0.25 0.18)2 0.13 (0.07 0.03)4 2.3(比特/符号)HL( X )2.23 96 .96 %2.3k3-1 将某六进信源进行二进编码如下表所示。求(1)这些码中哪些是唯一可译码？（2）哪些码是非延长码（即时码）？（3）所有唯一可译码的平均码长和编码效率。符号概率1/21/41/161/161/161/16C1000001010011100101C20010110111011110111116C3010110111011110111110C40101101110010011111C51000001010110110C601001100101110111u1u2u3u4u5u6解： （1）根据 kraft 不等式，C5中2ki 21523i191，所以C5不是唯一可译码8C1，C2，C3，C4，C6中C4不是唯一可译码。例如 1001010，有 2 译码方式u2u1u2u2和u5u1u2，所以C4不是唯一可译的，C1，C2，C3，C6是唯一可译码。（2）根据即时码定义，即时码又叫非前缀码，C2中u1是其它码的前缀，故C2不是即时码。因此C1，C3，C6是即时码。（3）C1：平均码长k1平均信息率 3（码字符号/信源符号）K1 k1log2m k1 3（比特/符号）111 H X log 2log 44log216（比特2/符号序列）222416H ( X )2 66 .7 %3K1C2：k21111712 （3 456） （比特/符号）24168H ( X )217 94.1%k28C3：k3 （比特/信源符号）178H ( X )2 94.1%17k38C6：k61112334 2.5 （比特/符号）2416H ( X )2 80%2.5k6