2022年第三章答案-电子科大信息论导论作业 .pdf

《2022年第三章答案-电子科大信息论导论作业 .pdf》由会员分享，可在线阅读，更多相关《2022年第三章答案-电子科大信息论导论作业 .pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2 某信源有8 个符号81uu，概率分别为1/2，1/4，1/8，1/16，1 /32，1/64，1/128，1/128，编成这样的码：000，001，010， 011，100，101，110，111。求1信源的符号熵HU ；2出现一个“1”或一个“ 0”的概率；3这种码的编码效率；4相应的香农码和费诺码；5该码的编码效率。解： 1 21121211121111(0)0.8243831633236431283p(1)1(0)0.2pp 3%662log13984.1)(2KXH 4 5香农码：信源消息符号iu符号概率)(iup累加概率ip)(log2iup码字码字长度1u1/2 0 1 0 1

2、 2u1/4 1/2 2 10 2 3u1/8 3/4 3 110 3 4u1/16 7 /8 4 1110 4 5u1/32 15/16 5 11110 5 6u1/64 31/32 6 111110 6 )/(98.12)128log1281(64log64132log32116log1618log814log412log212222222符号比特）（uH精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 1 页，共 9 页7u1/128 63/64 7 1111110 7 8u1/128 127 /128 7 1111111 7 12log127

3、128166415321416138124121984.12费诺码：U7U6U5U4U3U2U1U8U7U8U6U7 U8U5U6 U7 U8U4U5 U6 U7U8U3U4 U5 U6U7U8U2U3 U4 U5U6U7U811110010001010U1U2 U3 U4U5U6U7U8费诺码为： 0 10 110 1110 11110 111110 1111110 1111111 同样1)(KXH3-11 信源符号X有 6 种字母，效率为， ， ， ， ， 。1求符号熵)(XH2用香农编码编成二进制变长码，计算其编码效率。3用费诺编码编程二进制变长码，计算其编码效率。4用哈夫曼编码编程二进

4、制变长码，计算其编码效率。5用哈夫曼编码编程三进制变长码，计算其编码效率。6假设用单个信源符号来编定长二进制码，要求能不出过失的译码，求所需要的每符号的平均信息率和编码效率。精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 2 页，共 9 页解： 12信源消息符号ix符号概率)(ixp累加概率ip)(log2ixp码字码字长度1x0.32 0 00 2 2x010 3 3x100 3 4x101 3 5x1110 4 6x11110 5 其码字为 00 010 100 101 1110 11110 3符号）（比特）（/35.204.01log04.0

5、08.01log08.016.01log16.018.01log18.022.01log22.032.01log32.0)(log)(22222226iiiLxpxpXH%75.8284.235.21504.0408.03)16.018.022.0(232.035.2)(kXHL精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 3 页，共 9 页1010101010 x6x5x5x6x4x4x5x6x3x3x4x5x6x2x1x1x2x1x2x3x4x5x6其码字为 00 01 10 110 1110 1111 %92.9714)04.008.0(3

6、16.02)18.022.032.0(35.2)(kXHL4精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 4 页，共 9 页220101100.040.080.160.220.180.32其码字为 11 01 00 101 1001 1000 %92.9714)04.008.0(316.02)18.022.032.0(35.2)(kXHL5其码字为0 11 10 122 121 120。6由题意知，要遍个无失真二进制编码，其码字的个数必须大于等于6，当2iw时，只有4 个小于 6，其编码必失真当3iw时，有 8 个大于 6，编码满足要求，故精选学

7、习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 5 页，共 9 页)/32log13log22信源符号比特mLKkL%33.78335.2)(kXHL3-10 设有离散无记忆信源1求该信源符号熵)(XH。2用哈夫曼编码成二元变长码，计算其编码效率。解： 1符号）（比特）（/23.203. 01log03.007.01log07. 010log1. 018.01log18.04log25.037. 01log37.0)(log)(22222226iiiLxpxpXH2故码字分别为11，10，00，010，0111，0110 )/(3 .24)03.007.

8、0(31.02)18.025.037.0(符号比特k%96.963.223.2)(kXHL.03.0,07.0,10.0,18.0,25.0,37.0)( XP10101001100.100.070.030.100.200.380.180.370.250.621.00精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 6 页，共 9 页3-1 将某六进信源进行二进编码如下表所示。求(1)这些码中哪些是唯一可译码？2哪些码是非延长码即时码？3所有唯一可译码的平均码长和编码效率。符号概率1C2C3C4C5C6C1u1/2 000 0 0 0 1 01 2u

9、1/4 001 01 10 10 000 001 3u1/16 010 011 110 1101 001 100 4u1/16 011 0111 1110 1100 010 101 5u1/16 100 01111 11110 1001 110 110 6u1/16 101 011111 111110 1111 110 111 解： 1根据 kraft 不等式，5C中8925223161iki1，所以5C不是唯一可译码1C，2C，3C，4C，6C中4C不是唯一可译码。例如1001010，有 2 译码方式2u1u2u2u和5u1u2u，所以4C不是唯一可译的，1C，2C，3C，6C是唯一可译码。

10、2根据即时码定义，即时码又叫非前缀码，2C中1u是其它码的前缀，故2C不是即时码。因此1C，3C，6C是即时码。31C：平均码长31k码字符号 /信源符号平均信息率1121log3Kkmk比特 /符号符号序列）（比特/216log16144log412log21222XH%7.6632)(1KXH精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 7 页，共 9 页2C：211117123456/24168k（）（比特符号）1782()294.1%HXk3C：317/8k（比特 信源符号）3()294.1%178HXk6C：611123342.5/2416k（比特符号）6()280%2.5HXk精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 8 页，共 9 页精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 9 页，共 9 页