2022年《信息论、编码与密码学》课后习题答 .pdf
《2022年《信息论、编码与密码学》课后习题答 .pdf》由会员分享,可在线阅读,更多相关《2022年《信息论、编码与密码学》课后习题答 .pdf(48页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、信息论、编码与密码学课后习题答案第 1 章信源编码1.1考虑一个信源概率为 0.30 ,0.25,0.20 ,0.15 ,0.10 的 DMS 。求信源熵H(X) 。解:信源熵512)(log)(kkkppXH H(X)=-0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322) =0.521+0.5+0.464+0.411+0.332 =2.228(bit) 故得其信源熵 H(X)为 2.228bit 1.2证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。解:若二元离散信源的统计特性为P+Q=1 H(X)=-P
2、*log(P)+(1-P)*log(1-P) 对 H(X)求导求极值,由dH(X)/d(P)=0 可得211101logppppp可知当概率 P=Q=1/2时,有信源熵)(1)(maxbitXH对 于 三 元 离 散 信 源 , 当 概 率3/1321PPP时 , 信 源 熵)(5 8 5.1)(maxbitXH,此结论可以推广到N元的离散信源。1.3 证明不等式 ln1xx。 画出曲线1lnyx和21yx的平面图以表明上述不名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页,共
3、 48 页 - - - - - - - - - 等式的正确性。证明:max( )ln1(0)1( )( )01001( )0( )0ln11ln1ln1f xxxxf xxf xxxxf xf xfxxxxxxx令,又有时此时也即当时同理可得此时综上可得证毕绘制图形说明如下可以很明确说明上述不等式的正确性。1.4 证明(;)0I X Y。在什么条件下等号成立?1111(,) (,)( ,)(,)log() ()nmijijijnmijijijijIP x y I x yP x yP x yP x P y(X;Y)=当和相互独立时等号成立。1.5 有一个信源X,它有无穷多个可能的输出,它们出现的
4、概率为P(Xi )=2i-1,i=1,2,3,., 这个信源的平均自信息H (X)是什么?解:因为 P(Xi)=2i-1,i=1,2,3,所以 H (X)= -1()log()niiip xp x1 x y Y=x-1 Y=lnx 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页,共 48 页 - - - - - - - - - =-log2(2+2.22+3.23+.+n.2n) =2-(1-n)2n+11.6 考虑另一个几何分布的随机变量X,满足 P (Xi)=P (1-P
5、)i-1 i=1,2,3,.,这个信源的 平均自信息 H(X)是什么?解:因为 P(Xi )= P(1-P)i-1,i=1,2,3, 所以 H (X)= -1()log()niiip xp x=-logp(1-p)p(1-p)+2p(1-p)2+3p(1-p)3+.+np(1-p)n =(1-n)(1-p)n+1-2(1)pp1.7 考虑一个只取整数值的随机变量X ,满足nAnnXP2log1,其中22lo g1nnnA,,.,3,2n。求熵XH。解:为了方便计算,设nnB2log,则21nBA,ABnXP1;根据公式计算自信息量为:ABXPXIlog1log;则熵为:22222211logl
6、oglog1nnnnnnBBBBABABABABXIXPXH=?1.8 计算概率分布函数为否则001axaxp的均匀分布随机变量X 的微分熵XH。画出XH相对于参数101.0aa的平面图,并对结果进行评论。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页,共 48 页 - - - - - - - - - 解:根据公式( 1-21)可知,微分熵为:dxxpxpXHlog当ax0时,1axp,则aaaaxaadxaaXHaalogloglog1log0011当0 x或ax时,0 x
7、p,则XH根据得到的结果可以画出相应的平面图,由图可以看到随着a的增加,即xp的减小,微分熵XH相应的增加。1.9 考虑一个信源的概率为05.0,15.0,20.0 ,25.0,35.0的 DMS 。(1)给出此信源的霍夫曼码。(2)计算出这些码子的平均码长R。(3)这个码的效率是多少?解:1)依题意,由霍夫曼编码的规则,得:11.00 XHa0 0.1 10 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页,共 48 页 - - - - - - - - - 1x 0.35 2
8、x 0.25 3x 0.20 4x 0.15 5x 0.05 表格如下:符号概率自信息码字1x0.35 1.515 1 2x0.25 2.000 01 3x0.20 2.322 000 4x0.15 2.738 0010 5x0.05 4.322 0011 2)由平均码长公式)()(1knkkxpxnR, 代入数据,得:)(3.225.06.06.05.035.0)05.0(5)15.0(4)20.0(3)25.0(2)35.0(1)()(51bitxpxnRkkk3)首先,该信源的熵为:1 0.65 00.40 000.20 011名师资料总结 - - -精品资料欢迎下载 - - - - -
9、 - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页,共 48 页 - - - - - - - - - )(1215.2)1215. 2()2161.04107.04644. 05.05303. 0()322.405.0738.215.0322.220.00. 225.0515.135. 0()05.0log05.015.0log15.020. 0log20.025.0log25. 035.0log35.0(log)(22222251bitppXHkkk该码的效率为:9224.0)300.2/1215.2()(RXH1.10 考虑一个信源概
10、率为 0.35 ,0.20 ,0.15 ,0.15 ,0.10 ,0.10,0.05,0.05的 DMS 。(1) 给出此信源的一种有效定长码。(2) 给出此信源的霍夫曼码。(3) 比较这两种码并给出评论。解:1)空2)依题意,由霍夫曼编码的规则,得: 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页,共 48 页 - - - - - - - - - 0.550.35 1.00 0.250.45 0.20 0.10 20. 01x20. 02x15. 03x15. 04x10.
11、 05x10.06x05. 07x05. 08x01000000111111符号概率自信息码字1x0.20 2.322 01 2x0.20 2.322 000 3x0.15 2.738 001 4x0.15 2.738 100 5x0.10 1.000 101 6x0.10 1.000 110 7x0.05 4.322 1110 8x0.05 4.322 1111 3)空1.11 一个 DMS 只有三个输出符号,它们的概率为0.5 ,0.4 ,0.1 。(1) 给出此信源的霍夫曼码并确定编码效率。(2) 每次考虑两个符号时,给出此信源的霍夫曼码并确定编码效率。名师资料总结 - - -精品资料欢
12、迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页,共 48 页 - - - - - - - - - (3) 每次考虑三个符号时,给出此信源的霍夫曼码并确定编码效率。解:(1) 本题的霍夫曼编码如下图所示:图 1.11 霍夫曼编码则霍夫曼码如下表:符号概率码字x10.5 1 x20.4 00 x30.1 01 该信源的熵为:321222()log(0.5log 0.5 0.4log 0.4 0.1log 0.1)0.5000 0.5288 0.33221.3610()kkkH Xppbit平均每个符号的比特数为:
13、31() ()1(0.5)2(0.4)2(0.1)0.50.80.21.5000(/)kkkRn xp xbit符号该码的效率为:1.3160/1.5000 0.9073(2)把符号每两个分一组,重新应用霍夫曼编码算法,如下表所示:0.5 0.4 0.1 0 1 0.5 1 0 1.0 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页,共 48 页 - - - - - - - - - 符号对概率码字x1x10.25 00 x1x20.20 010 x2x10.20 011 x2
14、x20.16 1010 x1x30.05 100 x3x10.05 110 x2x30.04 1011 x3x20.04 1110 x3x30.01 1111 该信源的熵为:9212()log2.7219()()1.3610()kkkH XppbitH Xbit每个组的平均比特数为: 91() ()2(0.25) 3(0.2) 3(0.2) 4(0.16) 3(0.05) 3(0.05) 4(0.04) 4(0.04) 4(0.01)3.00(/)BkkkRn x P xbit 符号对3.00/21.5000(/)Rbit 符号故该码的效率为:1.3160/1.5000 0.9073(3) 依
15、题意,把符合每三个分成一组,再重新应用霍夫曼编码算法,得: 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页,共 48 页 - - - - - - - - - 0.2000 0.2400 0.1600 0.1850 0.5800 0.0500 0.3400 1.0000 0.0450 0.1400 0.0850 0.4200 0.0400 0.2350 0.0400 0.0760 0.1100 0.0360 0.0320 0.1250111xxx0.1000211xxx0.10
16、00112xxx0.1000121xxx0.0800221xxx0.0800212xxx0.0800122xxx0.0640222xxx0.0250311xxx0.0250131xxx0.0250113xxx0.0200321xxx0.0200231xxx0.0200312xxx0.0200132xxx0.0200213xxx0.0200123xxx0.0160322xxx0.0160232xxx0.0160 xxx100101010101001011010101010101010101编码表格如下:符号对概率自信息码字111xxx0.1250 2.7090 100 211xxx0.1000
17、3.3223 0000 121xxx0.1000 3.3223 0001 112xxx0.1000 3.3223 110 221xxx0.0800 3.6443 011 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页,共 48 页 - - - - - - - - - 符号对概率自信息码字212xxx0.0800 3.6443 0100 122xxx0.0800 3.6443 0101 222xxx0.0640 3.9662 0011 311xxx0.0250 5.3223
18、10110 131xxx0.0250 5.3223 10111 113xxx0.0250 5.3223 11100 321xxx0.0200 5.6444 11101 231xxx0.0200 5.6444 11110 312xxx0.0200 5.6444 11111 132xxx0.0200 5.6444 001000 213xxx0.0200 5.6444 001001 123xxx0.0200 5.6444 001010 322xxx0.0160 5.9664 001011 232xxx0.0160 5.9664 101000 223xxx0.0160 5.9664 101001 33
19、1xxx0.0050 7.6646 1010101 313xxx0.0050 7.6646 10101000 133xxx0.0050 7.6646 10101001 332xxx0.0040 7.9666 10101100 323xxx0.0040 7.9666 10101101 233xxx0.0040 7.9666 10101110 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页,共 48 页 - - - - - - - - - 符号对概率自信息码字333xxx0.0
20、010 9.9668 10101111 1.14 确定下列比特流的Lempel-Ziv码:01001111100101000001010101100110000 从码字流恢复原来的序列。解:根据 Lempel-Ziv 算法列出下表:字典位置字典内容定长码字0001 0 00000 0010 1 00001 0011 00 00010 0100 11 00101 0101 111 01001 0110 001 00111 0111 01 00011 1000 000 00110 1001 0010 01100 1010 10 00100 1011 101 10101 1101 100 10100
21、 1110 110 01000 1111 000 10000 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 12 页,共 48 页 - - - - - - - - - 第 2 章 信道容量和编码2.1 考虑图 2-10 所示的二元信道,设发送二元符号的先验概率为P0和 P1,其中P0+ P1=1,求后验概率(0 |1)P XY和(1|1)P XY。解:0p0XP1p1XPp0X1YPq1X0YPp10X0YPq11X1YP0Y,0XP0X0YP0XP0Y0XP0YP0Y0XP0YP
22、0X0YP0XPqpp1pp1p1000YP1X0YP1XP0X0YP0XPqpp1p101Y, 1XP1X1YP1XP1Y1XP1YP1Y1XP1YP1X1YP1XPq1pppq1p1010X1YP0XP1YP1X1YP1XPq1ppp100 1 P0 0 P1 1 1-q p q1-p 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 13 页,共 48 页 - - - - - - - - - 2.5(1)一个电话信道具有带宽3000Hz,且 SNR=20dB.求信道容量。(2)若
23、 SNR 增加到 25dB,求信道容量。解:(1) SNR=20dB=100 信道容量 =Wlog2 (1+SNR/W) (b/s) =3000*log2 (1+100/3000) =142 (b/s) (2) SNR=25dB=316 信道容量 =Wlog2 (1+SNR/W) (b/s) =3000*log2 (1+316/3000) =413 (b/s) 2.7 假定一个电视每秒钟显示30 个画面,每个画面大约有52 10个像素,每个像素需要 16 比特的彩色显示。假定SNR为 25dB, 计算支持电视信号传输所需要的带宽(利用信息容量定理)解: 根 据 题意, 该 电视 信 号所需 的
24、 信 息容 量 为 :573021016/9.6 10/Cbitsbits根据 信 息 容 量 定理 :20log (1)PCWN W, 其 中0PN为信 噪 比 , 据 题意025PdBN据上式解得带宽71.15 10CHz2.8 考虑图 2-15 所示的 Z 型信道。(1)求获得信道容量所需要的输入概率。(2)若将 N 个这样的信道相级联,证明联合信道可以用一个信道转移概率名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 14 页,共 48 页 - - - - - - - - -
25、为Np的等价 Z信道表示。(3)当 N时联合信道的容量是什么?图 2-15 解:(1) w 为带宽信道容量)1(log02WNPWC (b/s) )1(log2NSBC(2) 由图可知信道转移概率为P PPP)0 | 1()1 |0(那么 N级级联的信道转移概率WNPP级级联)1 |0(3) 当N时) 1|0(P级联信道的信道容量为每一次使用该信道时的最大平均互信息。其中最大值是在所有可能的输入概率上求得的即:);(max)(yxICjxp)()|(log)|()(max1010)(ijijiqjrijxpyPxyPxyPxPCj2.10 (1)证明对有限方差2,高斯随机变量具有所有随机变量可
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论、编码与密码学 2022年信息论、编码与密码学课后习题答 2022 信息论 编码 密码学 课后 习题
限制150内