《信息论》部分作业详解.pdf
第 2 章 信源熵 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?答：2 倍，3 倍。2.2 一副充分洗乱了的牌(含 52 张牌)，试问(1)任一特定排列所给出的信息量是多少？(2)若从中抽取 13 张牌，所给出的点数都不相同,能得到多少信息量？解：(1)!52log2 (2)任取 13 张，各点数不同的概率为1352!13C，信息量：9.4793(比特/符号)2.3 居住某地区的女孩子有%25是大学生，在女大学生中有75%是身高 160 厘米上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？答案：1.415 比特/符号。提示：设事件 A 表示女大学生，事件 C 表示 160CM 以上的女孩，则问题就是求 p(A|C)，83214341)()|()()()()|(CpACpApCpACpCAp 22log(/)log 3/81.415p A C 2.4 设 离 散 无 忆 信 源 123401233/81/41/41/8XaaaaP X，其 发 出 的 消 息 为(202120130213001203210110321010021032011223210)，求(1)此消息的自信息量是多少？(2)在此消息中平均每个符号携带的信息量是多少？解：(1)信源符号的自信息量为 I(ai)=-log2p(ai)，故 0,1,2,3 的自信息量分别为 1.415、2、2、3。消 息 序 列 中 0，1，2，3 的 数 目 分 别 为 14，13，12，6，故 此 消 息 的 自 信 息 量 为1.415*14+2*13+2*12+3*6=87.81 比特，(2)87.81/45=1.951 比特。2.6 设信源 1234560.20.190.180.170.160.17XaaaaaaP X，求这信源的熵，并解释为什么 log 6H X 不满足信源熵的极值性。提示：信源的概率之和大于 1。2.7 同时掷两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3 和 5 同时出现”这事件的自信息量；(2)“两个 1 同时出现”这事件的自信息量；(3)两个点数的各种组合(无序对)的熵或平均信息量；(4)两个点数之和(即2,312构成的子集)的熵；(5)两个点数中至少有一个是 1 的自信息量。解：(1)4.17(比特/符号)，提示：3 和 5 同时出现的概率为26161=1/18(2)5.17(比特/符号)，提示：两个 1 同时出现的概率 1/36(3)“两个点数相同”的概率:1/36,共有 6 种情况;“两个点数不同”的概率:1/18,共有 15 种情况.故平均信息量为:2261151loglog363618184.337 比特/符号 (4)3.274(比特/符号)。提示：信源模型 23456789101112551111111113618129366369121836(5)1.711(比特/符号)。提示：至少有一个 1 出现的概率为361161616161 2.8 证明12nH X XX12nH XH XH X 提示：由教材式(2.1.26)和(2.1.28)可证 证明：121212312211221()()(),()()()()()()()()()()()()()()()()()()()nnnnnnnnnH XYH XH Y XH Y XH YH XYH XH YH X XXH XH XXH XH XH XXH XH XH XH XXH XH XH XH XH X 2.4 证明312H XX X31H XX，并说明等式成立的条件。提示：见教材第 38 页 2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：若把这些频度看作概率测度，求：(1)忙闲的无条件熵；(2)天气状态和气温状态已知时忙闲的条件熵；(3)从天气状态和气温状态获得的关于忙闲的信息。解：设 X、Y、Z 分别表示忙 闲、晴 雨和冷 暖，(1)先求忙闲的概率分布1034010363)(闲忙XPX，无条件熵2263634040()loglog103103103103H X =0.9637(比特/符号)(2)()XYZP XYZ忙晴冷忙晴暖忙雨冷忙雨暖闲晴冷闲晴暖闲雨冷闲雨暖1282716815512103103103103103103103103H(XYZ)=2.8357 20232832()103103 103103YZP YZ晴冷晴暖雨暖雨冷，H(YZ)=1.9769()H X YZ H(XYZ)-H(YZ)=0.8598(比特/符号)(3)I(X;YZ)=H(X)-H(X/YZ)=0.1039 比特/符号 2.11 有两个二元随机变量XY和，它们的联合概率为 X Y 0 1 0 1 1/8 3/8 3/8 1/8 并定义另一随机变量XYZ(一般乘积)。试计算：(1)(),(),(),(),()()H XH YH ZH XZH YZH XYZ和；(2)(),(),(),(),(),(),(),H X YH Y XH X ZH Z XH Y ZH Z YH X YZ H Y XZ和H Z XY；(3);,;,;,;,;I X YI X ZI Y ZI X Y ZI Y Z XI X Z Y和。解：(1)XY 的概率分布为00011011()1/83/83/81/8XYP XY 222211333311()loglogloglog1.811388888888H XY 比特/符号 X 的概率分布01()1/21/2XP X，221111()loglog12222H X 比特/符号 X 的概率分布01()1/21/2YP Y，H(Y)=1 比特/符号 Z=XY 的概率分布818710)(ZPZ，227711()loglog0.54368888H Z 比特/符号 XZ 的联合概率分布8/18/302/111100100)(XZPXZ，H(XZ)=1.4056 比特/符号 YZ 的联合概率分布8/18/302/111100100)(YZPYZ，H(YZ)=1.4056 比特/符号 XYZ的联合概率分布 8/1008/308/308/1111110101100011010001000)(XYZPXYZ，H(XYZ)=1.8113 比特/符号 (2)H(X/Y)=H(XY)-H(Y)=1,8113-1=0.8113 比特/符号；H(Y/X)=H(XY)-H(X)=1.8113-1=0.8113 比特/符号 H(X/Z)=H(XZ)-H(Z)=1.4056-0.5436=0.862 比特/符号；H(Z/X)=H(XZ)-H(X)=1.4056-1=0.4056 比特/符号；H(Y/Z)=H(YZ)-H(Z)=1.4056-0.5436=0.862 比特/符号；H(Z/Y)=H(YZ)-H(Y)=1.4056-1=0.4056 比特/符号；H(X/YZ)=H(XYZ)-H(YZ)=1.8113-1.4056=0.4057 比特/符号；H(Y/XZ)=H(XYZ)-H(XZ)=1.8113-1.4056=0.4057比特/符号；H(Z/XY)=H(XYZ)-H(XY)=1,8113-1.8113=0 比特/符号；(3)I(X;Y)=H(X)-H(X/Y)=1-0.8113=0.1887 比特/符号；or I(X;Y)=H(X)+H(Y)-H(XY)=1+1-1.8113=0.1887 比特/符号；I(X;Z)=H(X)-H(X/Z)=1-0.862=0.138 比特/符号；or I(X;Z)=H(X)+H(Z)-H(XZ)=1+0.5436-1.4056=0.138 比特/符号；I(Y;Z)=H(Y)-H(Y/Z)=0.138 比特/符号；or I(Y;Z)=H(Y)+H(Z)-H(YZ)=1+0.5436-1.4056=0.138 比特/符号；I(X;Y/Z)=H(X/Z)-H(X/YZ)=0.4563 比特/符号；I(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.4056 比特/符号；I(X;Z/Y)=H(Z/Y)-H(Z/XY)=0.4056 比特/符号；2.13 设有一个信源，它产生0,1序列的信息。它在任意时间而且不论以前发生过什么符号，均按 00.4,10.6pp的概率发出符号。(1)试问这个信源是否是平稳的？(2)试计算 2312,limNH XH XX XH X及；(3)试计算4H X并写出4X信源中可能有的所有符号。解：(1)是平稳信源(2)信源熵 H(X)=-0.4log20.4-0.6log20.6=0.971 比特/信源符号，2()2()1.942H XH X比特/信源符号，由题设知道这个信源是无记忆信源，因此条件熵和极限熵都等于信源熵。(3)884.3971.04)(4XH比特/信源符号，4X信源中可能的符号共16 个。2.14 设12,NXXXX是平稳离散有记忆信源，试证明：12NH X XX1()H X21321121NNH XXH XX XH XX XX。提示：见教材第 44 页 证明：因为()()()H XYH XH Y X，故 1212112112211221211211221211211122121()()()()()()()()()()()()NNNNNNNNNNNNNNNNNH X XXH X XXH XX XXH X XXH XX XXH XX XXH X XH XX XXH XX XXH XH XXH XX XXH XX XX 2.16 一阶马尔可夫信源的状态图如题 2.16 图所示。信源X的符号集为0,1,2。(1)求平稳后信源的概率分布；(2)求信源的熵H。题 2.16 图 解：(1)由图得一阶马尔可夫信源的状态为 s1=0，s2=1，s3=2。对应的一步转移概率矩阵为ppppppP000，由各态历经定理，有31()()()jijiip sp s p ss，即 113212323()()(),()()(),()()()p sp s pp spp sp s pp spp sp spp sp 解方程组得状态极限概率满足123()()()p sp sp s，又由123()()()1p sp sp s得(0)(1)(2)1/3ppp(2)331 122211()()log()(loglog)/ijijiijHHp s p ssp sspppp bit symbol 2.17 黑白气象传真图的消息只有黑色和白色两种，即信源X 黑，白。设黑色出现的概率为p(黑)=0.3，白色的出现概率 p(白)=0.7。(1)假设图上黑白消息出现前后没有关联，求熵 H X；(2)假设消息前后有关联，其依赖关系为 p(白/白)=0.9，p(黑/白)=0.1，p(白/黑)=0.2，p(黑/黑)=0.8，求此一阶马尔可夫信源的熵2()HX；(3)分别求上述两种信源的剩余度，比较 2()H XHX和的大小，并说明其物理意义。解：(1)22()0.3log 0.30.7log 0.70.8813H X 比特/信源符号;(2)由各态历经定理，有21()()()jijiip sp s p ss，即 p(白)=p(白)p(白/白)+p(黑)p(白/黑)=0.9 p(白)+0.2 p(黑)p(黑)=p(白)p(黑/白)+p(黑)p(黑/黑)=0.1 p(白)+0.8 p(黑)解方程组得：p(白)=2 p(黑)，又由于 p(白)+p(黑)=1，所以 p(白)=2/3，p(黑)=1/3 222211()()()log()ijijijiHXp s p ssp ss=0.5533 比特/符号;(3)H0(X)=log22=1，无关联信源剩余度为 1-0.8813/1=11.87%，一阶马尔可夫信源剩余度为 1-0.5533/1=44.67%这说明马尔可夫信源比无相关信源的冗余度大，编码时可以获得更高的压缩比。第 3 章 信道容量 3.1 设信源12 0.60.4()XaaP X 通过一干扰信道，接收符号为12,Yb b，信道传递矩阵为51663144，求(1)信源 X 中事件12aa和分别含有的自信息量。(2)收到消息1,2jbj 后，获得的关于1,2iai 的信息量。(3)信源 X 和信宿 Y 的信息熵。(4)信道疑义度H X Y和噪声熵H Y X。(5)接收到信息 Y 后获得的平均互信息量。解：(1)1()0.737I x(比特/符号)，322.1)(2xI比特/符号，(2)1212513 266(),()(),(),35 5144p bp bp ap a，5611235(;)log0.47399I a b(比特/符号),1612225(;)log1.26316I a b(比特/符号),1421235(;)log1.26316I a b (比特/符号),3422225(;)log0.90698I a b(比特/符号)(3)0.971(比特/符号)，0.971(比特/符号)，(4)()1.6856H XY(比特/符号)，()()()0.7146()H Y XH XYH XH X Y，(5)I(X;Y)=H(Y)-H(Y/X)=0.2564 比特/符号 3.6 有一个二元对称信道，其信道矩阵为0.980.020.020.98。设该信源以 1500bit s的速度传输输入符号。现有一消息序列共有 14000 个二元符号，并设 1012pp，问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传递完？解：信道容量 C=1+0.98log20.98+0.02log20.02=0.8586 比特/信道符号，则每秒钟可传送的信息量为15000.8586=1287.9 比特，10 秒钟最大可传送的信息量为 12879 比特，而待传送的信息量为 14000 比特，因此，10 秒钟内不能无失真的传送完毕。3.7 求下列各离散信道的容量(3)(4)(3)按一般离散信道容量的计算步骤进行 111221.37740.6226212111221/21/211.37741/43/40.81130.6226log(22)0.0488()20.3721,()0.6279()()()1/21/4()()1/23/4CCp bp bp ap bp ap ap bp20.4884()0.5116a（4）信道为准对称离散信道，当输入端取等概率，即 p(a1)=p(a2)=1/2 时，达到信道容量，此时信宿端的概率为 1/31/31/61/61/21/41/31/61/41/61/31/61/31/2TT ，则 H(Y)=H(1/4,1/3,1/6,1/4)=1.9591，故信道容量为 C=H(Y)-H(Y/X)=H(Y)-H(1/3,1/3,1/6,1/6)=1.9591-1.9183=0.0408。3.8 已知一个高斯信道，输入信噪比(比率)为 3。频带为 3kHz，求最大可能传送的信息率。若信噪比提高到 15，理论上传送同样的信息率所需的频带为多少？提示：由式(3.5.13)可得。(1)最大可能传送的信息率是 3232106)31(log103)1(logNXtPPwC比特/秒 (2)326 10 log(1 15)w=1.5kHZ 3.14 试求以下各信道矩阵代表的信道的容量：X Y 0 1 0 1/2 1/2 1 1/4 3/4 X Y 0 1 2 3 0 1/3 1/3 1/6 1/6 1 1/6 1/3 1/6 1/3 (1)123412134 0 0 1 01 0 0 00 0 0 10 1 0 0bbbbaaPaa (2)1231232456 1 0 01 000 100 100 010 01bbbaaaPaaa(3)356789101241323 0.10.20.30.400000000000.30.700000000000.40.20.10.3bbbbbbbbbbaPaa 解：一一对应的无噪无损信道，信道容量 log24=2 比特/信道符号，归并性能的有损无噪信道，信道容量 log23=1.585 比特/信道符号，扩展性能的有噪无损信道，信道容量 log23=1.585 比特/信道符号 3.18 设加性高斯白噪声信道中，信道带宽 3kHz，又设(信号功率+噪声功率)/噪声功率=10dB。试计算该信道的最大信息传输速率tC。提示：x的 dB 数:1010logx。解:由题意,101010log(1),(1)10XXNNPPPP,故3322log(1)3 10log 109.96 10/XtNPCwbit symbolP 第 4 章 信息率失真函数 4.2 若某无记忆信源 1011/31/31/3XP X，接收符号1 1,2 2Y，其失真矩阵为121121D求信源的最大失真度和最小平均失真度，并求选择何种信道可达到该maxminDD和的失真度。解：（1）令()(,)jiijiDp a d a b，则 D1=D2=4/3，故max4min3jjDD 当 p(bj/ai)=p(bj)时，有 H(Y/X)=H(Y)，即 I(X;Y)=0，此时平均失真达到 Dmax，故实验信道矩阵满足111222(/)()()()1(/)()iip bap bp bp bp bap b 即11011aaaaaaa （2）min111()min(,)1111333iijjiDp ad a b 11122223(/)1(/)(/)1(/)1p bap bap bap ba对应的试验信道不是唯一的，但满足 即1010101aaa 4.10 设离散无记忆信源123 ()1/3 1/3 1/3aaaXP X 其失真度为汉明失真度。(1)求minmin,DRD，并写出相应试验信道的信道矩阵；(2)求maxmax,DRD，并写出相应试验信道的信道矩阵；(3)若允许平均失真度3/1D，试问信源的每一个信源符号平均最少由几个二进制码符号表示？解：(1)失真矩阵为011101110，min111()min(,)0000333iijjiDp ad a b min()(0)()1.585/R DRH X比特 符号；相应的试验信道矩阵为100010001(2)m a xm a x2222minmin,()03333jjjDDR D 当 p(bj/ai)=p(bj)时，有 H(Y/X)=H(Y)，即 I(X;Y)=0，此时平均失真达到 Dmax，故实验信道矩阵满足 112233123(/)()(/)()(/)()()()()1iiip bap bp bap bp bap bp bp bp b即 110,11ababababa b ababab (3)符号奈特/)1ln()1(2ln3ln)(DDDDDR，计算得 11()/33R比特 符号，因此每个信源符号最少要用 0.333 个二进制码表示。第 5 章 信源编码 5.8 选择帧长N=63(1)对 001000000000000000000000000000000100000000000000000000000000000编DL 码；解：(1)Q值：2；Q的长度：6)163(log2，Q的编码：000010,信息位34,321nn，故5302134113 T；T的长度：11263log2，T的编码：01000010010 DL 码：00001001000010010 解码：因为 N=63，故Q的长度为6)163(log2，取 LD 码前 6 位 000010，得 Q=2；再取后面的所有位 001000010010，得 T=530。因为333422T，所以 n2=34，再令332TT，则 T=2；又因为2311T ，所以 n1=3。所以该冗余位序列长为 63，有 2 个信息位，分别在第 3 和 34 位。5.12 采用 13 折线 A 律非均匀量化编码，设最小量化间隔为，已知某采样时刻的信号值635x。(1)试求该非均匀量化编码c，并求其量化噪声e；(2)试求对应于该非均匀量化编码的 12 位均匀量化编码c。解：(1)由于0 x，极性码17c；取第 1 段与第 8 段的中位第 5 段进行比较，由于128635x，所以16c；取第 5 段与第8 段的中位第7 段进行比较，由于512635 x，所以15c；取第 7 段与第8 段的中位第8 段进行比较，由于1024635 x，所以04c，段落码110456ccc；第 7 段的起始量化值为512，量化间隔为32；与段内码最高位权值比较，由于24016256123512635512x，所以03c；与段内码次高位权值比较，由于 11216128123512x，所以12c；与段内码次高位和第三位权值之和比较，由于 1761664128123512x，所以01c；与段内码次高位和最低位权值之和比较，由于 1441632128123512x，所以00c，段内码01000123cccc；因此，非均匀量化编码1110010001234567ccccccccc；量化噪声640635516qexx ；以上为计算机中的编码过程。手工计算，可简化为如下过程：635 0，故极性码为 1。因为 24+5=512 635 1024=24+6，所以 635 在第 7 个段落，段落码为 110；由(1024-512)/16=32，所以该段落内每个量化间隔为 32，635-512=123 最接近 32的 4 倍，所以段内码为 0100。故 13 折线 A 律非均匀量化编码为 c=11100100。量化噪声640635516qexx ；(2)12 位均匀量化编码11 109 8 76 5 4 3 2 1 0101001111011cc c c c c c c c c c c c 。5.15 将正弦信号)400sin(25.0)(ttx输入采样频率为4kHz采样保持器后通过增量调制器，设该调制 器 的 初 始 量 化00qd，量 化 增 量125.0。试 求 在 半 个 周 期 内 信 号 值9,1,0),1.0sin(25.0iixi的增量调制编码ic和量化值9,1,0,ixi。解：采样频率是正弦信号频率的 20 倍，半个周期内有 10 个采样点，采样值、增量调制编码及量化值如下表所示：i)1.0(sin25.0ixi 预测值ix 量化qid 增量调制编码ic 量化值ix 0 0 0-0.125 0-0.125 1 0.0773-0.125 0.125 1 0 2 0.1469 0 0.125 1 0.125 3 0.2023 0.125 0.125 1 0.25 4 0.2378 0.25-0.125 0 0.125 5 0.25 0.125 0.125 1 0.25 6 0.2378 0.25-0.125 0 0.125 7 0.2023 0.125 0.125 1 0.25 8 0.1469 0.25-0.125 0 0.125 9 0.0773 0.125-0.125 0 0 5.16 将正弦信号)400sin(25.0)(ttx输入采样频率为4kHz采样保持器后通过差分脉冲编码调制器，设该调制器的初始值00qd，00 x，采用码长为 4 的均匀量化编码，量化间隔03125.0。试求在半个周期内信号值9,1,0),1.0sin(25.0iixi的差分脉冲编码ic和量化值9,1,0,ixi。解：采样频率是正弦信号频率的 20 倍，半个周期内有 10 个采样点，采样值、差分调制编码及量化值如下表所示：i)1.0(sin25.0ixi 预测值ix 量化qid 差分调制编码ic 量化值ix 0 0 0 0 1000 0 1 0.0773 0 0.0625 1010 0.0625 2 0.1469 0.0625 0.0938 1011 0.1563 3 0.2023 0.1563 0.0313 1001 0.1876 4 0.2378 0.1876 0.0625 1010 0.2501 5 0.25 0.2501-0 0000 0.2501 6 0.2378 0.2501-0 0000 0.2501 7 0.2023 0.2501-0.0625 0010 0.1876 8 0.1469 0.1876-0.0313 0001 0.1563 9 0.0773 0.1563-0.0938 0011 0.0625 第 6 章 信道编码 6.2 一个)2,6(线性分组码的一致校验矩阵为 011101010011000100014321hhhhH(1)求4,3,2,1,ihi使该码的最小码距3mind。(2)求该码的系统码生成矩阵sG及其所有 4 个码字。解题提示：(1)要使最小码距大于等于 3，只需使 H 的任意 2 列线性无关（见 P177 定理），则只需第 1 列与其余各列均不相同。由上述关系可以求得一组或多组关于4,3,2,1,ihi的解。(2)对 H 作行初等变换得 4233121101000101001001010001Tk rrhhhhhHQIhhh 则由 G=Ik,Q即可得到系统码的生成矩阵 Gs 及所有 4 个码字 6.3 一个纠错码消息与码字的对应关系如下：(00)(00000)，(01)(00111)，(10)(11110)，(11)(11001)(1)证明该码是线性分组码(2)求该码的码长，编码效率和最小码距。(3)求该码的生成矩阵和一致校验矩阵。解：(1)任意两个码字的和是另一个码字且全零向量为码字。(2)码长为向量长，即5n。码字数为 4，故2loglog 4255qMRn。最小码距即最小非零码字的重量为min3wd。(3)在码字中取10对应的码字和01对应的码字即可组成生成矩阵 G=1111000111。因为 G 与 H 正交，即 GHT=0，解得 H 的一种可能情况等于111101100001101。或：对生成矩阵做初等行变换，得1111011001G，可表示为Q,I2，则相应的一致校验矩阵 H 可取为I3,QT，即100110101100110H。6.9 已知(8,5)线性分组码的生成矩阵为 1111000010001000010001000010001011100001G，(1)证明该码为循环码；(2)求该码的生成多项式)(xg，一致校验多项式)(xh和最小码距d。解题提示：(1)生成矩阵作初等行变换：第 5 行加到第 4 行，第 4 行加到第 3 行，第 3 行加到第 2 行，第 2 行和第5 行加到第 1 行。得 5 81111000001111000001111000001111000001111(2)生成多项式为23()1g xxxx，一致校验多项式为 82345()(1)(1)1h xxxxxxxx，一致校验矩阵为 110011000110011000110011该矩阵的任意1 列线性无关，但存在某 2 列线性相关，故最小码距为 2
