信息论基础及答案.pdf

《信息论基础及答案.pdf》由会员分享，可在线阅读，更多相关《信息论基础及答案.pdf（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论基础试卷答案 一、填空题（共 25 分，每空 1 分）1、连续信源的绝对熵为 无穷大。（或 lglim lgp xp x dx）2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。3、无记忆信源是指 信源先后发生的符号彼此统计独立 。4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率)。5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。6、八进制信源的最小熵为 0 ，最大熵为 3bit

2、/符号 。7、若连续信源输出信号的平均功率为 1 瓦特，则输出信号幅度的概率密度函数为 高斯分布(或0,1xN:或2212xe)时，信源具有最大熵，其值为 (或或1lg22e)。8、即时码是指 任一码字都不是其它码字的前缀 。9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或 Hr(S)或 lgH sr)，此时编码效率为 1 ，编码后的信息传输率为 lgr bit/码元 。10、一个事件发生的概率为，则自信息量为 3bit/符号 。11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可

3、以有 qm 个不同的状态。13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”所获得的信息量为 lg36=比特，当得知“面朝上点数之和为 8”所获得的信息量为 lg36/5=比特。14.在下面空格中选择填入的数学符号“=，”或“”H(XY)=H(Y)+H(XY)H(Y)+H(X)二、(5 分)已知信源的概率密度函数为 10axbp xba其他，计算信源的相对熵。1lgbcaHxp xdxp x-3 分 lg babit/自由度-2 分 三、(10 分)一个平均功率受限的连续信道，信道带宽为 1MHz，信道噪声为高斯白噪声。(1)已知信道上的信号与噪声的平均功率比值为 20，计算该

4、信道的信道容量。(2)如果信道上的信号与噪声的平均功率比值降为 10，要达到相同的信道容量，信道带宽应为多少(3)如果信道带宽降为，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少 1)10lg 1NRcS-3 分 64.39 10b/s-1 分 2)6101.27 10lg 1NRcSHz-3分 3)21c wNRS=440-3 分 四、(16分)已 知 信 源 共7个 符 号 消 息，其 概 率 空 间 为 12345670.20.170.20.170.150.100.01SsssssssP x 试用霍夫曼编码法编成二进制变长码。并计算信源熵、平均码长、编码后的信息传输率、编

5、码信息率和编码效率。要求写出详细的编码过程和计算过程。2 01 S1 0.22 00 S3 0.23 111 S2 0.173 110 S4 0.173 101 S5 0.154 1001 S6 0.104 1000 S7 0.010.20.110.150.170.170.20.260.170.170.20.20.340.20.20.260.260.340.40.60.41.0-6 分 712.71iiiL P位-2 分 721log2.61iiiH sPPbit/符号-2 分 2log2.71Rrbit/码字-2 分 20.963logH sr-2 分 0.963H sRbit/码元-2 分

6、 五、(16 分)设一个离散无记忆信源的概率空间为 120.50.5XaaP x 它们通过干扰信道，信道输出端的接收符号集为Y=b1,b2，已知信源传输概率如下图所示。X1X2Y1Y20.980.80.020.2 试计算：(1)信源X中事件 x1和 x2分别含有的自信息量；(2 分)(2)收到yj(j=1,2)后，获得的关于 x1的信息量；(2 分)(3)信源X的信息熵；(2 分)(4)条件熵H(Yx1)，H(Yx2)；(2 分)(5)共商H(XY)、信道疑义度H(XY)和噪声熵H(YX)；(6 分)(6)收到消息Y后获得的关于信源X的平均信息量。(2 分)P(x,y)X1X2Y1Y20.44

7、 0.010.1 0.4(1)I(x1)=1bit-1 分 I(x2)=1bit-1 分(2)I(x1;y1)=(或=分 I(x1;y2)=(或=分(3)H(x)=H,=1bit/符号-2 分(4)H(yx1)=H,=符号-1 分 H(yx2)=H,=符号-1 分(5)H(y)=H,=H(xy)=H,=二符号-2 分 H(xy)=H(xy)-H(y)=符号-2 分 H(yx)=H(xy)-H(x)=符号-2 分(6)I(x;y)=H(x)+H(y)-H(xy)=符号-2 分 六、(12 分)设某信道的传递矩阵为 111236111623111362P(1)若输入符号P(x1)=P(x2)=1/

8、4，P(x3)=1/2，求H(XY)和I(X;Y)。(2)计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。(1)-写出公式 2 分 H(XY)=()logijijijp x yp x y，I(X;Y)=H(X)-H(XY)11xp yp x p y x=1/3，同理：p(y2)=7/24，p(y3)=3/8-计算过程 4 分 11111111334218p xp y xp x yp y 同理：p(x1y2)=2/7，p(x1y3)=1/9 p(x2y1)=1/8，p(x2y2)=3/7，p(x2y3)=2/3 p(x3y1)=1/2，p(x3y2)=2/7，p(x3y3)=2/3

9、H(X)=-2(1/4)log(1/4)-(1/2)log(1/2)=bit/symbol-最终答案 2 分 H(XY)=()logXYp x p y xp x ysymbol I(X;Y)=H(X)-H(XY)bit/symbol(2)对称离散信道 C=logS-H(p 的行矢量)-判断 公式 3 分 =log3-H(1/2,1/3,1/6)symbol-答案 1 分 输入等概时，达到信道容量。-说明 2 分 七、(16 分)有一个二元二阶马尔可夫信源，其信源符号集为0,1，初始概率大小为P(0)=1/3，P(1)=2/3。条件概率定为 P(000)=P(111)=P(100)=P(011)

10、=P(001)=P(010)=P(101)=P(110)=(1)画出该信源的状态转移图。(2)计算达到稳定状态的极限概率。(3)该马尔可夫信源的极限熵H。(4)计算达到稳定后符号 0 和 1 的概率分布。解：(1)010011101:0.20:0.80:0.50:0.21:0.81:0.51:0.50:0.5-4 分 (2)0.80.200000.50.50.50.500000.20.8iip E Eu r P(E1)=(E1)+(E3)P(E2)=(E1)+(E3)P(E3)=(E2)+(E4)P(E4)=(E2)+(E4)P(E1)+P(E2)+P(E3)+P(E4)=1 解得：P(E1)=P(E4)=5/14 P(E2)=P(E3)=2/分(3)44211logijijiijHHp Ep EEp EE=符号-公式 2 分，答案 2分(4)1qkikiip Qp E p QE-2 分 p(1)=p(2)=1/2-2 分