信息论基础答案.pdf
信 息 论 基 础 答 案 2(总 5 页)-本页仅作为文档封面，使用时请直接删除即可-内页可以根据需求调整合适字体及大小-2 信息论基础答案 一、填空题（共 15 分，每空 1 分）1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为 b，最小瞬时电压为 a。若消息从放大器中输出，则该信源的绝对熵是 无穷大 ；其能在每个自由度熵的最大熵是 log b-a。2、高斯白噪声信道是指 信道噪声服从正态分布，且功率谱为常数 。3、若连续信源的平均功率为 5 W，则最大熵为1 2 log10e，达到最大值的条件是 高斯信道 。4、离散信源存在剩余度的原因是 信源有记忆（或输出符号之间存在相关性）和 不等概 。5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高编码效率。7、八进制信源的最小熵为 0 ，最大熵为 3 bit。8、一个事件发生概率为，则自信息量为 3 bit。9、在下面空格中选择填入数字符号“,”或“”H XY =H YH X Y H YH X 二、判断题（正确打，错误打）（共5 分，每小题 1 分）1)离散无记忆等概信源的剩余度为 0。（）2)离散无记忆信源 N 次扩展源的熵是原信息熵的 N 倍 （）3)互信息可正、可负、可为零。（）4)信源的真正功率P永远不会大于熵功率P，即PP （）5)信道容量与信源输出符号的概率分布有关。（）三、（5 分）已知信源的概率密度函数 p x如下图所示，求信源的相对熵 3 0.5024x p x 42log1h xp xp x dxbit 自由度 四、（15 分）设一个离散无记忆信源的概率空间为 120.5 0.5XaaP x 它们通过干扰信道，信道输出端的接收信号集为12=,Yb b，已知信道出书概率如下图所示。1x2x1y2y0.020.980.80.2 试计算：（1）信源X中事件1x的自信息量；（3 分）（2）信源X的信息熵；（3 分）（3）共熵H XY;（3 分）（4）噪声熵H Y X；（3 分）（5）收到信息Y后获得的关于信源X的平均信息量。（3 分）（1）11I xbit（2）11,1/22Hbit符号 4（3）0.490.41.432H XYH，0.01，0.1,（4）0.432H X YH XYH X（5）,10.59,0.411 0.9771.4320.545I X YH XH YH X YHH XY 五、（10 分）一个平均功率受限的连续信道，信道带宽为 10MHz，信道噪声为高斯白噪声。（1）已知信道上的信号与噪声的平均功率比值为 63，计算该信道的信道蓉量。（2）如果信道带宽降为 2MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少 2log1SCBN（1）67210 10log1636 10/Cbit s（2）309212110CBSN 六、（10 分）已知信源共 7 个符号信息，其概率空间为 12345670.2 0.2 0.2 0.1 0.1 0.1 0.1SsssssssP S（1）试用霍夫曼编码法编成二进制变长码。（7 分）（2）计算信源熵，平均码长和编码效率。（9 分）（1）5 1s2s3s4s5s6s7s0.20.20.20.10.10.10.10000001111110.40.60.20.20.40.1123456700010011100101110111sssssss（7 分）（2）分）（3 分）七、（10 分）设给定两随机变量1X和2X，它们的联合概率密度为 2212212121,2xxp x xex x 求随机变量12YXX的概率密度函数，并计算变量Y的熵 h Y。已知12p x x得 12112xp xe 22212xp xe （2 分）则 1212p x xp xp x （2 分）所以1x和2x独立，所以 y 为高斯分布 因为 12yxx 0.2,0.2,0.2,0.1,0.1,0.1,0.1,2.72H SH_0.220.8 32.8L 码元/信源符号 _0.97H SL=6 所以 0,2E YD Y （2 分）所以 2414yp ye （2 分）所以 1log4/2h Yebit自由度 （2）八、（10 分）设某信道的传递矩阵为 1 1 1 13 3 6 61 1 1 16 6 3 3P 计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。解：s=4 421 1 1 1loglog3 3 6 6111111112loglogloglog0.0817/33336666CsH pHbit列矢量符号 （2 分）（2 分）最佳概率分布当输入概率 1212p ap a （2 分）九、（14 分）设有一个马尔可夫信源，如果1X为a时，2X为a、b、c的概率为 1/3；如果1X为b时，2X为a、b、c的概率为 1/3；如果1X为c时，2X为a、b的概率为 1/2。而且后面发iX的概率只与1iX有关，又1213iiP XXP XXi。（1）写出转移概率矩阵（2）计算达到稳定后状态的极限概率。（3）该马尔可夫信源的极限熵H 解（1）7 11133311133311022P （4 分）（2）1123212331212311133211133211331P EP EP EP EP EP EP EP EP EP EP EP EP EP E 1233814P EP EP E （3分）（3）3211231 1 11 1 11 1,03 3 33 3 32 231log3log21.439/42IkiHHP E H aEP EHP EHP EHbit符号
