信息论试卷题目及答案.pdf

《信息论试卷题目及答案.pdf》由会员分享，可在线阅读，更多相关《信息论试卷题目及答案.pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1/6 中国海洋大学 20082009 学年第一学期 一、填空题（每空2分，共20分）1、1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。2、信源编码的目的是提高通信的有效性。信道编码的最终目的是提高信号传输的可靠性。3、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N 倍。4、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。5、信道输入与输出间的平均互信息是信道转移概率的 下凸 函数，是输入概率的 上凸 函数。6、信道矩阵10002/12/1代表的信道的信道容量 C=符号/1bit，达到信道容量的条件是输入符号等概分布。7

2、、设某二进制码00011，10110，01101，11000，10010，10001，则码的最小距离是 2，假设码字等概分布，则该码的码率为 0.517 比特/符号，这时若通过二元对称信道接收码字为 01100 和 00110 时，应译为 01101，10110。二、判断题（每题 2 分，共 10 分）1、必然事件和不可能事件的自信息量都是 0。（错）2、最大后验概率准则与最大似然准则是等价的。（错）3、如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。（对）4、连续信源和离散信源的熵都具有非负性。（错）5、相同功率的噪声中，高斯噪声使信道容量最小。（对）三、简答题（第1、2

3、题各6分，第三题10分，共22分）1、简述最大离散熵定理。对于一个有 m 个符号的离散信源，其最大熵是什么？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。(3 分)最大熵值为mH2maxlog(3 分)2、对 于 任 意 概 率 事 件 集X、Y、Z，证 明 下 述 三 角 不 等 式 成 立2/6 ZXHZYHYXH 证：因为)|()|(YXHYZXH，(3 分)所以：)|()|()|()|,()|()|()|()|(ZYHXZYHZYHZYXIYZXHZXHYXHZXH(3 分)所以原命题得证。3、什 么 是 保 真度准 则？对 二 元 信源 110upu，其 失 真 矩 阵0

4、0D，求0时率失真函数的minD和maxD？答：1)保真度准则为：平均失真度不大于允许的失真度。（3 分）2)因为失真矩阵中每行都有一个0，所以有0minD（2 分），而21211,1minmaxD。（5 分）四、计算题（第1、2、3题每题15分，第4题10分，共55分）1、黑白气象传真图的消息只有黑色和白色两种，求：（1）黑色出现的概率为 0.3，白色出现的概率为 0.7。给出这个只有两个符号的信源 X 的数学模型，假设图上黑白消息出现前后没有关联，求熵 XH；（2）假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.

5、8，求其熵 XH2。答：（1）信源模型为 7.03.021白黑xxxpX(5 分)符号/881.07.0log7.03.0log3.0log21bitxpxpXHiii(5 分)3/6（2）由 12121xPxPxxPxPxPjjiji （2,1i）(3 分)可得 19.02.01.08.021212211xPxPxPxPxPxPxPxP 得32)(31)(11白黑xPxP(3 分)则 符号/5533.09.0log9.01.0log1.0321.0log1.08.0log8.031log)(221212bitxxPxxPxPXHijijiji (4分)2、设有一离散信道，其信道矩阵为7.01

6、.02.02.01.07.0p，求（1）最佳概率分布？（2）当 7.01xP，3.02xP时，求平均互信息YXI;和信道疑义度YXH/；（3）输入为等概分布时，试写出一译码规则，使平均译码错误率Ep最小，并求此Ep。答：（1）是准对称信道，因此其最佳输入概率分布为 5.021xpxp(2 分)(2)由已知的输入概率空间和信道转移概率，可求得输出概率 21iijijxypxpyp (2 分)55.02.03.07.07.02111iiixypxpyp 1.01.03.01.07.02122iiixypxpyp 35.07.03.02.07.02133iiixypxpyp (2分)符号/3367.

7、135.0log35.01.0log1.055.0log55.0log31bitypypYHjjj(2 分)4/6 符号/1569.17.0log7.01.0log1.02.0log2.03.02.0log2.01.0log1.07.0log7.07.0log3121bitxypxypxpXYHjiiiiii(2 分)平均互信息 符号/1798.01569.13367.1;bitXYHYHYXI(2 分)符号/8813.07.0log7.03.0log3.0log21bitxpxpXHiii(2 分)信道疑义度 符号/7015.01798.08813.0;bitYXIXHYXH(2 分)(3)

8、此时可用最大似然译码准则，译码规则为 11xyF，212xxyF或，23xyF (2 分)平均译码错误率 25.02.01.02.02118,aXYijjEabpryepEp (2 分)3、（共 20 分）某离散无记忆信源符号集为，所对应的概率分别为：0.4，0.2，0.1，0.1，0.07，0.05，0.05，0.02，0.01，码符号集为0，1，2，3。1）求信源的熵H(X)及信源剩余度；（2+24 分）信源的熵：（2 分）信源剩余度：（2 分）2）对其进行四元 Huffman 编码；（5 分）5/6，其中，若取，可得大于 9 但与 9 最接近的正整数 10，因此在 Huffman 编码是

9、加入一个零概率符号。编码为 332；编码为 331；编码为 330；编码为 32；编码为 31；编码为 30；编码为 2；编码为 1；编码为 0 3）求平均码长，编码效率 及编码器输出的信息传输率（码率）R。平均码长：码元/信息符号（2 分）编码效率：0.9194（2 分）信息传输速率：1.8388 比特/符号（2 分）4、已知加性高斯白噪声(AWGN，Add itiveWhite Gaussian Noise)信道，信号的带宽范围为 3003400Hz，信号与噪声功率比为 26 dB，（1）计算该信道的最大信息传输速率；（2）若信号与噪声功率比降到 10dB，且保持信道最大信息传输速率不变，则信道带宽应该变为多少？6/6 解：（1）计算该信道的最大信息传输速率；（5 分）W=3400-300=3100Hz SNR=26dB=398 （2）若信号与噪声功率比降到 10dB，且保持信道最大信息传输速率不变，则信道带宽应该变为多少？（5 分）SNR=10dB=10 友情提示：部分文档来自网络整理，供您参考！文档可复制、编制，期待您的好评与关注！