信息论与编码陈运主编答案完整版(共61页).docx
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《信息论与编码陈运主编答案完整版(共61页).docx》由会员分享,可在线阅读,更多相关《信息论与编码陈运主编答案完整版(共61页).docx(61页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、精选优质文档-倾情为你奉上信息论与编码课后习题答案详解2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍? 解: 四进制脉冲可以表示 4 个不同的消息,例如:0, 1, 2, 3 八进制脉冲可以表示 8 个不同的消息,例如:0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示 2 个不同的消息,例如:0, 1 假设每个消息的发出都是等概率的,则: 四进制脉冲的平均信息量H X( 1) = logn = log4 = 2 bit symbol/ 八进制脉冲的平均信息量H X( 2) = logn = log8 = 3 bit symbol/ 二进制脉冲的平均信息量H X(
2、0) = logn = log2 =1 bit symbol/ 所以: 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。 2.2 居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量? 解: 设随机变量 X 代表女孩子学历 X x1(是大学生) x2(不是大学生) P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y1(身高160cm) y2(身高 log6不满足信源熵的极值性。 解: H Xp xp xi =
3、(0.2log0.2 + 0.19log0.19 + 0.18log0.18+ 0.17log0.17 + 0.16log0.16 + 0.17log0.17) = 2.657 bit symbol/H X() log 62 = 2.585不满足极值性的原因是。 i 2.7 证明:H(X3/X1X2) H(X3/X1),并说明当X1, X2, X3是马氏链时等式成立。证明: H X(3 / X X12 ) H X(3 / X1)= p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) + p x x( i1 i3 )log p x( i3 / xi1)i1i2i
4、3i1i3= p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) + p x x x( i1 i2i3 )log p x( i3 / xi1)i1i2i3i1i2i3 p x( i3 / xi1)= i1i2i3 p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 )p x( i3 / xi1)1log2 e i1i2i3 p x x x( i1 i2i3 ) p x( i3 / x xi1 i2 ) = p x x( i1 i2 ) (p xi3 / xi1) p x x x( i1 i2i3 )log2 e i1i2i3i1i
5、2i3= p x x( i1 i2 ) p x( i3 / xi1) 1log2 e i1i2 i3= 0H X( 3 / X X1 2) H X( 3 / X1)p x( i3 / xi1)10时等式等等当 = p x( i3 / x xi1 2i ) p x( i3 / xi1) = p x( i3 / x xi1 2i ) p x x( i1 2i ) (p xi3 / xi1) = p x( i3 / x xi1 2i ) (p x xi1 2i ) p x( i1) (p xi2 / xi1) (p xi3 / xi1) = p x x x( i1 2 3ii ) p x( i2 /
6、 xi1) (p xi3 / xi1) = p x x( i2 3i / xi1)等式等等的等等是X1, X2, X3是马氏链_ 2.8证明:H(X1X2 。 Xn) H(X1) + H(X2) + + H(Xn)。证明: H X X(12.X n ) = H X(1)+ H X(2 / X1)+ H X(3 / X X12 )+.+ H X(n / X X12.X n1 )I X(2 ;X1 ) 0 H X(2 ) H X(2 / X1 ) I X(3;X X12 ) 0 H X(3 ) H X(3 / X X12 ).I X( N;X X1 2.Xn1) 0 H X( N ) H X( N
7、 / X X1 2.Xn1) H X X( 1 2.Xn) H X( 1)+H X( 2)+H X( 3)+ +. H X( n) 2.9 设有一个信源,它产生0,1序列的信息。它在任意时间而且不论以前发生过什么符号,均按P(0) = 0.4,P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的? (2) 试计算H(X2), H(X3/X1X2)及H; (3) 试计算H(X4)并写出X4信源中可能有的所有符号。 解: (1) 这个信源是平稳无记忆信源。因为有这些词语:“它在任意时间而且不论以前发生过什么符号” (2) H X(2 ) = 2H X() = 2(0.4log0.
8、4+ 0.6log0.6) =1.942 bit symbol/H X(3 / X X12 ) = H X(3 ) = p x( i )log p x( i ) = (0.4log0.4+ 0.6log0.6) = 0.971 bit symbol/ iH = lim H X(N / X X12.X N1 ) = H X(N ) = 0.971 bit symbol/N(3) H X(4 ) = 4H X() = 4(0.4log0.4+ 0.6log0.6) = 3.884 bit symbol/X 4的所有符号: 00000001001000110100010101100111100010
9、01101010111100110111101111 2.10 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为0, 1, 2。 (1) 求平稳后信源的概率分布; (2) 求信源的熵H。 解: (1) p e( 1 ) = p e p e( 1 ) ( 1 /e1 ) + p e( 2 ) (p e1 /e2 )p e( 2 ) = p e( 2 ) (p e2 /e2 ) + p e( 3 ) (p e2 /e3 )p e( 3 ) = p e( 3 ) (p e3 /e3 ) + p e p e( 1 ) ( 3 /e1 )p e( 1 ) = p p e( 1 ) + p p e(
10、2 )p e( 2 ) = p p e ( 2 ) + p p e( 3 )p e( 3 ) = p p e( 3 ) + p p e( 1 ) p e( 1 ) = p e( 2 ) = p e( 3 )p e( 1 ) + p e( 2 ) + p e( 3 ) =1p e( 1 ) =1/3p e( 2 ) =1/3 p e( 3 ) =1/3p x( 1 ) = p e( 1 ) (p x1 /e1 ) + p e( 2 ) (p x1 /e2 ) = p p e( 1 ) + p p e( 2 ) = (p + p)/3 =1/3p x( 2 ) = p e( 2 ) (p x2 /
11、e2 ) + p e( 3 ) (p x2 /e3 ) =p p e( 2 ) + p p e( 3 ) = (p + p)/3 =1/3p x( 3 ) = p e( 3 ) (p x3 /e3 ) + p e p x( 1 ) ( 3 /e1 ) = p p e( 3 ) + p p e( 1 ) = (p + p)/3 =1/3 X 012 P X() = 1/3 1/3 1/3(2) Hp e p e( ) (/e )log p e( j /ei ) ij = 13 p e( 1 /e1)log p e( 1 /e1) + 13 p e( 2 /e1)log p e( 2 /e1) +
12、 13 p e( 3 /e1)log p e( 3 /e1) 111 + 3 p e(/e )log p e( 1 /e3) + 3 p e( 2 /e3)log p e( 2 /e3) + 3 p e( 3 /e3)log p e( 3 /e3)pppppplog1log1log1log1log1log131+=+ 33 pp3 pp33 pp3 = (plog p + plog p bit symbol) / 2.11黑白气象传真图的消息只有黑色和白色两种,即信源X=黑,白。设黑色出现的概率为P(黑) = 0.3,白色出现的概率为P(白) = 0.7。 (1) 假设图上黑白消息出现前后没有
13、关联,求熵H(X); (2) 假设消息前后有关联,其依赖关系为P(白/白) = 0.9,P(黑/白) = 0.1,P(白/黑) = 0.2,P(黑/黑) = 0.8,求此一阶马尔可夫信源的熵H2(X); (3) 分别求上述两种信源的剩余度,比较H(X)和H2(X)的大小,并说明其物理含义。解: (1) H X() = p x( i )log p x( i ) =(0.3log0.3+ 0.7log0.7) = 0.881 bit symbol/ i(2) p e( 1 ) = p e p e( 1 ) ( 1 /e1 )+ p e( 2 ) (p e1 /e2 )p e( 2 ) = p e(
14、 2 ) (p e2 /e2 )+ p e p e( 1 ) ( 2 /e1 )p e( 1 ) = 0.8 (p e1 )+ 0.1 (p e2 )p e( 2 ) = 0.9 (p e2 )+ 0.2 (p e1 )p e( 2 ) = 2 (p e1 )p e( 1 )+ p e( 2 ) =1 p e( 1 ) =1/3p e( 2 ) = 2/3H = p e p e( i ) ( j /ei )log p e( j /ei )ij = 10.8log0.8+ 10.2log0.2+ 2 0.1log0.1+ 2 0.9log0.93333 0.553 =bit symbol/(3)
15、 1 = H 0 H = log20.881 =11.9%H 0log2 44.7%H(X) H2(X) 表示的物理含义是:无记忆信源的不确定度大与有记忆信源的不确定度,有记忆信源的结构化信息较多,能够进行较大程度的压缩。 2.12 同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求: (1) “3和5同时出现”这事件的自信息; (2) “两个1同时出现”这事件的自信息; (3) 两个点数的各种组合(无序)对的熵和平均信息量; (4) 两个点数之和(即2, 3, , 12构成的子集)的熵; (5) 两个点数中至少有一个是1的自信息量。解: (1) p x( i ) = + = I x(
16、 i ) = log p x( i ) = log = 4.170 bit(2) p x( i ) = = I x( i ) = log p x( i ) = log = 5.170 bit(3) 两个点数的排列如下: 11 12 13 14 15 16 21 22 23 2425 26 31 32 33 3435 36 41 42 43 4445 46 51 52 53 5455 56 61 62 63 6465 66 共有 21 种组合:其中 11,22,33,44,55,66 的概率是 其他 15 个组合的概率是 H X() = p x( i )log p x( i ) = 6 361
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 主编 答案 完整版 61
![提示](https://www.taowenge.com/images/bang_tan.gif)
限制150内