朱雪龙《应用信息论基础》习题答案 第二章.doc
第二章 习题参考答案2.1 nat 或 bit2.2 证明：2.3 1) H(X) = 0.918 bit , H(Y) = 0.918 bit2) H(X|Y) = bit , H(Y|X) = bit , H(X|Z) = bit3) I(X;Y) = 0.251 bit , H(XYZ) = 1.585 bit2.4 证明：(1)根据熵的可加性，可直接得到 (2)2.5 考虑如下系统： X Z Y 假设输入X、Y是相互独立的，则满足 I(X;Y) = 0又 I(X;Y|Z) = H(X|Z) H(X|YZ) = H(X|Z) = 1 bit不妨设 P(Z=0) = P(Z=1) = 设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1p P(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1q则 H(X|Z) = plogp + (1p)log (1p) qlogq + (1q)log(1q) =1满足上式的p、q 可取：p = ; q = 满足条件的一个联合分布： P(X=0, Y=0, Z=0) = P(X=1, Y=1, Z=0) = P(X=1, Y=1, Z=0) = P(X=1, Y=0, Z=1) = 2.6 解： 给出均匀分布2.7 证明： I(X;Y;Z) = I(X;Y)I(X;Y|Z) = I(X;Z)I(X;Z|Y) A, B 处理器独立， I(X;Z|Y) = 0 I(X;Z) = I(X;Y)I(X;Y|Z) I(X;Y) 等号于 p(x/yz) = p(x)下成立2.8 N=2 时， P(0 0) =, P(1 1) = ,其它为0 I(;) = 1 bit N2时， I(;|) (3k) = P(中有奇数个1) I(;|中有奇数个1) + P(中有偶数个1) I(;|中有偶数个1)P(中有奇数个1) = P(中有偶数个1) = P(=1|中有奇数个1) = P(=0|中有奇数个1) = P(=1|中有奇数个1) = P(=0|中有奇数个1) = （注意，这里kN1）P(=1|中有偶数个1) = P(=0|中有偶数个1) = P(=1|中有偶数个1) = （注意，这里kN1）P(=0|中有偶数个1) = P(=0，=0|中有奇数个1) = P(=0，=1|中有奇数个1) = P(=1，=0|中有奇数个1) = P(=1，=1|中有奇数个1) = P(=0，=0|中有偶数个1) = P(=0，=1|中有偶数个1) = P(=1，=0|中有偶数个1) = P(=1，=1|中有偶数个1) = 综上：I(;|中有奇数个1) (3kN1) = H(|中有奇数个1) + H(|中有奇数个1) H(;|中有奇数个1) = 0 I(;|中有偶数个1) = 0 当 3kN1 时，I(;|) = 0 当 k = N时 即 I(;|) = H(|) H(|, ) = 1 bit2.9 1) 实例如2.5题2）考虑随机变量 X=Y=Z的情况 取 P(X=0, Y=0, Z=0) = P(X=1, Y=1, Z=1) = 则 I(X;Y|Z) = 0 I(X;Y) = 1 满足 I(X;Y|Z)I(X;Y)2.10 H(X Y) H(X) + H(Y) 等号在X、Y独立时取得 P() = P() = P() = P() = P() = P() = P() = P() = P() = 满足 H(X Y) 取最大值2.11 证明： 2.12 证明： 2.13 证明： 2.14 P(X=n) = = H(X) = = = 2 bit 2.15 (nat)2.16 证明： 记长为2N随机序列中出现的频率=的概率为，其中中出现的频率为的概率为，中出现的频率为的概率为，则有所以2.17 解： 2.18 = 其中 于是 = = 当 ，且 时 =0 当 ，且 时 = 0 关系不定2.19 解： 天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为log3，12个球中的不等重球（可较轻，也可较重）的不确定性为： 因为 3log3log243次测量可以找出该球具体称法略。
