——条件熵联合熵及熵的性质.pptx

《——条件熵联合熵及熵的性质.pptx》由会员分享，可在线阅读，更多相关《——条件熵联合熵及熵的性质.pptx（35页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第1页/共35页条件熵是在联合符号集合XY上的条件自信息量的数学期望。在已知随机变量Y的条件下，随机变量X的条件熵定义为：)/(log)()/()()/()/(1111jimjnijijimjnijijiyxpyxpyxIyxpyxIEYXH要用联合概率加权条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。称条件熵H(Y/X)为噪声熵。)/(log)()/()/(211ijnimjjiijxypyxpxyIEXYH条件熵第2页/共35页 联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。)(log)(

2、)()()(jinimjjijinimjjiyxpyxpyxIyxpXYH21111)(jiyx联合熵第3页/共35页)()()()()(YXHYHXYHXHXYH熵、条件熵、联合熵关系第4页/共35页一个二进信源X发出符号集0,1,经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2”已知X的先验概率: p(x0)=2/3, p(x1)= 1/3,符号转移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，XY0101 23/41/21/21/4信源熵H(X)bitHXH9

3、2. 031log3132log32)31,32()(例题第5页/共35页得联合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/33/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/31/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/31/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/31/2=1/6)/()()/()()(jijijijiyxpypxypxpyxpbitx

4、ypyxpXYHijijji88. 021log6121log6141log6143log21)|(log),()|(由例题 条件熵H(Y|X)第6页/共35页 联合熵联合熵H(XY) H(XY)H(X)H(Y|X)=1.8bit/符号)()(),()(11imjjijnijixpyxpypyxp得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) = p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由bit

5、HYH47. 161log6131log3121log21)61,31,21()(例题信源输出熵H(Y)第7页/共35页)()()()()|(1jjinijijijiypyxpyxpyxpyxp由12/12/1)()()|(00000ypyxpyxp得同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/20)()()|(00101ypyxpyxpbityxpyxpYXHjiijji33. 0)|(log),()|( 条件熵H(X|Y)例题或 H(X|Y)= H(XY)-H(Y)=1.8-1047=0.33bit/符号第8页/共35页第

6、9页/共35页KkkkKpppppHXH121log),()(),.,2 , 1(0, 11KkppkKkk熵的基本性质KKpppxxxPX2121概率矢量第10页/共35页非负性 非负性 H(X)0 由于0pk1,所以logpk0，-logpk0，则总有H(X)0。第11页/共35页 对称性对称性),.,(),.,(12121KKKppppHpppH 根据加法交换律可以证明，当变量交换顺序时熵函数的值不变, 即信源的熵只与概率空间的总体结构有关，而与各概率分量对应的状态顺序无关。 对称性第12页/共35页确定性当信源X的信源空间X，P中，任一概率分量等于1，根据完备空间特性，其它概率分量必为

7、0，这时信源为一个确知信源，其熵为0。 确定性HHH( , )( , )( , , ,. )100110000第13页/共35页),(),(lim21210KKKKpppHpppH 这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重， ，使信源熵保持不变。 0loglim20 扩展性扩展性第14页/共35页 可加性可加性)/()()()/()()(YXHYHXYHXYHXHXYH1)/()/()()(:)/()()/()/()(log)()/(log)()(log)/()()/()(log)()(log)()(22222

8、jijijijijijiiiijijjiiijijiijiijjijiijjixypxypxpyxpXYHXHXYHxypxpxpxypyxpxpxypxpxypxpyxpyxpyxpXYH利用证明:可加性第15页/共35页 极值性极值性最大离散熵定理最大离散熵定理 KXH2log)(信源X中包含K个不同离散消息时，信源熵 ，当且仅当X中各个消息出现的概率全相等时，上式取等号。 表明等概信源的不确定性最大，具有最大熵，为 K2log极值性KXH2log)(第16页/共35页n定理：1. H(X/Y) H(X) （条件熵不大于无条件熵） 2. H(XY) H(X)+H(Y)证明：)()()/()

9、(,)()(log)()(log)/()()(log)/()()/(log)/()()/(log)()/(22222ijjijjijiiiiijjijjiijijjjiijijjiijjixpyxpyxpypXHxpxpxpyxpypxpyxpypyxpyxpypyxpyxpYXH 其中基本定理第17页/共35页基本定理推广)(121mnnnsnnnnUUUHUUUUHNnms1121()()NNnnH U UUH UH(X/Y) H(X)H(XY) H(X)+H(Y)第18页/共35页第19页/共35页)|()|()|()(),()(12121312121LLLiiiiiiiiiiiiiix

10、xxxpxxxpxxpxpxxxppx 设信源输出的随机序列为 X =(X1X2XlXL) 序列中的变量Xlx1,x2, xn离散无记忆信源LliiiiiiiiilLLxpxpxpxpxpxxxpp1)()()()()(),()(32121x离散无记忆:第20页/共35页离散无记忆信源的序列熵离散无记忆信源的序列熵 信源的序列熵信源的序列熵 LllLliiiiLliiniiiXHxpxpxpxpxpxpHllL1111L)()(log)()(log)()(log)()X()()X(LXLHH进一步化简 平均符号熵)()X(1)X(LXHHLHL?第21页/共35页离散无记忆信源的序列熵离散无记

11、忆信源的序列熵 信源的序列熵信源的序列熵 LllLliiiiLliiniiiXHxpxpxpxpxpxpHllL1111L)()(log)()(log)()(log)()X()()X(LXLHH进一步化简 平均符号熵)()X(1)X(LXHHLHL?第22页/共35页iiixpxpXH)(log)()(11 LiLiLiLiiiiiiLLxpxpxpxpxp11111231321)(log)()()()(LiLiLiLiiiiiiLLlxpxpxpxpxp1111123321)()()()(log)(LiiiXHxpxp1111)()(log)(iiillxpxpXH)(log)()(离散无记

12、忆信源的序列熵 )()()X(1LXLHXHHLll LiLiLiLiiiLxpxp11111231)(log)(第23页/共35页例例:有一个无记忆信源随机变量有一个无记忆信源随机变量X(0,1),等概率分布等概率分布,若以单个符号出现为一事件若以单个符号出现为一事件,则此时的信源熵则此时的信源熵:bitXH12log)(2bitH24log)X(22bitHH1)X(21)X(22 即用 1比特就可表示该事件。如果以两个符号出现(L=2的序列)为一事件，则随机序列X(00,01,10,11)，信源的序列熵 即用2比特才能表示该事件。信源的符号熵离散无记忆信源实例)X(2)X(2HH第24页

13、/共35页 例例:有一离散平稳无记忆信源有一离散平稳无记忆信源 414121)(321xxxxpX求：二次扩展信源的熵X2信源信源的元素的元素 a1 a2a3a4a5a6a7a8a9对应的对应的消息序列消息序列 x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3 x2x3 x3概率概率p(ai) 1/4 1/81/81/81/16 1/161/81/16 1/16离散无记忆信源实例第25页/共35页bitapapXHiii3)(log)()(912bitxpxpXHiii5 . 1)(log)()(31)(2)(2XHXH 信源熵为 信源的序列熵离散无记忆信源实例 平均符号熵为 bi

14、tXHXH5 . 12/ )()(22第26页/共35页a0a1a2a09/112/110a11/83/41/8a202/97/9 例:已知离散有记忆信源中各符号的概率为:41943611210aaaPX 设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概率p(aj|ai)表示,如表p(aj|ai) 求离散信源的序列熵和平均每个符号的熵? 离散有记忆信源实例第27页/共35页 由由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率计算得联合概率p(ai aj)如表如表a0a1a2a01/41/180a11/181/31/18a201/187/36当考虑符号之间有

15、依赖性时,计算得条件熵bitaapaapXXHiijjij872. 0)|(log)()|(202012离散有记忆信源实例bitaapaapXXHijijij41. 2),(log),(),(202021 发二重符号序列的熵 第28页/共35页 H(X1,X2)表示平均每二个信源符号所携带的信息表示平均每二个信源符号所携带的信息量量, 那么平均每一个信源符号携带的信息量近似为那么平均每一个信源符号携带的信息量近似为: 符号之间存在关联性bitXHH21. 1)(21)X(22)X()X(2HH比较有记忆信源实例而信源X的信息熵为符号/543. 1)(log)()(20bitapapXHiii

16、H(X2| X1)H(X)，信源的条件熵比无依赖时的熵H(X)减少了0.671比特,这正是因为符号之间有依赖性所造成的结果。)X()XX(12HH第29页/共35页 对于有记忆信源对于有记忆信源,就不像无记忆信源那样简单就不像无记忆信源那样简单,它必须它必须引入条件熵的概念，而且只能在某些特殊情况下才能引入条件熵的概念，而且只能在某些特殊情况下才能得到一些有价值的结论。得到一些有价值的结论。 对于由两个符号组成的联合信源对于由两个符号组成的联合信源,有下列结论有下列结论:)|()(),|()()|()()|()()(12221121212121XXHXHXXHXHXXHXHXXHXHXXH)(

17、)|(),()|()()()(2121212121XHXXHXHXXHXHXHXXH当前后符号无依存关系时,有下列推论：离散有记忆信源的序列熵第30页/共35页若信源输出一个若信源输出一个L长序列长序列,则信源的序列熵为则信源的序列熵为)()|()|()|()()()(11112121LLlllLLLXHXXHXXXHXXHXHXXXHHX平均符号熵为： )(1)X(XHLHL极限熵: 离散有记忆信源的序列熵)(limXHHLL第31页/共35页（1）条件熵）条件熵H (XL|XL-1) 随随L的增加非递增的增加非递增离散有记忆信源特点（3）平均符号熵HL(X)随L的增加非递增)|(lim)(lim)(121LLLLLXXXXHXHXH H0(X)H1(X)H2(X)H(X)（2）L给定时, H L(X)H (XL|XL-1)（4）第32页/共35页第33页/共35页冗余度)()()()(log2102XHXHXHXHn表明信源的记忆长度越长,熵就越小；即信源符号的相关性越强，所提供的平均信息量就越小。 为了定量地描述信源的有效性,定义:)()(0XHXH)()(110XHXH相对率 冗余度由于信源存在冗余度,即存在一些不必要传送的信息,因此信源也就存在进一步压缩其信息率的可能性。第34页/共35页谢谢您的观看！第35页/共35页