信息的统计度量.ppt

《信息的统计度量.ppt》由会员分享，可在线阅读，更多相关《信息的统计度量.ppt（82页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息的统计度量现在学习的是第1页，共82页本章内容、基本要求、重点与难点本章内容、基本要求、重点与难点 现在学习的是第2页，共82页 样本空间：把某事物可能出现的不同状态，即所有可能选择的消息的集合，成为样本空间。 概率测度：对离散消息的集合而言，对每一个可能选择的消息指定一个概率（非负，总和为1）。 概率空间：一个样本空间和它的概率测度称为一个概率空间。现在学习的是第3页，共82页一个概率空间用X,P表示。离散型的概率空间：离散型的概率空间：nX代表随机变量代表随机变量nxi代表随机事件的某一结果或某个元素代表随机事件的某一结果或某个元素np(xi)=P(X=xi)，表示随机事件表示随机事件

2、X发生某一结果发生某一结果xi的概率。的概率。nn是有限正整数或可数无限大是有限正整数或可数无限大)(,),(),(,)(2121nnxpxpxpxxxXPX，1)(1)(01niiixPxp，现在学习的是第4页，共82页先验概率：p(xi);后验概率：发送xi，收到yj，yj可能与xi相同也可能与xi不同，p(xi|yj)称为后验概率。 现在学习的是第5页，共82页2.1 自信息量和条件自信息量一、自信息量 已知道，信息是对不确定性的描述，而不确定性取决于事件发生的概率。因此，某事件发生所含有的信息量应该是该事件发生的先验概率的函数。 I(ai) = fp(ai) 现在学习的是第6页，共82

3、页该函数应满足以下条件：1 I(ai)应是概率p(ai)的单调递减函数，即：当p(a1) p(a2)时有I(a1) H(x)n本例结论本例结论信源信源Y的二个输出消息是等可能性的，所以事先猜测哪一个消息出现的不确定的二个输出消息是等可能性的，所以事先猜测哪一个消息出现的不确定性要大；性要大；信源信源X的二个输出消息不是等概率的，事先猜测的二个输出消息不是等概率的，事先猜测x1和和x2哪一个出现，虽然具有不哪一个出现，虽然具有不确定性，但大致可以猜出确定性，但大致可以猜出x1会出现，所以信源会出现，所以信源X的不确定性要小；的不确定性要小；信息熵反映的就是信源输出前平均不确定程度的大小。信息熵反

4、映的就是信源输出前平均不确定程度的大小。5 . 0 , 5 . 0,)(21yyYPY01. 0 ,99. 0,)(21xxXPX现在学习的是第39页，共82页例：一信源有6种输出符号，概率分别为P(A)=0.5， P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，P(F)=0.025。计算H(X)。 解：解： 由信息熵定义，该信源输出的信息熵为由信息熵定义，该信源输出的信息熵为 611()( )log( )0.5log20.25log40.125log82 0.05log200.025log401.94bit/symbol iiiH Xp xp x现在学习的是第40页，

5、共82页二、熵的基本性质和定理熵函数熵函数H(X)：熵熵H是是p(x1),p(x2),p(xn)的的n元函数元函数（实际上（实际上，因，因p(xi)=1，独立变量只有，独立变量只有n-1个，个，H是是(n-1)元函数）元函数）:niiinixpinnixpxpxpxpxpxpHXHi11)(121), 2 , 1( 1)(01)(log)()(,),(),()(和现在学习的是第41页，共82页定义：设f(x)=f(x1,x2,xn)为一多元函数。若对于任意一个小于1的正数(0 1)以及函数f(x)定义域内的任意两个矢量X1,X2，有 1212(1)()(1) ()fXXf Xf X则称 f(x

6、)为定义域上的上凸函数；若 1212(1)()(1) ()fXXf Xf X则称 f(x)为定义域上的严格上凸函数。现在学习的是第42页，共82页 反之，若1212(1)()(1) ()fXXf Xf X则称 f(x)为定义域上的下凸函数；若 1212(1)()(1) ()fXXf Xf X则称 f(x)为定义域上的严格下凸函数。现在学习的是第43页，共82页l上凸性的几何意义：上凸性的几何意义： 在上凸函数的任两点之间在上凸函数的任两点之间画一条割线，函数总在割线的画一条割线，函数总在割线的上方上方.l上凸函数在定义域内的极上凸函数在定义域内的极值必为最大值，这对求最值必为最大值，这对求最大

7、熵很有用。大熵很有用。f (x) x1x2 f(x1) f(x2)现在学习的是第44页，共82页 詹森不等式 引理：引理：若f(x)是定义在区间a,b上的连续上凸函数，则对于任意一组x1，x2，.，xq a,b和任意一组非负实数1，2 q满足11qkk有11()qqkkkkkkf xfx现在学习的是第45页，共82页现在学习的是第46页，共82页 取xk为一个离散集的事件， k为相应的概率。 若：f(.)为对数函数，詹森不等式为 Elogx log(Ex) f(.)为一般凸函数 Ef(x) f(Ex)现在学习的是第47页，共82页熵函数的基本性质(1) 非负性非负性(2) 对称性对称性(3)

8、最大离散熵定理最大离散熵定理(4) 扩展性扩展性(5) 确定性确定性(6) 可加性可加性(7) 极值性极值性(8) 上凸性上凸性现在学习的是第48页，共82页(1) 非负性即：即：H(X)0n因为随机变量因为随机变量X的所有取值的概率分布满足的所有取值的概率分布满足0p(xi)1；n当取对数的底大于当取对数的底大于1时时log p(xi)0，而，而- p(xi) log p(xi)0，所以熵，所以熵H(X)0；现在学习的是第49页，共82页(2) 对称性 定义：定义：当变量当变量p(x1),p(x2),p(xn) 的顺序任意互换时，熵函数的的顺序任意互换时，熵函数的值不变，即值不变，即 含义：

9、含义：该性质说明熵只与随机变量的该性质说明熵只与随机变量的总体结构总体结构有关，与信源的有关，与信源的总体统计特性总体统计特性有关。如果某些信源的统计特性相同（含有的有关。如果某些信源的统计特性相同（含有的符号数符号数和和概率分布概率分布相同），那么这些信源的熵就相同。相同），那么这些信源的熵就相同。 1212121 (), (), () (), (), ()log, ,1,2,nniiiniiniH p xp xp xH p xp xp xppi iin ，其中现在学习的是第50页，共82页123()()()1/31/61/2XxxxP X红黄蓝 123()()()1/61/21/3Yyyy

10、P Y红黄蓝 123()()()1/31/61/2ZzzzP Z晴雾雨例： 三个信源分别为： X与与Z信源的差别信源的差别： 具体消息其含义不同；具体消息其含义不同； X与与Y信源的差别信源的差别： 同一消息的概率不同；同一消息的概率不同； 但它们的信息熵是相同的。但它们的信息熵是相同的。现在学习的是第51页，共82页(3) 最大离散熵定理(极值性)定理：定理： 离散无记忆信源输出离散无记忆信源输出n个不同的信息符号，当且仅个不同的信息符号，当且仅当各个符号出现当各个符号出现概率相等概率相等时时(即即p(xi)=1/n)，熵最大。，熵最大。Hp(x1),p(x2),p(xn) H(1/n,1/

11、n,1/n)=log2n 出现任何符号的可能性相等时，不确定性最大。出现任何符号的可能性相等时，不确定性最大。现在学习的是第52页，共82页l扩展性说明，增加一个概率接近于零的事件，信源熵保持不变扩展性说明，增加一个概率接近于零的事件，信源熵保持不变。l虽然小概率事件出现后，给予收信者较多的信息，但从总体虽然小概率事件出现后，给予收信者较多的信息，但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它来考虑时，因为这种概率很小的事件几乎不会出现，所以它对于离散集的熵的贡献可以忽略不计。这也是熵的总体平均对于离散集的熵的贡献可以忽略不计。这也是熵的总体平均性的一种体现。性的一种体现。112

12、120lim,nnnnHp ppHp pp 00lim log0, limloglognnnnpppp 现在学习的是第53页，共82页 H(1,0)=H(1,0,0)=H(1,0,0,0)=H(1,0, ,0)=0 含义：在概率空间中，只要有一个事件是必然事件，那么其它事件一定含义：在概率空间中，只要有一个事件是必然事件，那么其它事件一定是不可能事件，因此信源没有不确定性，熵必为是不可能事件，因此信源没有不确定性，熵必为0。0(1log10, limlog0)iiippp(5) 确定性现在学习的是第54页，共82页(6) 可加性H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/

13、Y) jijijijijijxpiixypijjixpijijiijxypxpjiijyxpjixypxypxpyxpXYHXHXYHxypxpyxpxypxpyxpyxpXYHiijiijiji1)/()/()()()/()()/()/(log)(log)(log)/()(log)(log)()()(12)/(12)(12)/()(12)(12其中现在学习的是第55页，共82页定理定理： 离散无记忆信源输出离散无记忆信源输出n个不同的信息符号，当且仅个不同的信息符号，当且仅当各个符号出现概率相等时当各个符号出现概率相等时(即即 )，熵最大，即，熵最大，即 1ipn121 11(,.,)( ,

14、., )lognH p ppHnn nn现在学习的是第56页，共82页现在学习的是第57页，共82页 再令x=1/y，便得到(1-1/y) lny，于是有 1-1/x lnx现在学习的是第58页，共82页现在学习的是第59页，共82页 证极值性：令qi=1/n1，根据以上引理，有 Hn(p1,p2,pn) -pilog1/n = pilogn =logn当前仅当pi=1/n，i=1,2,.,n时，等号成立。表明：等概率场的平均不确定性最大，具有最大熵。现在学习的是第60页，共82页可以被看做是一种新的概率分布。可以被看做是一种新的概率分布。1iipp（）1(1) 1 log1niiiiiHpp

15、pp pp（）（）11log11log1nniiiiiiiipppppp （）（）（）11log1lognniiiiiipppp （）( )(1)( )HHpp(1) ( )(1)( )HHHpppp 是概率分布是概率分布 的严格上凸函数，即的严格上凸函数，即12(,.,)nH p pp12(,.,)np pp证明：证明：现在学习的是第61页，共82页三、条件熵定义：定义：条件熵是在联合符号集合条件熵是在联合符号集合XY上的条件自信息的数学期望。上的条件自信息的数学期望。n在已知在已知Y时，时，X的条件熵为的条件熵为n已知已知X时，时，Y的条件熵为的条件熵为n条件熵是一个确定的值条件熵是一个确

16、定的值1112(/)11(/ ) (/)(/)()logijmnijijjijimnijp xyjipH X YE I xyI xypx yx ynimjxypjiijijyxpxyIEXYH11)/(12log)()/()/(现在学习的是第62页，共82页11111(|)()log (|)()(|)log (|)()(|)(|)nmijjiijnmijijiijniiiiH YXp x yp yxp xp yxp yxp x H Y xE H Y x n 表示在已知表示在已知 的情况下的情况下 ,Y的平均不确定性。的平均不确定性。n对于不同的对于不同的 xi ， 是变化的。因此，是变化的。因

17、此， 是一个是一个随机变量。随机变量。iXx(|)iH YXx(|)iH YXx(|)iH YXxix现在学习的是第63页，共82页定义定义 随机变量X和Y的联合分布为p(xiyj)，则这两个随机变量的联合熵定义为： 联合熵表示对于二维随机变量的平均不确定性。nimjjijiyxpyxpXYH11)(log)()(现在学习的是第64页，共82页1234123450.250000.100.300000.050.100000.050.10000.050yyyyxxxxx例例 ： 已知已知 联合概率分布如下，求：联合概率分布如下，求：H(XY)，H(X), H(Y), H(Y|X), H(X|Y)。

18、现在学习的是第65页，共82页1) H(XY)= -0.25*log2(0.25)+ 3*0.1*log2(0.1)+ 0.3*log2(0.3)+ 3*0.05*log2(0.05)=2.665解：解：123450.250.400.150.150.05XxxxxxP12340.350.350.200.10YyyyyP H(X)=2.0662)3) H(Y)=1.856现在学习的是第66页，共82页4)5) 12345176227711372144154|0000000001000ijxyyyyyxxxxx123413124412333124335|10000000000010jiyxyyyy

19、xxxxxH(X|Y)=0.809H(Y|X)=0.600现在学习的是第67页，共82页五、各种熵之间的关系五、各种熵之间的关系 1)H(XY)=H(X)+H(Y|X) =H(Y)+H(X|Y)2)H(X|Y)H(X)，H(Y|X)H(Y)3)H(XY)H(X)+H(Y) 若X与Y统计独立，则H(XY)=H(X)+H(Y)12112131212(.)()(|)(|).(|.)NNNH X XXH XH XXH XX XH XX XX可推广到多个随机变量的情况可推广到多个随机变量的情况：现在学习的是第68页，共82页3)式的证明：现在学习的是第69页，共82页故 H(XY)H(X)+H(Y) 证

20、毕1111log ( ) ()()0nmnmijijijijep x p yp x y现在学习的是第70页，共82页2.4平均互信息量一一、平均互信息量定义：平均互信息量定义：互信息量互信息量I(xi;yj)在联合概率空间在联合概率空间P(XY)中中的统计平均值。的统计平均值。 称称I(X;Y)是是Y对对X的平均互信息量的平均互信息量（简称（简称平均互信息平均互信息/交互熵交互熵）。nX对对Y的平均互信息定义为的平均互信息定义为n平均互信息平均互信息I(X;Y)克服了克服了互信息量互信息量I(xi;yj)的随机性，成为一个的随机性，成为一个确定确定的量的量。nimjxpyxpjinimjjij

21、iijiyxpyxIyxpYXI11)()/(211log)();()();(nimjypxypjinimjijjijijyxpxyIyxpXYI11)()/(211log)();()();(现在学习的是第71页，共82页性质：I(X;yj) 0二、平均条件互信息量二、平均条件互信息量定义：联合集XY上，有yj提供的关于集X的平均条件互信息量等于由yj所提供的互信息量I(xi,yj)在整个X中以后验概率加权的平均值。定义式：(;)(|) ( ;)(|)(|)log( )jijijXijijXiI X yp xy I x yp xyp xyp x现在学习的是第72页，共82页则，平均互信息量的又

22、一定义：定义：互信息量I(X;yj) 在整个集Y上的概率加权平均值。定义式：当xi和yj相互独立时，为0；111(; )() (;)() ( ;)mjjjnmijijijI X Yp yI X yp x yI x y现在学习的是第73页，共82页三、平均互信息量的物理含义 观察者站在输出端观察者站在输出端 观察者站在输入端观察者站在输入端 观察者站在通信系统总体立场上观察者站在通信系统总体立场上现在学习的是第74页，共82页 观察者站在输出端nI(X;Y)收到收到Y前、后关于前、后关于X的不确定度减少的量。的不确定度减少的量。从从Y获得的关于获得的关于X的平均信息量的平均信息量。)/()(lo

23、g)(log)(log)();(11)/(1211)(1211)()/(2YXHXHyxpyxpyxpYXInimjyxpjinimjxpjinimjxpyxpjijiiiji现在学习的是第75页，共82页 观察者站在输入端nI(Y;X) 发出发出X前、后关于前、后关于Y的不确定度减少的量。的不确定度减少的量。)/()(log)(log)(log)();(11)/(1211)(1211)()/(2XYHYHyxpyxpyxpXYInimjxypjinimjypjinimjypxypjiijjjij现在学习的是第76页，共82页 观察者站在通信系统总体立场上nI(X;Y) 通信前、后整个系统不确

24、定度减少量。在通信前把通信前、后整个系统不确定度减少量。在通信前把X和和Y看成看成两个相互独立的随机变量，整个系统的先验不确定度为两个相互独立的随机变量，整个系统的先验不确定度为X和和Y的联合熵的联合熵H(X)+H(Y)；通信后把信道两端出现通信后把信道两端出现X和和Y看成是看成是由信道的由信道的传递传递统计特性统计特性联系起来的联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的后、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定度由验不确定度由H(XY)描述。描述。)()()(log)(log)(log)(log)();(11)(1211)(1211)(1211)()

25、()(2XYHYHXHyxpyxpyxpyxpYXInimjyxpjinimjypjinimjxpjinimjypxpyxpjijijijiji现在学习的是第77页，共82页四、平均互信息量的性质 对称性对称性 非负性非负性 极值性极值性 凸函数性凸函数性现在学习的是第78页，共82页 对称性I(X;Y)= I(Y;X)n根据互信息量的对称性根据互信息量的对称性I(xi;yj)= I(yj;xi)n结论：结论：由由Y提取到的关于提取到的关于X的信息量与从的信息量与从X中提取到的关于中提取到的关于Y的的信息量是一样的。信息量是一样的。I(X;Y)和和 I(Y;X)只是观察者的立足点不同。只是观察

26、者的立足点不同。);();()();()();(1111XYIxyIyxpyxIyxpYXIijnimjjijinimjji现在学习的是第79页，共82页即即 I(X;Y)0当且仅当当且仅当X和和Y相互独立，即相互独立，即p(xiyj)= p(xi) p(yj)I(X;Y)=0式中式中结论：结论：n平均互信息量不是从两个具体消息出发，而是从随机变量平均互信息量不是从两个具体消息出发，而是从随机变量X和和Y的整体角度出发，在平均意义上观察问题，所以平均互信的整体角度出发，在平均意义上观察问题，所以平均互信息不会出现负值。息不会出现负值。 1)(, 1)(, 1)(1111nimjjimjjnii

27、yxpypxp 非负性现在学习的是第80页，共82页 极值性I(X;Y)H(X) I(Y;X)H(Y)证明：证明：n意义：从一个事件提取关于另一个事件的信息量，至多是意义：从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵那么多，不会超过另一个事件自身所含的另一个事件的熵那么多，不会超过另一个事件自身所含的信息量。信息量。(; )()(/)(|)()log( |)XYI X YH XH X YH X Yp xyx y 因为而非负，所以成立。现在学习的是第81页，共82页 凸函数性n平均互信息量平均互信息量I(X;Y)是输入信源概率分布是输入信源概率分布p(xi)的上凸函数的上凸函数n平均互信息量平均互信息量I(X;Y)是输入转移概率分布是输入转移概率分布p(yj /xi)的下凸函数的下凸函数 (证明暂不给出证明暂不给出)现在学习的是第82页，共82页