【教学课件】第二章信息量和熵.ppt

《【教学课件】第二章信息量和熵.ppt》由会员分享，可在线阅读，更多相关《【教学课件】第二章信息量和熵.ppt（66页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第二章第二章 信息量和熵信息量和熵信息量和熵信息量和熵l2.1 离散变量的非平均信息量l2.2 离散集的平均自信息量熵l2.3 离散集的平均互信息量l2.4 连续随机变量的互信息和熵l2.5 凸函数和互信息的凸性2.1 离散变量的非平均信离散变量的非平均信息量息量输入，输出空间定义输入，输出空间定义l输入空间X=xk,k=1,2,K,概率记为q(xk)l输出空间Y=yj,j=1,2,J,概率记为(yj)l联合空间XY=xkyj;k=1,2,K;j=1,2,J,概率为p(xkyj)p(xkyj)=p(xk|yj)(yj)=p(yj|xk)q(xk)非平均互信息量非平均互信息量l例输入消息码字p(

2、xk)收到0收到01收到011X1X2X3X4X5X6X7x80000010100111001011101111/81/81/81/81/81/81/81/81/41/41/41/40000001/21/2000000010000非平均互信息量非平均互信息量输入消息码字p(xk)收到0收到01收到011X1X2X3X4X5X6X7x80000010100111001011101111/81/41/81/41/161/161/161/161/61/31/61/30000001/32/3000000010000非平均互信息量非平均互信息量l例输入消息码字p(xk)收到0收到01收到011X1X20

3、001111/21/21-pp1/21/21-pp1-p1-p0011pp非平均互信息量非平均互信息量非平均互信息量非平均互信息量定定义义(非平均互信息量)给定一个二维离散型随 机 变 量(X,Y),(xk,yj),rkj,k=1K;j=1J（因此就给定了两个离散型随机变量X,xk,qk,k=1K和Y,yj,wj,j=1J）。事件xkX与事件yjY的互信息量定义为非平均互信息量非平均互信息量其中底数a是大于1的常数。常用a=2或a=e，当a=2时互信息量的单位为“比特”。几点说明：几点说明：（1）I(xk;yj)=loga(rkj/(qkwj)。因此有对称性：。因此有对称性：I(xk;yj)=

4、I(yj;xk)。（2）当）当rkj=qkwj时时I(xk;yj)=0。（当两个事件相互独。（当两个事件相互独立时，互信息量为立时，互信息量为0）。）。（3）当）当rkjqkwj时时I(xk;yj)0，当，当rkjqkwj时时I(xk;yj)0。（当两个事件正相关时，互信息量为正值，当两（当两个事件正相关时，互信息量为正值，当两个事件负相关时，互信息量为负值）。个事件负相关时，互信息量为负值）。条件互信息和联合事件互信息条件互信息和联合事件互信息l三个事件集的条件互信息定义为l可以推广到任意有限多个空间情况互信息的可加性互信息的可加性系统u1u2u3系统u1u2u3互信息量特性：互信息量特性：

5、l对称性l可加性l互信息量的值域：-infinite +infinite,即全体实数离散变量的非平均自信息量离散变量的非平均自信息量定义：给定集合X,q(xk),事件xkX的自信息量定义为：非平均自信息的性质非平均自信息的性质l非负性l体现先验不确定性大小条件自信息和联合自信息条件自信息和联合自信息自信息、条件自信息和互信息自信息、条件自信息和互信息I(xk)I(yj)I(xk;yj)2.2 离散集的平均自信离散集的平均自信息量熵息量熵熵熵集X中事件出现的平均不确定性(平均自信息量熵)离散型随机变量X,xk,qk,k=1K的平均自信息量（又称为熵）定义为如下的H(X)，其中底数a是大于1的常数

6、。熵熵注意：（1）事件xk的自信息量值为I(xk)=loga(1/qk)，因此H(X)是随机变量X的各事件自信息量值的“数学期望”。（2）定义H(X)时，允许某个qk=0。（此时将qkloga(1/qk)通盘考虑）此时补充定义qkloga(1/qk)=0。这个定义是合理的，因为熵熵例例 离散型随机变量X有两个事件x1和x2，P(X=x1)=p，P(X=x2)=1-p。则X的平均自信息量（熵）为H(X)=ploga(1/p)+(1-p)loga(1/(1-p)。观察H(X)（它是p的函数，图给出了函数图象，该图象具有某种对称性），有当p=0或p=1时，H(X)=0。（随机变量X退化为常数时，熵为

7、0）当0p0。p越靠近1/2，H(X)越大。（X是真正的随机变量时，总有正的熵。随机性越大，熵越大）当p=1/2时，H(X)达到最大。（随机变量X的随机性最大时，熵最大。特别如果底数a=2，则H(X)=1比特）条件熵（定义）条件熵（定义）XY独立时有H(X|Y)=H(X)联合熵联合熵熵的性质熵的性质l对称性l非负性l确定性l扩展性l可加性l极值性l是H(P)上凸函数熵是概率矢量的函数熵是概率矢量的函数lP(p1,p2,pk)可以看作是K维矢量,当 ,常称作是概率矢量;l故HK(P)=HK(p1,p2,pk)是概率矢量P的函数熵的性质对称性熵的性质对称性l矢量的各分量p1,p2,pk的次序任意改

8、变时，熵值不变l熵函数的值只与概率分布或将1分割成的K个实数的取值有关，而与这K个实数和K个事件采取何种一一对应方式无关熵的性质非负性熵的性质非负性lHK(P)=HK(p1,p2,pK)0l可由单个事件自信息量的非负性得到熵的性质确定性熵的性质确定性l若事件集X中有一个事件为必然事件，其余事件为不可能事件，则此集合的熵值为0熵的性质扩展性熵的性质扩展性熵的性质可加性熵的性质可加性lH(p1q11,p1q12,p4q44)=H(p1,p4)+p1H(q11,q14)+p4H(q41,q44)p1p2p3p4q11q12q13q14熵的性质极值性熵的性质极值性l引理1:lnxx-1l引理2：lH(

9、X|Y)H(X)lH(U1UN)H(U1)+H(UN)熵的性质凸性熵的性质凸性lH(P)是P的上凸函数2.3 离散集的平均互信息离散集的平均互信息量量平均互信息量平均互信息量定义定义(平均互信息量)给定一个二维离散型随机变量(X,Y),(xk,yj),rkj,k=1K;j=1J（因此就给定了两个离散型随机变量X,xk,qk,k=1K和Y,yj,wj,j=1J）。X与Y的平均互信息量定义为如下的I(X;Y)：平均互信息量平均互信息量注意：事件对(xk,yj)的互信息量值为I(xk;yj)。此外，可以定义半平均互信息量I(xk;Y)和I(X;yj)。平均互信息量的性质平均互信息量的性质l非负性 I

10、(X;Y)0l对称性 I(X;Y)=I(Y;X)l平均互信息用熵与条件熵表示l平均互信息与熵的关系:I(X;Y)H(X)or H(Y)l若X是Y的确定的函数X=g(Y)，则I(X;Y)=H(X)H(Y);若Y是X的确定的函数Y=g(X)，则I(X;Y)=H(Y)H(X)。平均互信息量平均互信息量一般印象一般印象（平均互信息量I(X;Y)的各种性质与我们对“互信息量”这个名词的直观理解非常吻合）。一般情形：总有0I(X;Y)minH(X),H(Y)。一种极端情形：若X与Y相互独立，则I(X;Y)=0。另一种极端情形：若X、Y中有一个完全是另一个的确定的函数，则I(X;Y)=minH(X),H(Y

11、)。平均互信息量平均互信息量H(X)H(Y)I(X;Y)H(Y|X)H(X|Y)平均条件互信息与联合互信息平均条件互信息与联合互信息信息处理定理信息处理定理lZ出现情况下，X和Y独立系统1系统2XZY信息处理定理信息处理定理2.4 连续随机变量的互信连续随机变量的互信息和相对熵息和相对熵连续随机变量的互信息连续随机变量的互信息定义定义 给定二维连续型随机变量(X,Y),f(X,Y)(x,y)（因此就给定了两个连续型随机变量X,fX(x)和Y,fY(y)）。事件xX与事件yY的互信息量定义为连续随机变量的平均互信息连续随机变量的平均互信息I(X;Y|Z)I(XY;Z)定义定义 给定二维连续型随机

12、变量(X,Y),f(X,Y)(x,y)（因此就给定了两个连续型随机变量X,fX(x)和Y,fY(y)）。X与Y的平均互信息量定义为 性质性质非负性对称性数据处理定理关系连续随机变量的相对熵连续随机变量的相对熵（连续型随机变量为什么不能类似地定义平均自信息量熵？这是因为，连续型随机变量的事件有无穷多个，每个事件发生的概率无穷小。如果类似地定义熵，则熵是无穷大。因此只能定义所谓“相对熵”，而“相对熵”的直观合理性大打折扣）相对熵的定义相对熵的定义 给定连续型随机变量X,fX(x)。X的相对熵定义为连续随机变量的相对熵连续随机变量的相对熵HC(XY)HC(Y|X)，HC(Y|X)HC(Y)互信息与相

13、对熵I(X;Y)HC(X)HC(X|Y)HC(Y)HC(Y|X)HC(X)+HC(Y)HC(X,Y)HC(X,Y)HC(X)+HC(Y)I(X;Y)均匀随机变量的相对熵均匀随机变量的相对熵例2.5.2 设XU(a,b)，求X的相对熵（我们将发现，X的相对熵未必非负）。正态随机变量的相对熵正态随机变量的相对熵例2.5.3 设XN(m,2)，求X的相对熵（我们将发现，X的相对熵未必非负）。正态随机变量的相对熵正态随机变量的相对熵熵功率相对熵不具有非负性例练习：练习：试求指数分布连续信源的熵试求指数分布连续信源的熵相对熵的极大化相对熵的极大化l1.峰值功率受限l均匀分布相对熵最大：HC(X)log

14、2Ml2.平均功率受限l高斯分布相对熵最大l3.平均功率大于等于熵功率2.5 凸函数与互信息的凸凸函数与互信息的凸性性凸函数凸函数l凸集R：a a，b b属于R，qa a+(1-q)b b也属于R，其中0q1l概率矢量：矢量a a的所有分量非负，且和为1概率矢量全体所构成的区域R是凸的l上凸函数l下凸函数凸函数的性质凸函数的性质1.f(a a)是上凸的，f(a a)是下凸的2.f1(a a),fL(a a)是R上的上凸函数，c1,cL是正数，c1f1(a a)+cLfL(a a)也是上凸函数3.Jensen不等式：f(a a)是上凸函数，Ef(a a)fE(a a),E为求数学期望记离散型随机

15、变量X的事件为1，2，K。记X的概率分布为P(X=k)=qk，k=1K。记离散型随机变量Y的事件为1，2，J。记条件概率P(Y=j|X=k)=p(j|k)。则rkj=P(X,Y)=(k,j)=qkp(j|k)，（概率论中的乘法公式）wj=P(Y=j)=k qkp(j|k)，（概率论中的全概率公式）互信息的凸性互信息的凸性互信息的凸性互信息的凸性设条件概率p(j|k)，k=1K，j=1J被确定。此时I(X;Y)是概率向量q=(q1,q2,qK)的函数。我们希望找到这样的概率向量，使得对应的I(X;Y)达到最大。这就是说，记我们希望找到这样的K维概率向量a=(a1,a2,aK)，使得K-T条件条件

16、lf(a a)是定义域R上的上凸函数，a a是概率矢量。偏导数 存在且连续，f(a a)在R上为极大的 充分必要条件 其中l为一常数。互信息的凸性互信息的凸性p(y|x)给定，I(X;Y)是q(x)的上凸函数q(x)给定，I(X;Y)是p(y|x)的下凸函数互信息的凸性互信息的凸性定理的含义定理的含义 K维概率向量a=(a1,a2,aK)使得当且仅当：以a为X的概率向量的时候，I(X=k;Y)对所有ak0的k都取一个相同的值C；I(X=k;Y)对所有满足ak=0的k都取值不超过上述的相同值C。互信息的凸性互信息的凸性I(X=k;Y)表示什么？表示事件X=k与随机变量Y之间的“半平均互信息量”。

17、互信息的凸性互信息的凸性例例 设X的事件有0、1；Y的事件有0、1；已知p(0|0)=1-u；p(1|0)=u；p(0|1)=u；p(1|1)=1-u。当X服从等概分布（a0=P(X=0)=1/2；a1=P(X=1)=1/2）时，I(X;Y)达到最大。因为此时互信息的凸性互信息的凸性小结小结l信息的度量熵，信息量l熵的极大性l熵，平均互信息的关系l条件熵，联合熵，条件互信息，联合互信息l互信息的凸性l信息处理定理讨论讨论l10个硬币中有一个重量偏轻，其他9个为标准重量。在不用砝码的天平上至多称多少次，就能发现这个轻的硬币？怎样称？用天平称的信息论含义是什么？l世界杯冠军预测方法。l信息论与大数据。