第二章信息的统计度量精选PPT.ppt

第二章信息的统计度量第1页，本讲稿共45页第2页，本讲稿共45页Log(xy)=logx+logyLog(x/y)=logx-logy中学数学知识2.1 自信息和条件自信息量2.1.12.1.1自信息量自信息量定义定义2.1.12.1.1任意随机事件的字信息量的定任意随机事件的字信息量的定义为该事件发生概率的对数的负值。义为该事件发生概率的对数的负值。第3页，本讲稿共45页n自信息量自信息量 I(xI(xi i)的含义的含义n当事件当事件 x xi i发生以前，表示事件发生以前，表示事件x xi i发生的不确定性；发生的不确定性；n当事件当事件 x xi i发生以后，表示事件发生以后，表示事件x xi i所提供的信息量；所提供的信息量；第4页，本讲稿共45页对于单个消息随机变量对于单个消息随机变量U U，出现某个消息，对应概率为出现某个消息，对应概率为 ，这时可获得的信息量为这时可获得的信息量为 ，则有：，则有：注：注：I I自信息自信息解释解释：小概率事件，一当出现必然使人感到意外，因此产生的信息小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。一鸣惊人。大概率事件，是预料之中的，即使发生，也没什么信息量，大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。特别是当必然事件发生了，它不会给人以任何信息量。第5页，本讲稿共45页n自信息量的单位自信息量的单位n自信息量的单位取决于对数的底；自信息量的单位取决于对数的底；n底为底为2 2，单位为，单位为“比特（比特（bitbit）”；n底为底为e e，单位为单位为“奈特（奈特（natnat）”；n底为底为1010，单位为，单位为“哈特（哈特（hathat）”；n1 nat=1.44bit,1 hat=3.32 bit1 nat=1.44bit,1 hat=3.32 bit；第6页，本讲稿共45页自信息量自信息量I(aI(ai i)的性质的性质I(aI(ai i)是非负值；是非负值；当当P(aP(ai i)=1=1时，时，I(aI(ai i)=0)=0；当当P(aP(ai i)=0=0时，时，I(aI(ai i)=)=；I(aI(ai i)是是P(aP(ai i)的单调递减函数的单调递减函数第7页，本讲稿共45页n例：从例：从2626个英文字母中，随即选取一个字母，个英文字母中，随即选取一个字母，则该事件的自信息量为则该事件的自信息量为 I=-logI=-log2 2(1/26)=4.7 (1/26)=4.7 比特比特n例：设例：设m m比特的二进制数中的每一个是等概率比特的二进制数中的每一个是等概率出现的出现的(这样的数共有这样的数共有2 2m m个个)，则任何一个数出，则任何一个数出现的自信息为现的自信息为:I=-logI=-log2 2(1/2(1/2m m)=m)=m 比特比特/符号符号计算信息量主要要注意有关事件发生概率的计算计算信息量主要要注意有关事件发生概率的计算第8页，本讲稿共45页联合自信息量联合自信息量定义定义2.1.22.1.2二维联合集二维联合集XYXY上的元素（上的元素（xy)xy)的联合自信息量定义为的联合自信息量定义为第9页，本讲稿共45页2.1.22.1.2条件自信息量条件自信息量定义定义2.1.32.1.3联合集联合集XYXY中，对事件中，对事件x xi i和和y yj j，事件事件x xi i 在在事件事件y yj j给定的条件下的条件自信息量定义为给定的条件下的条件自信息量定义为在特定条件下在特定条件下(已定已定)随机事件发生所带来的信随机事件发生所带来的信息量息量条件自信息量满足非负和单调递减性。条件自信息量满足非负和单调递减性。第10页，本讲稿共45页例例:甲在一个甲在一个8*88*8的的 方格盘上随意放入一个方格盘上随意放入一个 棋子，在乙看来是不确定的。棋子，在乙看来是不确定的。(1)(1)在乙看来，棋子落入某方格的不确定在乙看来，棋子落入某方格的不确定性为多少？性为多少？（2 2）若甲告知乙棋子落入方格的行号，）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定这时，在乙看来棋子落入某方格的不确定性为多少？性为多少？第11页，本讲稿共45页联合自信息量和条件自信息量关系联合自信息量和条件自信息量关系当当X X和和Y Y独立时，独立时，第12页，本讲稿共45页2.22.2互信息量和条件互信息量互信息量和条件互信息量2.2.12.2.1互信息量互信息量信源信源信道信道信宿信宿X XY Y信源集合信源集合X X的概率空间的概率空间XP=x1 x2 .p(x1)p(x2).第13页，本讲稿共45页YP=y1 y2 .p(y1)p(y2).信宿收到的符号集合信宿收到的符号集合Y Y的概率空间的概率空间定义定义2.2.12.2.1对两个离散随机事件集对两个离散随机事件集X X和和Y Y，事件事件y yj j的出现给出关于事件的出现给出关于事件x xi i的信息量，的信息量，定义为互信息量。定义为互信息量。用用 表示，即表示，即第14页，本讲稿共45页互信息量等于自信息量减去条件自信息量。互信息量等于自信息量减去条件自信息量。第三种表达方式：第三种表达方式：2.2.22.2.2互信息量的性质互信息量的性质1 1、互信息量的互易性，即、互信息量的互易性，即I(xI(xi i;y;yj j)=I(y)=I(yj j;x;xi i)2 2、当、当X X和和Y Y相互独立时，互信息为相互独立时，互信息为0 0第15页，本讲稿共45页3 3、互信息量可为正值或负值、互信息量可为正值或负值4 4、任何两个事件之间的互信息量不可能大于、任何两个事件之间的互信息量不可能大于之中任一事件的自信息量之中任一事件的自信息量第16页，本讲稿共45页自信息、条件自信息和互信息I(xk)I(yj)I(xk;yj)第17页，本讲稿共45页2.2.3 2.2.3 条件互信息量条件互信息量定义定义2.2.22.2.2联合集合联合集合XYZXYZ中，给定条件中，给定条件z zk k的条件的条件下，下，x xi i与与y yj j之间的互信息量，其定义式之间的互信息量，其定义式另外，联合集合另外，联合集合XYZXYZ中还存在中还存在x xi i与与y yj jz zk k之之间的互信息量，其定义式间的互信息量，其定义式第18页，本讲稿共45页或将上式进一步表示为或将上式进一步表示为思考下式的证明思考下式的证明上式表明一对事件上式表明一对事件y yj jz zk k出现后提供有关出现后提供有关x xi i的信的信息量息量I I（x xi i;y;yj jz zk k),),等于事件等于事件y yj j出现后所提供的出现后所提供的有关有关x xi i的信息量的信息量I I（x xi i;y;yj j)加上在给定时间加上在给定时间y yj j的的条件下再出现事件条件下再出现事件z zk k所提供的有关所提供的有关x xi i的信息量。的信息量。第19页，本讲稿共45页 一个离散随机变量一个离散随机变量X X，以不同的取值概率有以不同的取值概率有N N个可能取值个可能取值,X XP P（x x）a a1 1 a a2 2 a aN Np p1 1 p p2 2 p pN N信息论关心：信息论关心：X X的的不确定性不确定性不确定性大，获取的信息多不确定性大，获取的信息多2.32.3离散集的平均自信息量离散集的平均自信息量第20页，本讲稿共45页熵的引入熵的引入箱内箱内100100个球摸到红球不确定性分析：个球摸到红球不确定性分析：随机变量随机变量X X、Y Y、Z ZX XP P（x x）a a1 1 a a2 2 0.99 0.01 0.99 0.01Z ZP P（z z）a a1 1 a a2 2 a a3 3 a a4 4 a a5 50.2 0.2 0.2 0.2 0.20.2 0.2 0.2 0.2 0.2Y YP P（y y）a a1 1 a a2 2 0.5 0.5 0.5 0.5问题：能否度量、如何度量？问题：能否度量、如何度量？小小大大9999个红球，个红球，1 1个黑球个黑球5050个红球，个红球，5050个黑球个黑球2020个红球，其它个红球，其它4 4种种颜色各颜色各2020个个第21页，本讲稿共45页2.3.12.3.1平均自信息量（熵）平均自信息量（熵）通常研究单独一个事件或单独一个符号的信息量是通常研究单独一个事件或单独一个符号的信息量是不够的，往往需要研究整个事件集合或符号序列不够的，往往需要研究整个事件集合或符号序列(如如信源信源)的平均的信息量的平均的信息量(总体特征总体特征)，这就需要引入新，这就需要引入新的概念的概念-平均自信息量平均自信息量定义定义2.3.12.3.1集集X X上，随机变量上，随机变量I I（x xi i)数学期望数学期望定义为定义为平均自信息量平均自信息量第22页，本讲稿共45页由于这个表达式和统计物理学中热熵的表由于这个表达式和统计物理学中热熵的表达式相似，且在概念上也有相似之处，因达式相似，且在概念上也有相似之处，因此借用此借用“熵熵”这个词，把这个词，把H(X)H(X)称为信息称为信息“熵熵”；熵函数的自变量是熵函数的自变量是X,X,表示信源整体表示信源整体信息熵的单位与公式中的对数取底有关。通信与信息中最常信息熵的单位与公式中的对数取底有关。通信与信息中最常用的是以用的是以2 2为底，这时单位为比特（为底，这时单位为比特（bitbit）；）；理论推导中用理论推导中用以以e e为底较方便，这时单位为奈特（为底较方便，这时单位为奈特（NatNat）；）；工程上用以工程上用以1010为底较方便，这时单位为笛特（为底较方便，这时单位为笛特（DetDet）。）。它们之间可以引它们之间可以引用对数换底公式进行互换。比如：用对数换底公式进行互换。比如：1 1 bit=0.693 Nat=0.301 Detbit=0.693 Nat=0.301 Det第23页，本讲稿共45页熵的计算熵的计算例：设某信源输出四个符号，其符号集合的概率分例：设某信源输出四个符号，其符号集合的概率分布为：布为：则其熵为：则其熵为：第24页，本讲稿共45页熵是从整个集合的统计特性来考虑的，它是从熵是从整个集合的统计特性来考虑的，它是从平均意义上来表征集合的总体特征的。平均意义上来表征集合的总体特征的。熵表示事件集合中事件发生后，每个事件提熵表示事件集合中事件发生后，每个事件提供的平均信息量；供的平均信息量；熵表示事件发生前，集合的平均不确定性；熵表示事件发生前，集合的平均不确定性；例：有例：有2 2个集合，其概率分布分别为：个集合，其概率分布分别为：分别计算其熵，则：分别计算其熵，则：H(X)=0.08 bit/H(X)=0.08 bit/符号符号,H(Y)=1bit/H(Y)=1bit/符号符号第25页，本讲稿共45页2.3.22.3.2熵函数的数学特性熵函数的数学特性3 3、扩展性、扩展性:当某事件当某事件E Ek k的概率的概率P Pk k稍微变化时，稍微变化时，H H函函数也只作连续的不突变的变化；数也只作连续的不突变的变化；1 1、对称性、对称性:熵函数对每个熵函数对每个P Pk k 对称的。该性质说明对称的。该性质说明熵只与随机变量的总体结构有关，与事件集合的熵只与随机变量的总体结构有关，与事件集合的总体统计特性有关；总体统计特性有关；2 2、非负性、非负性:H H（P P）=H(p=H(p1 1,p,p2 2,p,pq q)=0)=0；第26页，本讲稿共45页5 5、极值性：当所有事件等概率出现时，平均不确定性极值性：当所有事件等概率出现时，平均不确定性最大，从而熵最大，即：最大，从而熵最大，即：4 4、可加性：如果有两个随机变量可加性：如果有两个随机变量X,Y,他们不是相互他们不是相互独立的，则二维随机变量（独立的，则二维随机变量（X,Y)的熵等于的熵等于X的无条的无条件熵加上当件熵加上当X已给定时已给定时Y的条件概率定义的熵统计的条件概率定义的熵统计平均值，即平均值，即第27页，本讲稿共45页6 6、确定性：、确定性：即即H(1,0)=H(1,0,0)=H(1,0,0,0)=0H(1,0)=H(1,0,0)=H(1,0,0,0)=0，即当某一即当某一事件为确定事件时，整个事件集合的熵为事件为确定事件时，整个事件集合的熵为0 0；7 7、上凸性：上凸性：第28页，本讲稿共45页条件熵条件熵2.3.32.3.3条件概率条件概率并且并且当已知特定事件当已知特定事件 y yj j 出现时，下一个出现的是出现时，下一个出现的是 x xi i 的的不确定性为：不确定性为：对集合对集合 X X 中所有元素统计平均，其熵为：中所有元素统计平均，其熵为：第29页，本讲稿共45页上述熵值再对集合上述熵值再对集合Y Y中的元素做统计平均，得条件中的元素做统计平均，得条件熵：熵：同理可得：同理可得：第30页，本讲稿共45页定义定义2.3.32.3.3联合集联合集XYXY上，条件自信息量上，条件自信息量I(y|x)I(y|x)的概率加的概率加权平均值定义为条件熵权平均值定义为条件熵。在已知随机变量在已知随机变量Y Y的条件下，的条件下，随机变量随机变量X X的条件熵定义为：的条件熵定义为：条件熵是一个确定值，表示信宿在收到条件熵是一个确定值，表示信宿在收到Y Y后，信源后，信源X X仍然仍然存在的不确定度。这是传输失真所造成的。有时称存在的不确定度。这是传输失真所造成的。有时称H(X/Y)H(X/Y)为信道疑义度，也称损失熵。为信道疑义度，也称损失熵。称条件熵称条件熵H(Y/X)H(Y/X)为噪声熵为噪声熵第31页，本讲稿共45页定义定义2.3.42.3.4联合离散符号集合联合离散符号集合XYXY上的每个元素上的每个元素对对x xi iy yj j的联合自信息量的数学期望。是二元的联合自信息量的数学期望。是二元随机变量不确定性的度量。随机变量不确定性的度量。2.3.42.3.4联合熵（共熵）联合熵（共熵）定义式为定义式为第32页，本讲稿共45页2.3.52.3.5各种熵的性质各种熵的性质1 1、联合熵与信息熵、条件熵的关系联合熵与信息熵、条件熵的关系当当X,YX,Y相互独立时，有：相互独立时，有：第33页，本讲稿共45页于是有：于是有：理解：理解：当随机变量相互独立时，其联合熵等于单个随机当随机变量相互独立时，其联合熵等于单个随机变量的熵之和，而条件熵等于无条件熵变量的熵之和，而条件熵等于无条件熵。2 2、共熵与信息熵的关系共熵与信息熵的关系当当X,YX,Y相互独立时等式成立相互独立时等式成立第34页，本讲稿共45页3 3、条件熵与信息熵的关系条件熵与信息熵的关系2.3.62.3.6加权熵加权熵设有随机变量设有随机变量X，引入时间的重量后，其概率空引入时间的重量后，其概率空间为间为XPW=x1 x2 xnp(x1)p(x2)p(xn)W1 W2 Wn 定义定义2.3.52.3.5离散无记忆信源离散无记忆信源 X P WX P W的加权的加权熵定义为熵定义为第35页，本讲稿共45页加权熵的性质加权熵的性质性质性质1：非负性：非负性HW(X)=0性质性质2：若权重：若权重W1=W2=Wn=W则则 HW(X)=WH(X)性质性质3：确定性：确定性若若pj=p(xj)=1,而而pi=p(xi)=0(i=1,2,n；i不等于不等于j),则则HW(X)=0性质性质4：若：若,而而I,J为样本空间，并且为样本空间，并且加权熵为零，即加权熵为零，即HW（X)=0第36页，本讲稿共45页2.42.4平均互信息量平均互信息量互信息量互信息量 是定量地研究信息流通问题的重是定量地研究信息流通问题的重要基础。但它只能定量地描述输入随机变量发出要基础。但它只能定量地描述输入随机变量发出某个具体消息某个具体消息 ，输出变量出现某一个具体消，输出变量出现某一个具体消息息 时，流经信道的信息量；此外时，流经信道的信息量；此外 还是还是 随随 和和 变化而变化的随机变量。变化而变化的随机变量。互信息量不能从整体上作为信道中信息流通的测互信息量不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发，在平均度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息意义上度量每通过一个符号流经信道的平均信息量。量。定义互信息量定义互信息量 在联合概率空间在联合概率空间 中的统计平均值为中的统计平均值为Y Y对对X X的平均互信息量，简称平的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。均互信息，也称平均交互信息量或交互熵。第37页，本讲稿共45页xiyj信道p(xi):发送端发送 xi 的概率；P(xi|yj):接收端收到 yj 后，发送端发送 xi 的概率X,P表示输入端概率空间Y,P表示输出端概率空间XY,P(xy)表示二维联合概率空间第38页，本讲稿共45页当当x xi i,y,yj j相互独立时相互独立时第39页，本讲稿共45页2.4.22.4.2平均条件互信息量平均条件互信息量定义定义2.4.12.4.1在联合集在联合集XYXY上，由上，由y yj j提供的关于集提供的关于集X X的平均条件互信息量等于由的平均条件互信息量等于由y yj j所提供的互信息量所提供的互信息量I I（x xi i;y;yj j）在整个在整个X X中以后验概率加权的平均值，中以后验概率加权的平均值，其定义式为其定义式为定理定理2.4.12.4.1在联合集在联合集XYXY上的平均条件互信息量有上的平均条件互信息量有I I（X;yX;yj j）=0,=0,当且仅当当且仅当X X集中的各个集中的各个x xi i都与事件都与事件y yj j互互相独立时，等号成立。相独立时，等号成立。第40页，本讲稿共45页定义定义2.4.22.4.2互信息量互信息量I(X;yj)I(X;yj)在整个集在整个集Y Y上的概率上的概率加权平均值。加权平均值。2.4.22.4.2平均互信息量平均互信息量平均互信息的物理意义：从三种不同角度说明从一个平均互信息的物理意义：从三种不同角度说明从一个事件获得另一个事件的平均互信息需要消除不确定度，事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。此即一旦消除了不确定度，就获得了信息。此即“信息就信息就是负熵是负熵”第41页，本讲稿共45页2.4.32.4.3平均互信息量的性质平均互信息量的性质1 1、非负性：非负性：3 3、平均互信息和各类熵的关系：、平均互信息和各类熵的关系：2 2、对称性：、对称性：第42页，本讲稿共45页4 4、极值性：、极值性：5 5、凸函数性、凸函数性平均互信息量平均互信息量I(X;Y)I(X;Y)是输入信源概率分布是输入信源概率分布p p（x xi i)的上凸函数，研究信道容量的理论基础。的上凸函数，研究信道容量的理论基础。（等概率时）（等概率时）平均互信息量平均互信息量I(X;Y)I(X;Y)是输道转移概率是输道转移概率p(yp(yj j/x/xi i)的下凸函数，研究信源的信息率失真函的下凸函数，研究信源的信息率失真函数的理论基础。（独立时）数的理论基础。（独立时）第43页，本讲稿共45页 名称名称 符号符号 关关 系系 图图 示示 无无 条条 件件 熵熵 条条 件件 熵熵 条条 件件 熵熵 联联 合合 熵熵 交交 互互 熵熵第44页，本讲稿共45页第45页，本讲稿共45页