信息的度量讲稿.ppt

《信息的度量讲稿.ppt》由会员分享，可在线阅读，更多相关《信息的度量讲稿.ppt（68页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于信息的度量第一页，讲稿共六十八页哦内容提要：根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。第2章信息的度量第二页，讲稿共六十八页哦2.1 自信息量和互信息量 一个事件的自信息量就是对其不确定性的度量。一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。互信息量则表明了两个随机事件的相互约束程度。对于随机事件集X=x1，x2，xi，xI中的随机事件xi，其出现概率记为q

2、(xi)，将两个事件xi,yj同时出现的概率记为p(xi yj)，则q(xi)，p(xi yj)应满足：相应的条件概率为第三页，讲稿共六十八页哦信息量直观的定义为：收到某消息获得的信息量=不确定性减少的量 将某事件发生所得到的信息量记为I(x)，I(x)应该是该事件发生的概率的函数，即I(x)=fq(x)211自信息量和条件自信息量第四页，讲稿共六十八页哦1自信息量 直观地看，自信息量的定义应满足以下四点：a.I(x)应该是q(x)的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事件如果发生则赋予的信息量小；b.信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和

3、；c.当q(x)=1时，I(x)=0：表示确定事件发生得不到任何信息；d.当q(x)=0时，I(x)：表示不可能事件一旦发生，信息量将无穷大。第五页，讲稿共六十八页哦综合上述条件，将自信息量定义自信息量定义为:(2-1)自信息量的单位与log函数所选用的对数底数有关，如底数分别取 2、e、10，则自信息量单位分别为：比特、奈特、哈特【例例2.3】若盒中有6个电阻，阻值为1、2、3的分别为2个、1个、3个，将从盒子中取出阻值为i的电阻记为事件 （i=1，2，3），则事件集X=x1,x2,x3，其概率分布 计算出各事件的自信息量列表2-1如下：第六页，讲稿共六十八页哦消息xi x1 x2 x3 概

4、率分布q(xi)1/3 1/6 1/2 自信息量I(xi)log3 log6 log2 自信息量自信息量I(xi)代表两种含义代表两种含义：1.事件xi发生以前，表示事件发生的先验不确定性2.当事件xi发生以后，表示事件xi所能提供的最大信息量（在无噪情况下）第七页，讲稿共六十八页哦二维联合集X Y上元素xi yj的联合自信息量I(xi yj)定义为：(2-3)(2-4)2.条件自信息量在已知事件yj条件下,随机事件xi发生的概率为条件概率(xiyj),条件自信息量 定义为：第八页，讲稿共六十八页哦【例例2.6】某住宅区共建有若干栋商品房，每栋有5个单元，每个单元住有12户，甲要到该住宅区找他

5、的朋友乙，若：1.甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到多少信息？2.甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到乙的概率又有多大？他能得到多少信息？用xi代表单元数，yj代表户号：（1）甲找到乙这一事件是二维联合集X Y上的等概分布 ，这一事件提供给甲的信息量为 I(xi yj)=-log p(xi yj)=log60=5.907（比特）（2）在二维联合集X Y上的条件分布概率为 ，这一事件提供给甲的信息量为条件自信息量 I(yjxi)=-logp(yjxi)=log12=3.585（比特）第九页，讲稿共六十八页哦1.互信息量从通信的角度引出互信息量的概念信源符号X=x

6、1，x2，xI，xia1,a2,ak，i=1,2,I。经过信道传输，信宿方接收到符号Y=y1，y2，yJ，yjb1,b2,bD，j=1,2,J。图21简单的通信模型 b1,b2,bD信源符号集a1,a2,ak信宿符号集干扰x1，x2，xIy1，y2，yJ信源信源信道信道信宿信宿212 互信息量和条件互信息量互信息量和条件互信息量第十页，讲稿共六十八页哦事件xi是否发生具有不确定性，用I(xi)度量。接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xiyj)度量。观察事件前后，这两者之差就是通信过程中所获得的信息量，用I(xi;yj)表示：。注：式（2-6）的I(xi；yj)和式

7、（2-3）的I(xiyj)的区别在于：前者是事件xiX和事件yjY之间的互信息量，后者是二维空间XY上元素xi yj 的自信息量。称(2-6)式为事件xi和事件yj之间的互信息量互信息量。（2-6）第十一页，讲稿共六十八页哦根根据据概概率率互互换换公公式式p(xi yj)=p(yjxi)q(xi)=)=(xiyj)()(yj)互信息量互信息量I(xi;yj)有多种表达形式有多种表达形式:(2-7)(2-8)将事件互信息量的概念推广至多维空间：在三维X Y Z联合集中，有：I(xi;yj zk)=I(xi;yj)+I(xi;zkyj)（2-9）类似，在N维U1U2 UN联合空间,有：I(u1;u

8、2u3 uN)=I(u1;u2)+I(u1;u3u2)+I(u1;uiu2 u i-1)+I(u1;uNu2 uN-1)（2-10）第十二页，讲稿共六十八页哦三维X Y Z联合集中，在给定条件zk的情况下,xi,yj的互信息量I(xi;yjzk)定义为：（2-11）2条件互信息量第十三页，讲稿共六十八页哦3互信息量的性质 （1 1）互易性）互易性 I(xi;yj)=I(yj;xi)(2-12)（2）可加性：第十四页，讲稿共六十八页哦（4）互信息量I(xi;yj)可以是正数，也可以是负数。（3）当xi,yj统计独立时，互信息量I(xi;yj)=0及条件互信息量（5）两个事件的互信息量不大于单个事

9、件的自信息量，即有：（2-13）第十五页，讲稿共六十八页哦【例例2.8】信源包含7个消息x0,x1,x2,x3,x4,x5,x6 信源编码器将其对应编成7个三位二进制数000，001,110。各消息的先验概率已知，在接收过程中，每收到一个数字，各消息的后验概率都相应地发生变化。考虑在接受100三个数字的过程中，各后验概率的变化，计算信息量I(x4;100)。信源消息码字消息先验概率消息后验概率收到1后收到10后收到100后x0 0001/16000 x1 0011/16000 x2 0101/16000 x3 0111/16000 x4 1001/22/34/51x5 1011/81/61/5

10、0 x61101/81/600表2-4为7个三位二进制数对应的各种概率。第十六页，讲稿共六十八页哦 根据给定的先验概率，可算出：将各种后验概率的计算结果列于表2-3中，再根据式（2-10）计算出互信息量：I(x4;100)=I(x4;1)+I(x4;01)+I(x4;010)(比特)也可直接计算出：(比特)P (x4100)=1第十七页，讲稿共六十八页哦2 22 2 离散集的平均自信息量离散集的平均自信息量 1平均自信息量(熵)人们注意的是整个系统的统计特性，当信源各个消息的出现概率相互统计独立时，这种信源称为无记忆信源，无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值（统计平均值

11、），即平平均均自信息量自信息量H(X)定义为：（2-15）H(X)的表达式与统计物理学中的热熵具有相类似的形式，在概念上二者也有相同之处，故借用熵这个词把H(X)称为集合X的信息熵信息熵，简称熵。第十八页，讲稿共六十八页哦【例例2.9】计算下列信源的熵（1）信源一：熵 H(X1)=-0.99log0.990.01log0.01=0.08（比特/符号）（2）信源二：等概信源熵 H(X2)=-0.5log0.5-0.5log0.5=1（比特/符号）（3）信源三:等概信源熵 H(X3)=-40.25log0.25=log4=2（比特/符号）第十九页，讲稿共六十八页哦(5)信源五：一般情况下，二元信源

12、的概率分布为 熵 H(X)=log-（1-）log（1-）记H2()=log-（1-）log（1-）H2()与的关系如图2-2所示。（4）信源四：信源为确定事件 熵H(X4)=-0log01log1=0 计算结果说明确定事件的熵为零 H 2 2()()0 0.5 1 图图 2-2 2-2 H2()与与关系关系第二十页，讲稿共六十八页哦2平均条件自信息量(条件熵)（2-16）若事件xi yj的联合分布概率为p(xi yj)，给定yj条件下事件xi的条件自信息量为I(xiyj)，则H(XY)定义为：第二十一页，讲稿共六十八页哦当X,Y统计独立时,p(xi yj)=q(xi)(yj)，(xiyj)=

13、q(xi)，则 从通信角度来看：若将X=x1，x2，xi，视为信源输出符号；Y=y1，y2，yj，视为信宿接收符号；I(xiyj)可看作信宿收到yj后，关于发送的是否为xi仍然存在的疑义度（不确定性），则 反映了经过通信后，信宿符号yj（j=1,2,）关于信源符号xi（i=1,2,）的平均不确定性。（2-17）第二十二页，讲稿共六十八页哦类似，若给定xi条件下事件yj的条件自信息量为I(yjxi)，则H(YX)定义为 （2-18）当X,Y统计独立时，有p(xi yj)=q(xi)(yj)，则 （2-19）存在以下两种极端情况：（1）对于无噪信道H(XY)=0（2）在强噪声情况下，收到的Y与X毫

14、不相干，可视为统计独立，H(XY)=H(X)第二十三页，讲稿共六十八页哦（2）对于强噪信道，有H(YX)=H(Y)。（1）对于无扰信道，有H(YX)=0。从通信角度来看，H(YX)是发出确定消息xi后，由于信道干扰而使yj存在的平均不确定性，称H(YX)为噪声熵（散布度）。存在以下两种极端情况：第二十四页，讲稿共六十八页哦由熵、条件熵、联合熵的定义式可导出三者的关系式 H(X Y)=H(X)+H(YX)=H(Y)+H(XY)（221）H(X Y)=)=H(X)+)+H(Y)(2-22)上式反映了信息的可加性。当X,Y统计独立时，有3 3联合熵联合熵联合熵H(XY)是定义在二维空间X Y上，对元

15、素xi yj的自信息量的统计平均值，若记事件xiyj出现的概率为p(xi yj)，其自信息量为I(xi yj)，则联合熵H(XY)定义为 （2-20）第二十五页，讲稿共六十八页哦1凸集合与凸函数简单介绍凸集和凸函数的概念。定义定义2.12.1 是n维实矢量空间集合R中任意两个n维矢量，对实数，01，有+（1-）R则称R为凸集合凸集合。222熵函数的性质第二十六页，讲稿共六十八页哦图23 一维和二维凸集合的例子凸集合非凸集合 从几何上来看，若，是集合R中的任意两点，+（1-）表示这两点间的连线，若该连线也在集合R中，则称R为凸集。下面给出了几个凸集和非凸集合的例子。第二十七页，讲稿共六十八页哦定

16、定义义2.2设f(x)=f(x1,x2,xn)为一个n元函数，若对任意f(x1),f(x2)f(x)，任意正数，01，有f(x1)+（1-）f(x2)f x1 +（1-）x2(2-23)x0 x1 x1+(1-)x2 x2 图2-4 一元型凸函数f(x1)f(x1)+(1-)f(x2)f x1+(1-)x2f(x)f(x2)则称f(x)为定义域上的型凸函数。一元型凸函数可用图2-4所示的几何图形表示。第二十八页，讲稿共六十八页哦定定义义2.3设f(x)=f(x1,x2,xn)为一个n元函数，若对任意f(x1),f(x2)f(x)，任意正数，01，有f x1 +（1-）x2f(x1)+（1-）f

17、(x2)(2-24)图2-5 一元型凸函数x1 x1+(1-)x2 x2 x f(x1)f x1+(1-)x2f(x1)+(1-)f(x2)f(x)f(x2)则称f(x)为定义域上的型凸函数，一元型凸函数可用图2-5所示的几何图形表示。第二十九页，讲稿共六十八页哦2极大离散熵定理 设信源的消息个数为M，则H(X)logM，等号当且仅当信源X中各消息等概 时成立，即各消息等概分布时，信源熵最大。证明方法一：利用不等式证明方法一：利用不等式log x x -1-1等号在x=1时成立（见图 2-6）图2-6logx x1关系 曲线 x-1logx10 x第三十页，讲稿共六十八页哦上面两种证明方法是信

18、息论中上面两种证明方法是信息论中经常用到的证明方法经常用到的证明方法 证明方法二：利用证明方法二：利用log x的的型凸函数性质型凸函数性质=log1=0 证毕H(X)-logM第三十一页，讲稿共六十八页哦3熵函数的性质（1）对称性对称性集合X=x1，x2，xN 中的各元素x1，x2，xN任意改变其顺序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。例如 和 的熵是相等的。第三十二页，讲稿共六十八页哦 （4）扩展性扩展性：离散事件集 ，增加一个不可能事件xN+1后，得到集合，0，则两个集合的熵相等 （2）非负性非负性：H(X)0 （3）确定性确定性：在集合X=(x1，x2，xN)中

19、，若有一个事件是必然事件，则其余事件必为不可能事件，即该集合的概率分布为 第三十三页，讲稿共六十八页哦（5）可加性可加性：集合X=x1，x2，xi，xi+1，xN的概率分布为：则下式成立：H(X)=H(x1，x2，xi，xi+1，xN)（2-25）（6）条件熵小于等于无条件熵条件熵小于等于无条件熵即：H(XY)H(X)X,Y 统计独立时等号成立。第三十四页，讲稿共六十八页哦（7）联合熵大于等于独立事件的熵，小于等于两独立事件熵之和，即：（2-26）H(XY)H(X)+H(Y)（2-27）第三十五页，讲稿共六十八页哦23离散集的平均互信息量 如果将发送符号与接收符号看成两个不同的“信源”，可通过

20、信道的转移概率来讨论信息的流通问题，一次通信从发送到接收究竟能得到多少信息量呢，这就是本节要讨论的平均互信息量。1平均互信息量平均互信息量定义xi X 和 yj Y之间的互信息量为I(xi;yj)，在集合X上对I(xi;yj)进行概率加权统计平均，可得I(X;yj)为：（2-28）231 平均互信息量平均互信息量第三十六页，讲稿共六十八页哦再将式（2-28）对集合Y进行统计平均，就可以得到平均互信息量 （2-30）当X,Y统计独立时，I(xi;yj)=0，从而I(X;Y)=0 第三十七页，讲稿共六十八页哦【例例2.14】二元等概信源 ，通过信道转移概率为 的信道传输，信宿接收符号Y=y0,y1

21、，计算信源与信宿间的平均互信息量I（X；Y）。（1）先根据 计算出 （2）由 计算后验概率第三十八页，讲稿共六十八页哦 （3）计算各消息之间的互信息量I(xi;yj)（比特）（比特）（比特）（比特）第三十九页，讲稿共六十八页哦（4）计算平均互信息量 （比特）第四十页，讲稿共六十八页哦对上式在三维空间XYZ上求概率加权平均值，就得到平均条件互信息量 （2-31）式中p(xi yj zk)满足2平均条件互信息量 平均条件互信息量I(X;YZ)是在联合概率空间XYZ，p(xyz)上定义的物理量。由式（2-11）知道 第四十一页，讲稿共六十八页哦1 平均互信息量的性质232平均互信息量的性质 (1)非

22、负性非负性：（2-32）(2)互易性互易性：I(X;Y)=I(Y;X)（2-33）由 的对称性可得到。(3)第四十二页，讲稿共六十八页哦I(X;Y)=H（X）-H（XY）(2-35)I(X;Y)=H（Y）-H（YX）(2-36)I(X;Y)=H(X)+H(Y)-H(XY)(2-37)2平均互信息量与信源熵、条件熵的关系平均互信息量与信源熵、条件熵的关系2-7维拉图它们之它们之间的关间的关系可以系可以用维拉用维拉图表示图表示第四十三页，讲稿共六十八页哦 设X为发送消息符号集，Y为接收符号集，H(X)是输入集的平均不确定性,H（XY）是观察到Y后，集X还保留的不确定性，二者之差I(X;Y)就是在接

23、收过程中得到的关于X,Y的平均互信息量。对于无扰信道，I(X;Y)=H(X)。对于强噪信道，I(X;Y)=0。从通信的角度来讨论平均互信息量I(X;Y)的物理意义由第一等式I(X;Y)=H（X）-H（XY）看I(X;Y)的物理意义第四十四页，讲稿共六十八页哦 对于无扰信道，有I(X;Y)=H(X)=H(Y)。对于强噪信道，有H（YX）=H（Y），从而I(X;Y)=0。H(Y)是观察到Y所获得的信息量(即Y的平均不确定性)，H（YX）是发出确定消息X后，由于干扰而使Y存在的平均不确定性，二者之差I(X;Y)就是一次通信所获得的信息量。由第二等式I(X;Y)=H（Y)-H（YX）看I(X;Y)的物

24、理意义第四十五页，讲稿共六十八页哦通信前，随机变量X和随机变量Y可视为统计独立，其先验不确定性为H(X)+H(Y)，通信后，整个系统的后验不确定性为H(XY)，二者之差H(X)+H(Y)-H(XY)就是通信过程中不确定性减少的量，也就是通信过程中获得的平均互信息量I(X;Y)。由第三等式I(X;Y)=H(X)+H(Y)-H(X,Y)看I(X;Y)的物理意义第四十六页，讲稿共六十八页哦【例例2.15】已知信源消息集为X=0,1,接收符号集为Y=0,1，通过有扰信道传输，其传输特性如图2-8所示，这是一个二进制对称信道BSC。已知先验概率,计算平均互信息量I(X;Y)及各种熵。01-0 11-1

25、图2-8 二进制对称信道记 q(x)为信源输入概率；(y)为信宿输出概率；p(yx)为信道转移概率；(xy)为后验概率。第四十七页，讲稿共六十八页哦（1）由图2-8得 ，先算出p(xi yj)=q(xi)p(yjxi)（2）计算 得：第四十八页，讲稿共六十八页哦 （3）计算后验概率，得：（4）计算各种熵及平均互信息量：信源熵信源熵 信宿熵信宿熵 联合熵联合熵 =-20.5(1-)log0.5(1-)-20.5log0.5 =log2-(1-)log(1-)-log=log2+H2()式中：第四十九页，讲稿共六十八页哦散布度散布度 =-p(00)logp(00)-p(01)logp(10)-p(

26、10)logp(01)-p(11)logp(11)=-20.5(1-)log(1-)-20.5log=H2()可疑度可疑度=-p(00)log(00)-p(01)log(01)-p(10)log(10)-p(11)log(11)=-20.5(1-)log(1-)-20.5log=H2()平均互信息量 I(X;Y)=H(X)+H(Y)-H(XY)=log2+H2()第五十页，讲稿共六十八页哦研究通信问题，主要研究的是信源和信道，它们的统计特性可以分别用消息先验概率q(x)及信道转移概率p(yx)来描述，而平均互信息量I(X;Y)是经过一次通信后信宿所获得的信息。由式（2-30）知道，平均互信息量

27、定义平均互信息量定义为：（2-38）233有关平均互信息量的两条定理上上式式说说明明I(X;Y)是是信信源源分分布布概概率率q(x)和和信信道道转转移移概概率率p(yx)的的函函数数，下下面面两两条条定定理理阐阐明明了了I(X;Y)与与q(x)和和p(yx)之间的关系。之间的关系。第五十一页，讲稿共六十八页哦定定理理2.1 当信道给定，即信道转移概率p(yx)固定，平均互信息量I(X;Y)是信源概率分布q(x)的型凸函数。两个信源分布q1(x)和q2(x)，分别对应平均互信息量I1(X;Y)和I2(X;Y)，记概率分布q(x)=q1(x)+(1-)q2(x)（式中0 1），对应平均互信息量I(

28、X;Y)，若I(X;Y)是型凸函数，则应满足：I1(X;Y)+(1-)I2(X;Y)I(X;Y)（2-39）式(2-39)表示：函数的均值小于等于均值的函数，见图2-9 图2-9函数的均值均值的函数q1 q1+(1-)q2 q2 q(x)I(q1)+(1-)I(q2Iq(x)I q1+(1-)q2第五十二页，讲稿共六十八页哦【例例2.16】二进制对称信道BSC如图2-10所示，输入符号集X=x1,x2=0,1，输出符号集Y=y1,y2=0,1，信道转移概率矩阵 ，信源分布为：，计算平均互信 息量 I(X;Y)=H（Y）-H（YX）定理2.1说明，信道固定时，对于不同的信源分布，信道输出端获得的

29、信息量是不同的。因此，对于每一个固定信道，一定存在一种信源（一种分布）q(x)，使输出端获得的信息量最大。0 1-0 11-1 图2-10 二进制对称信道第五十三页，讲稿共六十八页哦先由 算出：(0)=q(0)p(00)+q(1)p(01)=(1-)+(1-)(1)=1-(0)再计算熵和条件熵=H2(1-)+(1-)=-(1-)log(1-)-log=H2()第五十四页，讲稿共六十八页哦则平均互信息量I(X;Y)=H（Y)-H（YX）=H2(1-)+(1-)-H2()当信道固定，即 为恒值，则I(X;Y)是的函数，其曲线如下图2-11所示。当=0.5时,I(X;Y)取得极大值，其值为log2-

30、H2(),这种情况对应等概分布,信源的平均不确定性最大.当=0或1时，这是确定信源的情况，通信得不到任何信息，即I(X;Y)=0。图2-11为恒值时的I(X;Y)曲线0 0.5 1log2-H2()I(X;Y)第五十五页，讲稿共六十八页哦定定理理2.2 当信源给定，即信源分布概率q(x)固定，平均互信息量I(X;Y)是信道转移概率p(yx)的型凸函数。在信源固定的情况下，如果给定两个信道转移概率p1(yx)和p2(yx)，它们分别对应平均互信息量I1(X;Y)和I2(X;Y)，记信道转移概率p(yx)=p1(yx)+(1-)p2(yx)(式中（01），对应平均互信息量I(X;Y)，若I(X;Y

31、)是p(yx)的型凸函数，则应满足：I(X;Y)I1(X;Y)+(1-)I2(X;Y)（2-40）第五十六页，讲稿共六十八页哦式(2-40)表示：均值的函数小于等于函数的均值，如图2-12所示。定理2.2说明，信源固定以后，用不同的信道来传输同一信源符号时，在信道输出端获得的信息量是不同的。可见，对每一种信源一定存在一种最差的信道，此信道的干扰最大，而使输出端获得的信息量最小。图2-12函数的均值均值的函数 p1 p1+(1-)p2 p2 I p1+(1-)p2 I(p1)+(1-)I(p2)第五十七页，讲稿共六十八页哦24 N维扩展信源的熵和平均互信息量信源输出序列为x=x1xi xN，xi

32、a0,a1,ak-1，记 x=x1x2xN的概率分布为q(x)，则信源熵为 (2-41)241 N维扩展信源的熵维扩展信源的熵 下面分两种情况来考虑：1信源离散无记忆按式(2-41)可计算出该信源的熵：（242）第五十八页，讲稿共六十八页哦2信源离散有记忆在信源输出符号相互有关连的情况下，信源输出序列x=x1x2xN 的概率为p(x)=p(x1)p(x2x1)p(x3x1x2)p(xNx1x2xN-1)，相应可以计算出其信源熵H(X)=H(X1)+H(X2X1)+H(X3X1X2)+H(XNX1X2XN-1)记为：（2-44）根据熵的性质(6)，条件熵小于等于无条件熵，即有 （2-45）熵的链

33、规则熵的链规则第五十九页，讲稿共六十八页哦将式(2-45)代入式(2-44)得：（2-46）等号在信源无记忆（统计独立）时成立。H(X)N H(X)(2-49)等号在信源无记忆时成立对于平稳信源第六十页，讲稿共六十八页哦先看二维情况：I(X;Y1Y2)=I(X;Y1)+I(X;Y2Y1)（2-50）242 N维扩展信源的平均互信息维扩展信源的平均互信息量量 类似推广到三维，则有：I(X;Y1Y2Y3)=I(X;Y1)+I(X;Y2Y1)+I(X;Y3Y1Y2)推广到N维矢量的情况，则有I(X;Y)=I(X;Y1)+I(X;Y2Y1)+I(X;YNY1Y2 YN-1)记为：（2-51）平均互信息

34、量的链规则平均互信息量的链规则第六十一页，讲稿共六十八页哦 对于复合事件的平均互信息量，下式成立：（2-52）上式说明复合事件的信息量大于单个事件的信息量。第六十二页，讲稿共六十八页哦定定理理2.3 如果信源离散无记忆，即信源输出序列x=x1x2xN中各xi(i=1,2,N)统计独立，则信道输入、输出符号序列间的平均互信息量I（X；Y）大于等于各单个符号间平均互信息量的总和，即有 （2-55）等号成立的条件这个条件意味着要求信道也是离散无记忆的。243有关N维平均互信息量的两条定理第六十三页，讲稿共六十八页哦定定理理2.4 若信道离散无记忆，则信道输入、输出符号序列间的平均互信息量I（X；Y）

35、小于等于各单个符号间平均互信息量的总和，即有 （2-57）等号成立的条件 ，即要求信宿是离散无记忆的，这在离散无记忆信道传输条件下，说明信源分布是离散无记忆的。第六十四页，讲稿共六十八页哦1.本章主要阐述了对各种信息量的度量，主要内容如下：（1）信息量I(xi)=-log q(xi)对自信息量求统计均值，得到熵（2）条件自信息量I(xiyj)=-log(xiyj)对I(xiyj)求统计均值，得到条件熵（3）条件自信息量I(yjxi)=-logp(yjxi)对I(yjxi)求统计均值，得到条件熵本本 章章 小小 结结第六十五页，讲稿共六十八页哦 （5）二个事件之间的互信息 对I(xi；yj)求统

36、计均值，得到平均互信息量I(X;Y)=H(X)H(XY)=H(Y)H(YX)=H(X)+H(Y)-H(XY)2.前面针对个别事件的各种信息量，可看作是一过渡物理量，我们关心的还是它们所对应的统计平均值，上面列出的5个有关信息量的统计平均值，可用维拉图帮助理清他们之间的关系。（4）二维联合空间的自信息量I(xi yj)=-log p(xi yj)对I(xi yj)求统计均值，得到联合熵第六十六页，讲稿共六十八页哦 1极大熵定理 2定理2.1信道给定，I（X；Y）是信源的型凸函数3定理2.2信源给定，I（X；Y）是信道的型凸函数3.本章介绍了三个重要定理，请予关注：第六十七页，讲稿共六十八页哦感谢大家观看9/26/2022第六十八页，讲稿共六十八页哦