信息论第二章信息的度量教案资料.ppt

《信息论第二章信息的度量教案资料.ppt》由会员分享，可在线阅读，更多相关《信息论第二章信息的度量教案资料.ppt（89页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论第二章信息的度量内容提要：根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。第第2章章信息的度量信息的度量1自信息量自信息量 直观地看，自信息量的定义应满足以下四点：直观地看，自信息量的定义应满足以下四点：a.I(x)应该是应该是q(x)的单调递减函数：概率小的的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事事件一旦发生赋予的信息量大，概率大的事件如果发生则赋予的信息量小；件如果发生则赋予

2、的信息量小；b.b.信息量应具有可加性：对于两个独立事件，信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和；其信息量应等于各事件自信息量之和；c.c.当当q(x)=1时，时，I(x)=0：表示确定事件发生得：表示确定事件发生得不到任何信息；不到任何信息；d.d.当当q(x)=0时，时，I(x)：表示不可能事件一表示不可能事件一旦发生，信息量将无穷大。旦发生，信息量将无穷大。综合上述条件，将综合上述条件，将自信息量定义自信息量定义为为:(2-1)(2-1)自信息量的单位与自信息量的单位与log函数函数所选用的对数底数有关，所选用的对数底数有关，如底数分别取如底数分别取 2

3、2、e e、10 10，则自信息量单位分别为：比特、奈特、哈特则自信息量单位分别为：比特、奈特、哈特一个以等概率出现的二进制码元一个以等概率出现的二进制码元(0,1)(0,1)所包含的自信息量为所包含的自信息量为1bit1bit。【例例2.3】若若盒盒中中有有6 6个个电电阻阻，阻阻值值为为1、2、3的的分分别别为为2个个、1个个、3个个，将将从从盒盒子子中中取取出出阻阻值值为为i的的电电阻阻记记为为事事件件 （i=1，2，3），），则事件集则事件集X=x1,x2,x3，其概率分布其概率分布 计算出各事件的自信息量列表计算出各事件的自信息量列表2-12-1如下：如下：消息消息xi x1 x2

4、x3 概率分概率分布布q(xi)1/3 1/6 1/2 自信息自信息量量I(xi)log3 log6 log2 自信息自信息量具有下列性质量具有下列性质:图图2.1 对数曲线对数曲线1是非负值是非负值。23的的单调递减单调递减函数。函数。4自信息量自信息量自信息量自信息量I(xi)代表两种含义代表两种含义：1.1.事件事件xi发生以前，表示事件发生的先验不确定性发生以前，表示事件发生的先验不确定性2.2.当事件当事件xi发生以后，表示事件发生以后，表示事件xi所能提供的最大所能提供的最大信息量（在无噪情况下）信息量（在无噪情况下）二维联合集二维联合集X Y上元素上元素xi yj的联合自信息量的

5、联合自信息量I(xi yj)定义为：定义为：(2-3)2.2.联合自信息量联合自信息量其中),2,1;,2,1(1)(0mjnibapjiLL=3.条件自信息量条件自信息量 在在已已知知事事件件yj条条件件下下,随随机机事事件件xi发发生生的的概概率率为为条条件件概概率率(xiyj),条件自信息量条件自信息量 定义为：定义为：(2-(2-5)5)代入式代入式自信息量的公式自信息量的公式就有就有 联合自信息量和条件自信息也满足联合自信息量和条件自信息也满足非负非负和和单调单调递减递减递减递减性性 ，同时，它们也都是随机变量，同时，它们也都是随机变量。自信息量、条件自信息量和联合自信息量之自信息量

6、、条件自信息量和联合自信息量之间有如下关系式：间有如下关系式：4.联合自信息量和条件自信息量间的关系联合自信息量和条件自信息量间的关系【例例2.6】某某住住宅宅区区共共建建有有若若干干栋栋商商品品房房，每每栋栋有有5个个单单元元，每每个个单元住有单元住有12户，甲要到该住宅区找他的朋友乙，若：户，甲要到该住宅区找他的朋友乙，若：1.甲甲只只知知道道乙乙住住在在第第5栋栋，他他找找到到乙乙的的概概率率有有多多大大？他他能能得得到到多少信息？多少信息？2.甲甲除除知知道道乙乙住住在在第第5栋栋外外，还还知知道道乙乙住住在在第第3单单元元，他他找找到到乙的概率又有多大？他能得到多少信息乙的概率又有多

7、大？他能得到多少信息？用用xi代表单元数，代表单元数，yj代表户号：代表户号：（1 1）甲甲 找找 到到 乙乙 这这 一一 事事 件件 是是 二二 维维 联联 合合 集集 X Y上上 的的 等等 概概 分分 布布 ，这一事件提供给甲的信息量为，这一事件提供给甲的信息量为 I(xi yj)=-)=-log p(xi yj)=log60=5.907（比特）比特）（2 2）在在二二维维联联合合集集X Y上上的的条条件件分分布布概概率率为为 ，这这一一事件提供给甲的信息量为条件自信息量事件提供给甲的信息量为条件自信息量 I(yjxi)=-)=-logp(yjxi)=log12=)=log12=3.58

8、5（比特）比特）1.互信息量互信息量信信源源符符号号X=x1，x2，xI，xi a1,a2,ak，i=1,.,I。信信 宿宿 方方 接接 收收 到到 符符 号号 Y=y1，y2，yJ，yj b1,b2,bD，j=1,2,J J。图21简单的通信模型x1，x2，xIy1，y2，yJ信源符号集信源符号集 a1,a2,ak 信源信源 b1,b2,bD 信宿符号集信宿符号集干扰干扰信道信道信宿信宿212互信息量和条件互信息量互信息量和条件互信息量 事件事件xi是否发生具有不确定性，用是否发生具有不确定性，用I(xi)度量。度量。接接收收到到符符号号yj后后，事事件件xi是是否否发发生生仍仍保保留留有有

9、一一定定的的不不确确定定性，用性，用I(xiyj)度量。度量。观观察察事事件件前前后后，这这两两者者之之差差就就是是通通信信过过程程中中所所获获得得的的信信息息量，用量，用I(xi;yj)表示：表示：。注：式（注：式（2-6）的）的I(xi；yj)和式（和式（2-3）的）的I(xiyj)的区别在的区别在于：于：前者是事件前者是事件xiX和事件和事件yjY之间的互信息量，之间的互信息量，后者是二维空间后者是二维空间XY上元素上元素xi yj 的自信息量。的自信息量。称称(2-6)式为事件式为事件xi和事件和事件yj之间的之间的互信息量互信息量。（2-6）根根据据概概率率互互换换公公式式p(xiy

10、j)=p(yjxi)q(xi)=)=(xiyj)()(yj)互信息量互信息量I(xi;yj)有多种表达形式有多种表达形式:(2-7)(2-7)(2-8)(2-8)先验不定度（联合自信息量）发送发送接收接收物理解释：物理解释：通信前通信前通信前通信前后验不定度 通信后发送发送接收接收这样，通信后流经信道的信息量，这样，通信后流经信道的信息量，等于通信前后不定度的差等于通信前后不定度的差将事件互信息量的概念推广至多维空间：将事件互信息量的概念推广至多维空间：在三维在三维X Y Z联合集中，有：联合集中，有：I(xi;yj zk)=)=I(xi;yj)+)+I(xi;zkyj)（2-92-9）类似，

11、在类似，在N维维U1U2 UN联合空间联合空间,有：有：I(u1;u2u3 uN)=I(u1;u2)+I(u1;u3u2)+I(u1;uiu2 u i-1)+I(u1;uNu2 uN-1)（2-10）三维三维X Y Z联合集中，在给定条件联合集中，在给定条件zk的情况下的情况下,xi,yj的互信息量的互信息量I(xi;yjzk)定义为：定义为：（2-11）2 2条件互信息量条件互信息量3 3互信息量的性质互信息量的性质 （1 1）互易性）互易性 对称性对称性 I(xi;yj)=I(yj;xi)(2-12)（2 2）可加性：）可加性：（4）互信息量互信息量I(xi;yj)可以是正数，也可以是可以

12、是正数，也可以是负负数。数。（3 3）当）当xi,yj统计独立时，互信息量统计独立时，互信息量I(xi;yj)=0及条件互及条件互信息量信息量（5 5）两两个个事事件件的的互互信信息息量量不不大大于于单单个个事事件件的的自自信信息息量量，即有：即有：（2-13）【例【例2.8】信源包含】信源包含7 7个消息个消息x0,x1,x2,x3,x4,x5,x6 信源编码器将其对信源编码器将其对应编成应编成7个三位二进制数个三位二进制数000，001,110。各消息的先验概率已知，。各消息的先验概率已知，在接收过程中，每收到一个数字，各消息的后验概率都相应地发生在接收过程中，每收到一个数字，各消息的后验

13、概率都相应地发生变化。考虑在接受变化。考虑在接受100三个数字的过程中，各后验概率的变化，计三个数字的过程中，各后验概率的变化，计算信息量算信息量I I(x4;100)。信信源源消消息息码字码字消消息息先先验验概率概率消息后验概率消息后验概率收到收到1 1后后收到收到1010后后收到收到100100后后x0 0000001/161/160 000 0 x1 0010011/161/160 000 0 x2 0100101/161/160 000 0 x3 0110111/161/160 000 0 x4 1001001/21/22/32/34/54/51 1x5 1011011/81/81/6

14、1/61/51/50 0 x61101101/81/81/61/60 00 0表表2-4为为7个三位二进制数对应的各种概率。个三位二进制数对应的各种概率。根据给定的先验概率，可算出：根据给定的先验概率，可算出：P (x4100)=1 将将各各种种后后验验概概率率的的计计算算结结果果列列于于表表2-3中中，再再根根据据式式（2-10）计计算出互信息量：算出互信息量：I(x4;100)=I(x4;1)+I(x4;01)+I(x4;010)(比特比特)也可直接计算出：也可直接计算出：(比比特特)2 22 2 离散集的平均自信息量离散集的平均自信息量 信信源源熵熵熵熵条条件件熵熵联联合合熵熵2 22

15、2 离散集的平均自信息量离散集的平均自信息量 1 1平均自信息量平均自信息量(熵熵)无无记记忆忆信信源源的的平平均均自自信信息息量量定定义义为为各各消消息息自自信信息息量量的的概概率率加加权权平平均均值值（统统计计平平均均值值），即即平平均均自自信信息息量量H(X)定义为：定义为：（2-152-15）H(X)的表达式与统计物理学中的热熵具有相类似的表达式与统计物理学中的热熵具有相类似的形式，的形式，在概念上二者也有相同之在概念上二者也有相同之处处，故借用，故借用熵熵这这个个词词把把H H(X X)称称为为集合集合X X的的信息熵信息熵，简简称称熵熵。【例【例2.9】计算下列信源的熵】计算下列信

16、源的熵（1）信源一：）信源一：熵熵 H(X1)=-0.99log0.990.01log0.01=0.08 比特比特/符号符号（2 2）信源二：等概信源）信源二：等概信源熵熵 H(X2)=-0.5log0.5-0.5log0.5=1比特比特/符号符号（3 3）信源三）信源三:等概信源等概信源熵熵 H(X3)=-40.25log0.25=log4=2 比特比特/符号符号(5)(5)信源五：一般情况下，二元信源的概率分布为信源五：一般情况下，二元信源的概率分布为 熵熵 H(X)=)=log-（1-）log（1-）记记H2()=)=log-（1-）log（1-）H2()与与的关系如图的关系如图2-2所

17、示。所示。（4 4）信源四：）信源四：信源为确定事件信源为确定事件 熵熵H(X4)=-)=-0log01log1=0 计算结果说明确定事件的熵为零计算结果说明确定事件的熵为零 H 2 2()()00.51 图图 2-2 2-2 H2()与与关系关系信源熵与信息量的比较信源熵与信息量的比较信源的平均不确定度信源的平均不确定度消除不定度得到信息消除不定度得到信息与信源是否输出无关与信源是否输出无关接收后才得到信息接收后才得到信息确定值确定值一一般为随机量般为随机量有限值有限值可为无穷大可为无穷大熵熵熵熵 信息量信息量信息量信息量信源熵和平均自信息量两者在信源熵和平均自信息量两者在数值上是相等的，但

18、含义并不相同数值上是相等的，但含义并不相同数值上是相等的，但含义并不相同数值上是相等的，但含义并不相同总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后信源输出后，离散消息所提供的平均信息量平均信息量。信源熵H(X)表示信源输出前信源输出前，信源的平均不确定度平均不确定度。信源熵H(X)反映了变量变量X X的随机性的随机性。1232 2平均条件自信息量平均条件自信息量(条件熵条件熵)（2-16）若事件若事件xi yj的联合分布概率为的联合分布概率为p(xi yj)，给定给定yj条件下事件条件下事件xi的条件自信息的条件自信息量为量为I(xiyj)，则则H(XY)定义为：定义为：当当X

19、,Y统计独立时，有统计独立时，有p(xi yj)=q(xi)(yj)，(xiyj)=q(xi)，则则 （2-172-17）从通信角度来看：从通信角度来看：若将若将X=x1，x2，xi，视为信源输出符号；视为信源输出符号；Y=y1，y2，yj，视为信宿接收符号；视为信宿接收符号；I(xiyj)可可看看作作信信宿宿收收到到yj后后，关关于于发发送送的的是是否否为为xi仍仍然然存存在在的疑义度（不确定性），则的疑义度（不确定性），则 反反映映了了经经过过通通信信后后，信信宿宿符符号号yj（j=1,2,）关关于于信信源符号源符号xi（i=1,2,）的平均不确定性。的平均不确定性。类似，若给定类似，若给

20、定xi条件下事件条件下事件yj的条件自信息量为的条件自信息量为I(yjxi)，则则H(YX)定义为定义为 （2-182-18）当当X,Y统计独立时，有统计独立时，有p(xi yj)=q(xi)(yj)，则则 （2-192-19）存在以下两种极端情况：存在以下两种极端情况：（1）对对于无噪信道于无噪信道H(XY)=0（2）在）在强强噪声情况下，收到的噪声情况下，收到的Y与与X毫不相毫不相干，可干，可视为统计视为统计独立，独立，H(XY)=H(X)（2 2）对于强噪信道，有）对于强噪信道，有H(YX)=H(Y)。（1 1）对于无扰信道，有对于无扰信道，有H(YX)=0。从通信角度来看，从通信角度来

21、看，H(YX)是发出确定消息是发出确定消息xi后，后，由于信道干扰而使由于信道干扰而使yj存在的平均不确定性，称存在的平均不确定性，称H(YX)为噪声熵（散布度）。为噪声熵（散布度）。存在以下两种极端情况：存在以下两种极端情况：由熵、条件熵、联合熵的定义式可导出三者的关系式由熵、条件熵、联合熵的定义式可导出三者的关系式 H(X Y)=H(X)+H(YX)=H(Y)+H(XY)（221）H(X Y)=)=H(X)+)+H(Y)(2-22)(2-22)上式反映了信息的可加性。当上式反映了信息的可加性。当X,Y统计独立时，有统计独立时，有3 3联合熵联合熵 联联合合熵熵H(XY)是是定定义义在在二二

22、维维空空间间X Y上上，对对元元素素xi yj的的自自信信息息量量的的统统计计平平均均值值，若若记记事事件件xiyj出出现现的的概概率率为为p(xi yj)，其其自自信信息量为息量为I(xi yj)，则联合熵则联合熵H(XY)定义为定义为 （2-202-20）1凸集合与凸函数凸集合与凸函数简单介绍凸集和凸函数的概念。简单介绍凸集和凸函数的概念。定义定义2.12.1是是n维实矢量空间集合维实矢量空间集合R中任意两个中任意两个n维矢量，维矢量，对实数对实数，0 1，有有+（1-）R则称则称R为为凸集合凸集合。222熵函数的性质熵函数的性质图图2 23 3 一维和二维凸集合的例子一维和二维凸集合的例

23、子凸集合凸集合非非凸凸集合集合 从从几几何何上上来来看看，若若，是是集集合合R中中的的任任意意两两点点，+（1-）表表示示这这两两点点间间的的连连线线，若若该该连连线线也也在在集集合合R中中，则则称称为为R凸凸集集。下下面面给给出出了了几几个个凸凸集集和和非非凸凸集集合合的的例子。例子。定定义义2.2设设f(x)=f(x1,x2,xn)为为一一个个n元元函函数数，若若对对任任意意f(x1),f(x2)f(x)，任意正数任意正数，0 1，有有f(x1)+（1-）f(x2)f x1 +（1-）x2(2-23)(2-23)x0 0 x1 1 x1+(1-)x2 x2 2 图图2-4 2-4 一元一元

24、型凸函数型凸函数f(x1)f(x1)+(1-)f(x2)f x1+(1-)x2 f(x)f(x2)则则称称f(x)为为定定义义域域上上的的型型凸函数。凸函数。一一元元型型凸凸函函数数 可可 用用 图图 2-4所所示示的的几几何何图图形表示。形表示。定定义义2.3设设f(x)=f(x1,x2,xn)为为一一个个n元元函函数数，若若对对任任意意f(x1),f(x2)f(x)，任意正数任意正数，0 1，有有f x1 +（1-）x2 f(x1)+（1-）f(x2)(2-24)(2-24)图图2-5 2-5 一元一元型凸函数型凸函数x1 x1+(1-)x2 x2 x f(x1)f x1+(1-)x2f(

25、x1)+(1-)f(x2)f(x)f(x2)则则称称f(x)为为定定义义域域上上的的型型凸凸函函数数，一一元元型型凸凸函函数数可可用用图图2-5所所示示的的几几何图形表示。何图形表示。2极大离散熵定理极大离散熵定理 设设信信源源的的消消息息个个数数为为M，则则H(X)logM，等等号号当当且且仅仅当当信信源源X中中各各消消息息等等概概 时时成成立立，即即各各消消息息等等概概分分布布时时，信信源源熵熵最大。最大。证明方法一：利用不等式证明方法一：利用不等式logx x -1-1等号在等号在x=1=1时成立（见图时成立（见图 2-6）图图2-6logx x11关系关系 曲线曲线x-1 log x

26、10 x上上面面两两种种证证明明方方法法是是信信息息论论中中经经常常用到的证明方法用到的证明方法 证明方法二：利用证明方法二：利用logx的的型凸函数性质型凸函数性质 =log 1=0 证毕H(X)-log M3熵函数的性质熵函数的性质 （1 1）对称性对称性集合集合X=x1，x2，xN 中的各元素中的各元素x1，x2，xN任意改任意改变其顺序时，熵只和分布（概率）有关，不关心某个具体事变其顺序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。件对应哪个概率。例如例如 和和 的熵是相等的。的熵是相等的。（4 4）扩展性扩展性：离散事件集：离散事件集 ，增加一个，增加一个不可能事件不可

27、能事件xN+1后，得到集合，后，得到集合，0，则两个集合的熵相等则两个集合的熵相等 （2 2）非负性非负性：H(X)0 0 （3 3）确定性确定性：在集合：在集合X=(x1，x2，xN)中，若有一个中，若有一个事件是必然事件，则其余事件必为不可能事件，即该集合的事件是必然事件，则其余事件必为不可能事件，即该集合的概率分布为概率分布为 （5 5）可加性可加性：集合集合X=x1，x2，xi，xi+1，xN 的概率分布为：的概率分布为：则下式成立：则下式成立：H(X)=)=H(x1，x2，xi，xi+1，xN)（2-252-25）（6 6）条件熵小于等于无条件熵条件熵小于等于无条件熵即：即：H(XY

28、)H(X)X,Y 统计独立时等号成立。统计独立时等号成立。（7 7）联联合合熵熵大大于于等等于于独独立立事事件件的的熵熵，小小于于等等于于两两独独立立事事件熵之和，即：件熵之和，即：（2-262-26）H(XY)H(X)+H(Y)（2-272-27）2 23 3离散集的平均互信息量离散集的平均互信息量1平均互信息量平均互信息量定定义义xi X和和yj Y之之间间的的互互信信息息量量为为I(xi;yj)，在在集集合合X上上对对I(xi;yj)进进行行概概率率加加权权统统计计平平均均，可可得得I(X;yj)为：为：231平均互信息量平均互信息量（2-28）再再将将式式（2-28）对对集集合合Y进进

29、行行统统计计平平均均，就就可可以以得得到到平平均均互信息量互信息量 （2-302-30）当当X,Y统计独立时，统计独立时，I(xi;yj)=)=0，从而从而I(X;Y)=)=0【例【例2.14】二元等概信源】二元等概信源 ，通过信道转移，通过信道转移概率为概率为 的信道传输，信宿接收符号的信道传输，信宿接收符号Y=y0,y1，计算信源与信宿间的平均互信息量计算信源与信宿间的平均互信息量I（X；Y）。）。（1）先根据先根据 计算出计算出 （2 2）由由 计算后验概率计算后验概率 （3 3）计算各消息之间的互信息量）计算各消息之间的互信息量I(xi;yj)（比特）比特）（比特）（比特）（比特）（比

30、特）（比特）（比特）（4）计算平均互信息量计算平均互信息量 （比特）（比特）对对上上式式在在三三维维空空间间XYZ上上求求概概率率加加权权平平均均值值，就就得得到到平平均均条条件件互信息量互信息量 （2-312-31）式中式中p(xi yj zk)满足满足2平均条件互信息量平均条件互信息量 平均条件互信息量平均条件互信息量I(X;YZ)是在联合概率空间是在联合概率空间 XYZ，p(xyz)上上定义的物理量。由式（定义的物理量。由式（2-11）知道）知道 1 平均互信息量的性质平均互信息量的性质232平均互信息量的性质平均互信息量的性质 (1(1)非负性非负性：（2-322-32）(2)(2)互

31、易性互易性：I(X;Y)=)=I(Y;X)（2-332-33）由由 的对称性可得到。的对称性可得到。(3)I(X;Y)=)=H（X）-H（XY）(2-35)(2-35)I(X;Y)=)=H（Y）-H（YX）(2-36)(2-36)I(X;Y)=)=H(X)+)+H(Y)-)-H(XY)(2-37)(2-37)2平均互信息量与信源熵、条件熵的关系平均互信息量与信源熵、条件熵的关系2-7维拉图它们之间它们之间的关系可的关系可以用维拉以用维拉图表示图表示 设设X为为发发送送消消息息符符号号集集，Y为为接接收收符符号号集集，H(X)是是输输入入集集的的平平均均不不确确定定性性,H（XY）是是观观察察到

32、到Y后后，集集X还还保保留留的的不不确确定定性性，二二者之差者之差I(X;Y)就是在接收过程中得到的关于就是在接收过程中得到的关于X,Y的平均互信息量。的平均互信息量。对于无扰信道，对于无扰信道，I(X;Y)=)=H(X)。对于强噪信道，对于强噪信道，I(X;Y)=0)=0。从通信的角度来讨论从通信的角度来讨论平均互信息量平均互信息量I(X;Y)的物理意义的物理意义由第一等式由第一等式I I(X X;Y Y)=)=H H（X X）-H H（X XY Y）看看I I(X X;Y Y)的物理意的物理意义义 对于无扰信道，有对于无扰信道，有I(X;Y)=)=H(X)=)=H(Y)。对于强噪信道，有对

33、于强噪信道，有H（YX）=H（Y），），则则I(X;Y)=)=0。H(Y)是是观观察察到到Y所所获获得得的的信信息息量量，H（YX）是是发发出出确确定定消消息息X后后，由由于于干干扰扰而而使使Y Y存存在在的的平平均均不不确确定定性性，二者之差二者之差I(X;Y)就是一次通信所获得的信息量。就是一次通信所获得的信息量。由第由第二二等式等式I(X;Y)=)=H（Y)-)-H（YX）看看I I(X X;Y Y)的物理意的物理意义义 通通信信前前，随随机机变变量量X和和随随机机变变量量Y可可视视为为统统计计独独立立，其先验不确定性为其先验不确定性为H(X)+)+H(Y)，通信后，整个系统的后验不确定

34、性为通信后，整个系统的后验不确定性为H(XY)，二二者者之之差差H(X)+)+H(Y)-)-H(XY)就就是是通通信信过过程程中中不不确确定定性性减减少少的的量量，也也就就是是通通信信过过程程中中获获得得的的平平均均互互信信息息量量I(X;Y)。由第由第三三等式等式I(X;Y)=)=H(X)+)+H(Y)-)-H(X,Y)看看I I(X X;Y Y)的物理意的物理意义义【例【例2.15】已知信源消息集为】已知信源消息集为X=0,1,接收符号集为接收符号集为Y=0,1，通过有通过有扰信道传输，其传输特性如图扰信道传输，其传输特性如图2-8所示，这是一个二进制对称信道所示，这是一个二进制对称信道B

35、SCBSC。已知先验概率已知先验概率,计算平均互信息量计算平均互信息量I(X;Y)及各种熵及各种熵。0 1-0 11-1 图图2-8 2-8 二进制对称信道二进制对称信道记记 q(x)为信源输入概率；为信源输入概率；(y)为信宿输出概率；为信宿输出概率；p(yx)为信道转移概率；为信道转移概率；(xy)为后验概率。为后验概率。（1 1）由由图图2-82-8得得 ，先先算算出出p(xi yj)=q(xi)p(yjxi)（2 2）计算）计算 得：得：（3 3）计算后验概率，得：计算后验概率，得：（4 4）计算各种熵及平均互信息量：）计算各种熵及平均互信息量：信源熵信源熵 信宿熵信宿熵 联合熵联合熵

36、 =-20.5(1-)log0.5(1-)-20.5log0.5 =log2-(1-)log(1-)-log=log2+H2()式中：式中：散布度散布度 =-p(00)logp(00)-p(01)logp(10)-p(10)logp(01)-p(11)logp(11)=-20.5(1-)log(1-)-20.5log=H2()可疑度可疑度=-p(00)log(00)-p(01)log(01)-p(10)log(10)-p(11)log(11)=-20.5(1-)log(1-)-20.5log=H2()平均互信息量平均互信息量 I(X;Y)=)=H(X)+)+H(Y)-)-H(XY)=)=log

37、2+H2()研研究究通通信信问问题题，主主要要研研究究的的是是信信源源和和信信道道，它它们们的的统统计计特特性性可可以以分分别别用用消消息息先先验验概概率率q(x)及及信信道道转转移移概概率率p(yx)来来描描述述，而而平平均均互互信息量信息量I(X;Y)是经过一次通信后信宿所获得的信息。是经过一次通信后信宿所获得的信息。由式（由式（2-30）知道，）知道，平均互信息量定义平均互信息量定义为：为：（2-382-38）233有关平均互信息量的两条定理有关平均互信息量的两条定理上上式式说说明明I(X;Y)是是信信源源分分布布概概率率q(x)和和信信道道转转移移概概率率p(yx)的的函函数数，下下面

38、面两两条条定定理理阐阐明明了了I(X;Y)与与q(x)和和p(yx)之间的关系。之间的关系。定定理理2.1 当当信信道道给给定定，即即信信道道转转移移概概率率p(yx)固固定定，平平均均互信息量互信息量I(X;Y)是信源概率分布是信源概率分布q(x)的的型凸函数。型凸函数。两两个个信信源源分分布布q1(x)和和q2(x)，分分别别对对应应平平均均互互信信息息量量I1(X;Y)和和I2(X;Y)，记记概概率率分分布布q(x)=)=q1(x)+(1-)+(1-)q2(x)（式式中中0 0 1 1），对对应应平平均均互互信信息息量量I I(X X;Y Y)，若若I I(X X;Y Y)是是型型凸凸函

39、数，则应满足：函数，则应满足：I I1 1(X X;Y Y)+(1-)+(1-)I I2 2(X X;Y Y)I I(X X;Y Y)（2-392-39）式式(2-39)表示：表示：函数的均值小于等于均值的函数函数的均值小于等于均值的函数，见图，见图2-9 图图2-92-9函数的均值函数的均值 均值的函数均值的函数q1 q1+(1-)q2 q2 q(x)I(q1)+(1-)I(q2Iq(x)I q1+(1-)q2 定定理理2.1说说明明，信信道道固固定定时时，对对于于不不同同的的信信源源分分布布，信信道道输输出出端端获获得得的的信信息息量量是是不不同同的的。因因此此，对对于于每每一一个个固固定

40、定信信道道，一一定定存存在在一一种种信信源源（一一种种分分布布）q(x)，使使输输出出端端获获得得的的信信息息量最大。量最大。【例例2.16】二二进进制制对对称称信信道道BSCBSC如如图图2-10所所示示，输输入入符符号号集集X=x1,x2=0,1，输出符号集输出符号集Y=y1,y2=0,1，信道转移概率矩阵信道转移概率矩阵 ，信源分布为：，信源分布为：，计算平均互信，计算平均互信 息量息量 I(X;Y)=)=H（Y）-H（YX）0 1-0 11-1 图图2-10 2-10 二进制对称信道二进制对称信道先由先由 算出：算出：(0)=q(0)p(00)+q(1)p(01)=(1-)+(1-)(

41、1)=1-(0)再计算熵和条件熵再计算熵和条件熵=H2(1-)+(1-)=-(1-)log(1-)-log=H2()则平均互信息量则平均互信息量I(X;Y)=)=H（Y)-)-H（YX）=H2(1-)+(1-)-H2()当当信信道道固固定定，即即 为为恒恒值值，则则I(X;Y)是是的的函函数数，其其曲曲线线如如下下图图2-11所示。所示。当当=0.5时时,I(X;Y)取得极大值，取得极大值，其值为其值为log2-H2(),(),这种情况对应这种情况对应等概分布等概分布,信源的平均不确定性最大信源的平均不确定性最大.当当=0或或1时，这是确定信源的时，这是确定信源的情况，通信得不到任何信息，情况

42、，通信得不到任何信息，即即I(X;Y)=)=0。图图2-112-11为为恒恒值值时时的的I I(X X;Y Y)曲曲线线0 0.5 10 0.5 1log2-H2()I(X;Y)定定理理2.2 当当信信源源给给定定，即即信信源源分分布布概概率率q(x)固固定定，平平均均互互信息量信息量I(X;Y)是信道转移概率是信道转移概率p(yx)的的型凸函数。型凸函数。在在信信源源固固定定的的情情况况下下，如如果果给给定定两两个个信信道道转转移移概概率率p1(yx)和和p2(yx)，它它们们分分别别对对应应平平均均互互信信息息量量I1(X;Y)和和I2(X;Y)，记记信信道道转转移移概概率率p(yx)=)

43、=p1(yx)+(1-)+(1-)p2(yx)(式式中中（0 1），对对应应平平均均互互信信息息量量I(X;Y)，若若I(X;Y)是是p(yx)的的型凸函数，则应满足：型凸函数，则应满足：I(X;Y)I1(X;Y)+(1-)+(1-)I2(X;Y)（2-402-40）定定理理2.2说说明明，信信源源固固定定以以后后，用用不不同同的的信信道道来来传传输输同同一一信信源源符符号号时时，在在信信道道输输出出端端获获得得的的信信息息量量是是不不同同的的。可可见见，对对每每一一种种信信源源一一定定存存在在一一种种最最差差的的信信道道，此此信信道道的干扰最大，而使输出端获得的信息量最小。的干扰最大，而使输

44、出端获得的信息量最小。式式(2-40)表示：表示：均值的函数小于等于函数的均值均值的函数小于等于函数的均值，如图，如图2-12所示。所示。图2-12 函数的均值均值的函数 p1 p1+(1-)p2 p2 I p1+(1-)p2 I(p1)+(1-)I(p2)X YX Y各种熵之间的关系各种熵之间的关系各种熵之间的关系各种熵之间的关系X YX YX Y2 24 4 N维扩展信源的熵和平均互信息量维扩展信源的熵和平均互信息量信源输出序列为信源输出序列为x=x1xi xN，xia0,a1,ak-1，记记 x=x1x2xN的概率分布为的概率分布为q(x)，则信源熵为则信源熵为 (2-41)(2-41)

45、241N维扩展信源的熵维扩展信源的熵下面分两种情况来考虑：下面分两种情况来考虑：1信源离散无记忆信源离散无记忆按式按式(2-41)可计算出该信源的熵可计算出该信源的熵：（2 24242）根据熵的性质根据熵的性质:条件熵小于等于无条件熵条件熵小于等于无条件熵，即有，即有 （2-452-45）2信源离散有记忆信源离散有记忆 信源输出序列信源输出序列x=x1x2xN 的概率为的概率为p(x)=p(x1)p(x2x1)p(x3x1x2)p(xNx1x2xN -1)，相应可以计算出其信源熵相应可以计算出其信源熵 H(X)=H(X1)+H(X2X1)+H(X3X1X2)+H(XNX1X2XN-1)记为：记

46、为：（2-442-44）熵的链规则熵的链规则将式将式(2-45)代入式代入式(2-44)得：得：（2-462-46）等号在信源无记忆（统等号在信源无记忆（统计独立）时成立。计独立）时成立。H(X)N H(X)(2-49)(2-49)等号在信源无记忆时成立等号在信源无记忆时成立对于平稳信源对于平稳信源先看二维情况：先看二维情况：I(X;Y1Y2)=I(X;Y1)+I(X;Y2Y1)（2-502-50）2.4.2N维扩展信源的平均互信息维扩展信源的平均互信息量量 类似推广到三维，则有：类似推广到三维，则有：I(X;Y1Y2Y3)=I(X;Y1)+I(X;Y2Y1)+I(X;Y3Y1Y2)推广到推广

47、到N维矢量的情况，则有维矢量的情况，则有I(X;Y)=I(X;Y1)+I(X;Y2Y1)+I(X;YNY1Y2 YN-1)记为记为：（2-512-51）平均互信息量的链规则平均互信息量的链规则 对于复合事件的平均互信息量，下式成立：对于复合事件的平均互信息量，下式成立：（2-522-52）上式说明复合事件的信息量大于单个事件的信息量。上式说明复合事件的信息量大于单个事件的信息量。定定理理2.3 如如果果信信源源离离散散无无记记忆忆，即即信信源源输输出出序序列列x=x1x2xN中中各各xi(i=1,2,N)统统计计独独立立，则则信信道道输输入入、输输出出符符号号序序列列间间的的平平均均互互信信息

48、息量量I（X；Y）大大于于等等于于各各单单个个符符号号间间平平均均互互信息量的总和，即有信息量的总和，即有 （2-552-55）等号成立的条件等号成立的条件这个条件意味着要求信道也是离散无记忆的。这个条件意味着要求信道也是离散无记忆的。243有关有关N维平均互信息量的两条定理维平均互信息量的两条定理定定理理2.4 若若信信道道离离散散无无记记忆忆，则则信信道道输输入入、输输出出符符号号序序列列间间的的平平均均互互信信息息量量I（X；Y）小小于于等等于于各各单单个个符符号号间间平平均均互互信信息息量量的总和，即有的总和，即有 （2-572-57）等号成立的条件等号成立的条件 ，即要求信，即要求信

49、宿是离散无记忆的，这在离散无记忆信道传输条件宿是离散无记忆的，这在离散无记忆信道传输条件下，说明信源分布是离散无记忆的。下，说明信源分布是离散无记忆的。1.1.本章主要阐述了对各种信息量的度量，主要内容如下：本章主要阐述了对各种信息量的度量，主要内容如下：（1 1）信息量）信息量I(xi)=-)=-log q(xi)对自信息量求统计均值，得到熵对自信息量求统计均值，得到熵（2 2）条件自信息量）条件自信息量I(xiyj)=-log(xiyj)对对I(xiyj)求统计均值，得到条件熵求统计均值，得到条件熵（3 3）条件自信息量）条件自信息量I(yjxi)=-logp(yjxi)对对I(yjxi)

50、求统计均值，得到条件熵求统计均值，得到条件熵本本 章章 小小 结结 （5 5）二个事件之间的互信息二个事件之间的互信息 对对I(xi；yj)求统计均值，得到平均互信息量求统计均值，得到平均互信息量 I(X;Y)=H(X)H(XY)=H(Y)H(YX)=H(X)+)+H(Y)-)-H(XY)（4 4）二维联合空间的自信息量）二维联合空间的自信息量I(xi yj)=-)=-log p(xi yj)对对I(xi yj)求统计均值，得到联合熵求统计均值，得到联合熵2.2.前前面面针针对对个个别别事事件件的的各各种种信信息息量量，可可看看作作是是一一过过渡渡物物理理量量，我我们们关关心心的的还还是是它它