信息的度量课件.ppt

《信息的度量课件.ppt》由会员分享，可在线阅读，更多相关《信息的度量课件.ppt（68页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于信息的度量现在学习的是第1页，共68页内容提要：根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。第2章 信息的度量现在学习的是第2页，共68页2.1 自信息量和互信息量 一个事件的自信息量就是对其不确定性的度量。一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。互信息量则表明了两个随机事件的相互约束程度。 对于随机事件集X = x1，x2，xi，xI中的随机事件xi，

2、其出现概率记为q(xi)，将两个事件xi ,yj同时出现的概率记为p(xi yj)，则q(xi) ，p(xi yj)应满足：IiiixqIixq11)(, 2 , 10)( 相应的条件概率为 IiJjjijiyxpyxp111)(0)()()()()()()(ijiijjjijixqyxpxypyyxpyx现在学习的是第3页，共68页信息量直观的定义为：收到某消息获得的信息量 = 不确定性减少的量 将某事件发生所得到的信息量记为I(x)，I(x)应该是该事件发生的概率的函数，即I(x)=fq(x) 211 自信息量和条件自信息量现在学习的是第4页，共68页1自信息量 直观地看，自信息量的定义应

3、满足以下四点： a. I(x)应该是q(x)的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事件如果发生则赋予的信息量小；b.信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和；c.当q(x)=1时，I(x)= 0：表示确定事件发生得不到任何信息； d.当q(x)=0时，I(x)：表示不可能事件一旦发生，信息量将无穷大。 现在学习的是第5页，共68页综合上述条件，将自信息量定义自信息量定义为: (2-1) )(log)(xqxI自信息量的单位与log函数所选用的对数底数有关， 如底数分别取 2、e、 10，则自信息量单位分别为：比特、奈特、哈特【例例2.3】若盒

4、中有6个电阻，阻值为1、2、3的分别为2个、1个、3个，将从盒子中取出阻值为i的电阻记为事件 （i = 1，2，3），则事件集X = x1, x2, x3，其概率分布 计算出各事件的自信息量列表2-1如下：ix216131)(321xxxXqX现在学习的是第6页，共68页消息xi x1 x2 x3 概率分布q (xi) 1/3 1/6 1/2 自信息量I (xi) log 3 log 6 log 2 自信息量自信息量I( (xi) )代表两种含义代表两种含义： 1.事件xi发生以前，表示事件发生的先验不确定性2.当事件xi发生以后，表示事件xi所能提供的最大信息量（在无噪情况下） 现在学习的是

5、第7页，共68页二维联合集X Y上元素xi yj的联合自信息量I(xi yj)定义为： (2-3) )(log)(jijiyxpyxI(2-4)2.条件自信息量在已知事件yj条件下,随机事件xi发生的概率为条件概率(xiyj),条件自信息量 定义为： )(log)(jijiyxyxI)(jiyxI现在学习的是第8页，共68页 【例例2.6】某住宅区共建有若干栋商品房，每栋有5个单元，每个单元住有12户，甲要到该住宅区找他的朋友乙，若： 1. 甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到多少信息？ 2. 甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到乙的概率又有多大？他能得到多少信

6、息？用xi代表单元数，yj代表户号：（1）甲找到乙这一事件是二维联合集X Y上的等概分布 ，这一事件提供给甲的信息量为 I(xi yj ) = - log p(xi yj ) = log 60 = 5.907（比特） 601)(jiyxp（2）在二维联合集X Y上的条件分布概率为 ，这一事件提供给甲的信息量为条件自信息量 I(yjxi) = -log p(yjxi) = log12 = 3.585（比特） 121)(ijxyp现在学习的是第9页，共68页1.互信息量从通信的角度引出互信息量的概念信源符号X=x1，x2，xI ，xia1,a2,ak，i = 1, 2 , I。 经过信道传输，信宿

7、方接收到符号Y = y1，y2，yJ，yjb1,b2,bD，j = 1, 2, ,J。图21简单的通信模型 b1,b2,bD信源符号集a1,a2, ak信宿符号集干扰x1，x2，xIy1，y2，yJ信源信源 信道信道信宿信宿212 互信息量和条件互信息量互信息量和条件互信息量现在学习的是第10页，共68页事件xi是否发生具有不确定性，用I(xi)度量。接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xiyj)度量。观察事件前后，这两者之差就是通信过程中所获得的信息量，用I(xi ; yj )表示： 。)()();(jiijiyxIxIyxI)()(logijixqyx注：式（2

8、-6）的I( (xi ；yj ) ) 和式（2-3）的I( (xiyj ) )的区别在于：前者是事件xiX和事件yjY之间的互信息量，后者是二维空间XY 上元素xi yj 的自信息量。称(2-6)式为事件xi和事件yj之间的互信息量互信息量。（2-6）现在学习的是第11页，共68页根据概率互换公式根据概率互换公式p( (xi yj) = ) = p( (yjxi) )q( (xi)=)=( (xiyj)()(yj) ) 互信息量互信息量I( (xi ; ;yj ) )有多种表达形式有多种表达形式: : (2-7) (2-8)()()()()()(log);(jijijijijiyxIyIxIy

9、xqyxpyxI)()()()(log);(ijjjijjixyIyIyxypyxI将事件互信息量的概念推广至多维空间：在三维X Y Z联合集中，有： I(xi ; yj zk)= I(xi ; yj )+ I(xi; zkyj) （2-9） 类似，在N维U1 U2 UN联合空间,有： I (u1; u2u3 uN ) = I (u1; u2 )+ I (u1; u3u2) + + I (u1; uiu2 u i-1)+ + I (u1; uNu2 uN -1) （2-10） 现在学习的是第12页，共68页三维X Y Z联合集中，在给定条件zk的情况下, xi , yj的互信息量I(xi ;y

10、jzk )定义为： （2-11）)()(log);(kikjikjizxpzyxpzyxI2条件互信息量现在学习的是第13页，共68页3互信息量的性质 （1 1）互易性）互易性 I(xi ;yj )= I(yj ; xi) (2-12) （2）可加性：);();();();();(12112123121321NNiiNuuuuIuuuuIuuuIuuIuuuuI现在学习的是第14页，共68页（4） 互信息量I(xi ;yj)可以是正数，也可以是负数。 （3）当xi ,yj统计独立时，互信息量I(xi ;yj) = 0及条件互信息量0);(kjizyxI（5）两个事件的互信息量不大于单个事件的自

11、信息量，即有： （2-13） )()();(jijiyIxIyxI现在学习的是第15页，共68页【例例2. .8】信源包含7个消息x0,x1,x2,x3,x4,x5,x6 信源编码器将其对应编成7个三位二进制数000，001,110。各消息的先验概率已知，在接收过程中，每收到一个数字，各消息的后验概率都相应地发生变化。考虑在接受100三个数字的过程中，各后验概率的变化，计算信息量I(x4;100)。信源消息码字消息先验概率消息后验概率收到1后收到10后收到100后x0 0001/16000 x1 0011/16000 x2 0101/16000 x3 0111/16000 x4 1001/22

12、/34/51x5 1011/81/61/50 x61101/81/600表2-4为7个三位二进制数对应的各种概率。现在学习的是第16页，共68页 根据给定的先验概率，可算出： 21)(4xp3281812121) 1(4xp54613232)10(4xp 将各种后验概率的计算结果列于表2-3中，再根据式（2-10）计算出互信息量：I (x4;100 ) = I (x4; 1)+ I (x4; 01)+ I (x4; 010) (比特) 也可直接计算出： (比特)10()100(log) 1()10(log)() 1(log444444xpxpxpxpxpxp12log541log3254log

13、2132log1211log)()100(log)100;(444xpxpxIP (x4100) = 1现在学习的是第17页，共68页2 22 2 离散集的平均自信息量离散集的平均自信息量 1平均自信息量(熵) 人们注意的是整个系统的统计特性，当信源各个消息的出现概率相互统计独立时，这种信源称为无记忆信源，无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值（统计平均值），即平均自信息量平均自信息量H( (X) )定义为： （2-15 ） iiiiiixqxqxIxqXH)(log)()()(H(X)的表达式与统计物理学中的热熵具有相类似的形式，在概念上二者也有相同之处，故借用熵这个词

14、把H(X)称为集合X的信息熵信息熵，简称熵。 现在学习的是第18页，共68页【例例2. .9】计算下列信源的熵（1）信源一： 熵 H(X1) =-0.99 log 0.99 0.01 log 0.01 = 0.08（比特/符号）（2）信源二：等概信源熵 H(X2) = - 0.5 log 0.5 - 0.5 log 0.5 = 1（比特/符号）（3）信源三: 等概信源熵 H(X3) = -40.25 log 0.25 = log4 = 2（比特/符号）5 . 05 . 0)(1022xxXqX25. 025. 025. 025. 0)(321033xxxxXqX01. 099. 0)(1011

15、xxXqX现在学习的是第19页，共68页 (5) 信源五：一般情况下，二元信源的概率分布为 熵 H(X) = log -（1-）log（1-）记H2() = log -（1-）log（1-）H2()与的关系如图2-2所示。110)(55XqX（4）信源四： 信源为确定事件 熵H(X4) = - 0 log 0 1 log 1 = 0 计算结果说明确定事件的熵为零 10)(1044xxXqX H 2 2()() 0 0.5 1 图图 2-2 2-2 H2( () )与与关系关系现在学习的是第20页，共68页2平均条件自信息量(条件熵)ijjiijjijijiyxyxpyxIyxpYXH)(log

16、)()()()(（2-16）若事件xi yj的联合分布概率为p(xi yj )，给定yj条件下事件xi的条件自信息量为I (xiyj)，则H (XY) 定义为：现在学习的是第21页，共68页当X ,Y统计独立时,p (xi yj) = q ( xi )( yj )，(xiyj) = q (xi)，则 )()(jiijjiyxIyxpYXH XHxqxqxqxqyYXHiiiijiij)(log)()(log)()(从通信角度来看： 若将X = x1，x2，xi，视为信源输出符号； Y = y1，y2，yj，视为信宿接收符号；I (xiyj)可看作信宿收到yj后，关于发送的是否为xi仍然存在的疑

17、义度（不确定性），则 反映了经过通信后，信宿符号yj（j = 1, 2,）关于信源符号xi（i = 1, 2,）的平均不确定性。（2-17）现在学习的是第22页，共68页类似，若给定xi条件下事件yj的条件自信息量为I (yjxi)，则H (YX)定义为 （2-18）当X ,Y统计独立时，有p (xi yj) = q ( xi )( yj )， ，则 （2-19）ijijijjiijjixypyxpxyIyxpXYH)(log)()()()()()(jijyxyp YHyyyyxqXYHjjjjijji)(log)()(log)()(存在以下两种极端情况： （1）对于无噪信道H (XY) =

18、0 （2）在强噪声情况下，收到的Y与X毫不相干，可视为统计独立，H (XY) = H (X) 现在学习的是第23页，共68页（2）对于强噪信道，有H (YX)= H (Y) 。（1） 对于无扰信道，有H (YX) = 0。从通信角度来看，H (YX)是发出确定消息xi后，由于信道干扰而使yj存在的平均不确定性，称H (YX)为噪声熵（散布度）。存在以下两种极端情况：现在学习的是第24页，共68页由熵、条件熵、联合熵的定义式可导出三者的关系式 H (X Y) = H (X) + H (YX)= H (Y) +H (XY) （221） H( (X Y)=)= H( (X)+)+ H( (Y) )

19、(2-22)上式反映了信息的可加性。当X,Y统计独立时，有3 3联合熵联合熵联合熵H (XY) 是定义在二维空间X Y上，对元素xi yj的自信息量的统计平均值，若记事件xi yj出现的概率为p (xi yj)，其自信息量为I (xi yj)，则联合熵H (X Y) 定义为 （2-20） ijjijiyxIyxpXYH)()(ijjijiyxpyxp)(log)(现在学习的是第25页，共68页1凸集合与凸函数简单介绍凸集和凸函数的概念。定义定义2.12.1 是n维实矢量空间集合R中任意两个n维矢量，对实数，0 1，有 +（1-） R则称R为凸集合凸集合。 ),(21n),(21n222 熵函数

20、的性质现在学习的是第26页，共68页图23 一维和二维凸集合的例子凸集合非凸集合 从几何上来看，若，是集合R中的任意两点，+（1-）表示这两点间的连线，若该连线也在集合R中，则称R为凸集。下面给出了几个凸集和非凸集合的例子。现在学习的是第27页，共68页定义定义2.2设f(x) = f (x1, x2, , xn) 为一个n元函数，若对任意f (x1), f (x2) f (x) ，任意正数，0 1，有f (x1) +（1-）f (x2) f x1 +（1-）x2 (2-23)x0 x1 x1+(1-) x2 x2 图2-4 一元型凸函数f (x1)f (x1)+(1-) f (x2) f x

21、1+(1-)x2 f (x)f (x2)则称f(x)为定义域上的型凸函数。一元型凸函数可用图2-4所示的几何图形表示。现在学习的是第28页，共68页定义定义2.3设f(x) = f (x1, x2, , xn) 为一个n元函数，若对任意f (x1), f (x2) f (x) ，任意正数，0 1，有f x1 +（1-）x2 f (x1) +（1-）f (x2) (2-24)图2-5 一元型凸函数x1 x1+(1-) x2 x2 x f (x1 )f x1+(1-) x2f (x1)+(1-) f (x2)f (x) f (x2 )则称f(x)为定义域上的型凸函数，一元型凸函数可用图2-5所示的

22、几何图形表示。现在学习的是第29页，共68页2极大离散熵定理 设信源的消息个数为M，则H(X) logM，等号当且仅当信源X中各消息等概 时成立，即各消息等概分布时，信源熵最大。M1 iiiiiMxqxqxqMXHlog)()(1log)(log证明方法一：利用不等式证明方法一：利用不等式log x x - 1- 1等号在x = 1时成立（见图 2-6） iiiMxqxq)(1log)(iiiMxqxq) 1)(1)(iiixqM011)(1图2-6 logx x1关系 曲线 x-1 log x 1 0 x现在学习的是第30页，共68页上面两种证明方法是信息论中上面两种证明方法是信息论中经常用

23、到的证明方法经常用到的证明方法 证明方法二：利用证明方法二：利用log x的的型凸函数性质型凸函数性质 = log 1 = 0 证毕iiiMxqxq)(1log)(iiiMxqxq)(1)(logiM1logH(X)-log M现在学习的是第31页，共68页3熵函数的性质 （1）对称性对称性集合X = x1，x2，xN 中的各元素x1，x2，xN任意改变其顺序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。例如 和 的熵是相等的。818141214321xxxx214181814321xxxx现在学习的是第32页，共68页 （4）扩展性扩展性：离散事件集 ，增加一个不可能事件xN+

24、1后，得到集合，0，则两个集合的熵相等 NNpppxxx212112121NNNxpppxxx （2）非负性非负性：H(X) 0010021Nixxxx （3）确定性确定性：在集合X = (x1，x2，xN)中，若有一个事件是必然事件，则其余事件必为不可能事件，即该集合的概率分布为 现在学习的是第33页，共68页（5）可加性可加性：集合X = x1，x2，xi，xi+1，xN的概率分布为：则下式成立：H(X)= H(x1，x2，xi，xi+1，xN) （2-25）),()(),(111121121iiiiiiiiNiiiippppppHppxxxxxxxH)()()()()(121121Nii

25、Niixpxpxpxpxpxxxxx（6）条件熵小于等于无条件熵条件熵小于等于无条件熵即：H (XY) H (X) X,Y 统计独立时等号成立。 现在学习的是第34页，共68页)()()()(YHXYHXHXYH现在学习的是第35页，共68页23离散集的平均互信息量 如果将发送符号与接收符号看成两个不同的“信源”，可通过信道的转移概率来讨论信息的流通问题，一次通信从发送到接收究竟能得到多少信息量呢，这就是本节要讨论的平均互信息量。 1平均互信息量平均互信息量定义xi X 和 yj Y之间的互信息量为I(xi ;yj )，在集合X上对I(xi ;yj )进行概率加权统计平均，可得I(X;yj)为

26、： （2-28） iijijijiijijxqyxyxyxIyxyXI)()(log);();(231 平均互信息量平均互信息量 现在学习的是第36页，共68页再将式（2-28）对集合Y进行统计平均，就可以得到平均互信息量 （2-30 ）iijjijijijjijiyxqyxpyxpyxIyxpYXI)()()(log)();()(; 当X,Y统计独立时，I(xi ;yj )= 0，从而I(X ; Y)= 0 现在学习的是第37页，共68页【例例2. .14】二元等概信源 ，通过信道转移概率为 的信道传输，信宿接收符号Y = y0, y1，计算信源与信宿间的平均互信息量I（X；Y）。2121)

27、(10 xxXqX212161651010 xxyyP P （1） 先根据 计算出iiijjxqxypy)()()(32216521)()()()()(1100000 xqxypxqxypy31216121)()()()()(1110011xqxypxqxypy （2） 由 计算后验概率)()()()(jiijjiyxqxypyx85322165)()()()(000000yxqxypyx现在学习的是第38页，共68页83322121)()()()(011001yxqxypyx41312161)()()()(100110yxqxypyx43312121)()()()(111111yxqxypy

28、x322. 045log2185log)()(log);(00000 xqyxyxI121log2141log)()(log);(01010 xqyxyxI415. 043log2183log)()(log);(10101xqyxyxI585. 023log2143log)()(log);(11111xqyxyxI （3）计算各消息之间的互信息量I(xi ;yj ) （比特） （比特） （比特） （比特） 现在学习的是第39页，共68页（4） 计算平均互信息量 （比特） );()();(jiijjiyxIyxpYXI);()()(jiiijjiyxIxypxq093. 0585. 021)41

29、5. 0(21) 1(61322. 06521现在学习的是第40页，共68页对上式在三维空间XYZ上求概率加权平均值，就得到平均条件互信息量 （2-31）式中p(xi yj zk)满足ikjikjijkzyxIzyxpZYXI)()(;ikjkikjikjijkzypzxpzyxpzyxp)()()(log)( ijkkjizyxp1)( 2平均条件互信息量 平均条件互信息量I(X;YZ)是在联合概率空间XYZ，p(xyz)上定义的物理量。由式（2-11）知道 )()()(log)()(log);(kjkikjikikjikjizypzxpzyxpzxpzyxpzyxI现在学习的是第41页，共

30、68页1 平均互信息量的性质232 平均互信息量的性质 (1) 非负性非负性： （2-32）0;0;ZYXIYXI (2) 互易性互易性： I(X ; Y)= I(Y ; X) （2-33） 由 的对称性可得到。 ijijijijyxqyxpyxpYXI)()()(log)(; )(;)(;bYHYXIaXHYXI342342(3)现在学习的是第42页，共68页I(X;Y)= H（X）-H（XY） (2-35)I(X;Y)= H（Y）-H（YX） (2-36) I(X;Y)= H(X)+ H(Y)- H(XY ) (2-37) 2平均互信息量与信源熵、条件熵的关系平均互信息量与信源熵、条件熵的

31、关系2-7维拉图 XHYXHXYH YHYXI;YXH ,它们之它们之间的关间的关系可以系可以用维拉用维拉图表示图表示现在学习的是第43页，共68页 设X为发送消息符号集，Y为接收符号集，H(X)是输入集的平均不确定性,H（XY）是观察到Y后，集X还保留的不确定性，二者之差I(X;Y)就是在接收过程中得到的关于X,Y的平均互信息量。 对于无扰信道，I(X ; Y)=H(X)。 对于强噪信道，I(X ; Y)= 0。从通信的角度来讨论平均互信息量I(X ; Y)的物理意义由第一等式I(X;Y)= H（X）-H（XY）看I(X;Y)的物理意义现在学习的是第44页，共68页 对于无扰信道，有I(X

32、; Y)=H(X)=H(Y)。 对于强噪信道，有H（YX）= H（Y），从而I(X ; Y) = 0。H(Y)是观察到Y所获得的信息量(即Y的平均不确定性)，H（YX）是发出确定消息X后，由于干扰而使Y存在的平均不确定性， 二者之差I(X ; Y)就是一次通信所获得的信息量。由第二等式I(X;Y)= H（Y)-H（YX）看I(X;Y)的物理意义现在学习的是第45页，共68页通信前，随机变量X和随机变量Y可视为统计独立，其先验不确定性为H(X)+ H(Y)，通信后，整个系统的后验不确定性为H(XY)，二者之差H(X)+ H(Y)- H(XY)就是通信过程中不确定性减少的量，也就是通信过程中获得的

33、平均互信息量I(X ; Y)。由第三等式I(X;Y)= H(X)+ H(Y)- H(X,Y)看I(X;Y)的物理意义现在学习的是第46页，共68页【例例2.15】已知信源消息集为X=0,1,接收符号集为Y=0,1，通过有扰信道传输，其传输特性如图2-8所示，这是一个二进制对称信道BSC。已知先验概率 , 计算平均互信息量I( X;Y)及各种熵。 0 1- 0 1 1- 1 图2-8 二进制对称信道记 q(x)为信源输入概率； (y)为信宿输出概率； p(yx)为信道转移概率； (xy)为后验概率。现在学习的是第47页，共68页（1）由图2-8得 ，先算出p(xi yj)= q(xi)p(yjx

34、i) 11P P)1 ( 5 . 0) 00 () 0 ()00(pqp5 . 0) 01 () 0 ()01(pqp5 . 0) 10() 1 ()10(pqp)1 ( 5 . 0) 11 () 1 ()11(pqp （2）计算 得：ijijyxpy)()(iippxp5 . 05 . 0)1 ( 5 . 0)10()00() 0() 0 (5 . 0)1 ( 5 . 05 . 0)11()01() 1() 1 (iippxp现在学习的是第48页，共68页 （3） 计算后验概率，得： 15 . 0)1 (5 . 0)0()00()00(p5.05.0)1()01()10(p5.05.0)0(

35、)10()01(p15 . 0)1 ( 5 . 0) 1 ()11() 11 (p（4）计算各种熵及平均互信息量：信源熵信源熵 信宿熵信宿熵 联合熵联合熵 = -2 0.5 (1-) log 0.5(1-)-2 0.5log 0.5 = log2 - (1-) log (1-)-log = log2 + H 2 () 式中： iiixqxqXH2log5 . 0log5 . 05 . 0log5 . 0)(log)( jjjyyYH2log5 . 0log5 . 05 . 0log5 . 0)(log)(ijijjiyxpyxpXYH)(log)(log)1log()1 ()(2H现在学习的是

36、第49页，共68页散布度散布度 = -p(00) log p(00)-p(01) log p(10)-p(10) log p(01)-p(11) log p(11) = -2 0.5 (1-) log (1-)-2 0.5log= H 2 ()ijijjixypyxpXYH)(log)(可疑度可疑度 = -p(00) log(00)-p(01) log(01)-p(10) log(10)-p(11) log(11) = -2 0.5 (1-) log (1-)-2 0.5log= H 2 ()ijjijiyxyxpYXH)(log)(平均互信息量 I(X ; Y)= H(X)+ H(Y)- H

37、(XY) = log2 + H 2 () 现在学习的是第50页，共68页研究通信问题，主要研究的是信源和信道，它们的统计特性可以分别用消息先验概率q(x)及信道转移概率p(yx)来描述，而平均互信息量I(X ; Y)是经过一次通信后信宿所获得的信息。由式（2-30）知道，平均互信息量定义平均互信息量定义为： （2-38）)()()(log)();(jijiijjiyxqyxpyxpYXIiiijijijiijxqxypxypxqxyp)()()(log)()(233 有关平均互信息量的两条定理上式说明上式说明I( (X ; Y) )是信源分布概率是信源分布概率q( (x) )和信道转移概率和信

38、道转移概率p(yx)的函数，下面两条定理阐明了的函数，下面两条定理阐明了I( (X ; Y) )与与q( (x) )和和p(yx)之间的关系。之间的关系。现在学习的是第51页，共68页定理定理2.1 当信道给定，即信道转移概率p(yx)固定，平均互信息量I(X ; Y)是信源概率分布q(x)的型凸函数。两个信源分布q1(x)和q2(x)，分别对应平均互信息量I1(X ; Y)和I2(X ; Y)，记概率分布q(x)=q1(x)+(1-)q2(x) （式中0 1），对应平均互信息量I(X ; Y)，若I(X ; Y)是型凸函数，则应满足： I1(X ; Y)+(1-) I2(X ; Y) I(X

39、 ; Y) （2-39）式(2-39)表示：函数的均值小于等于均值的函数，见图2-9 图2-9函数的均值均值的函数q1 q1+(1-) q2 q2 q(x)I (q1)+(1-) I (q2Iq(x)I q1+(1-) q2现在学习的是第52页，共68页【例例2.1 6】 二 进 制 对 称 信 道B S C如 图2 - 1 0所 示 ， 输 入 符 号 集X =x1,x2=0,1，输出符号集Y =y1,y2=0,1，信道转移概率矩阵 ，信源分布为： ，计算平均互信 息量 I(X;Y)= H（Y）-H（YX） 定理2.1说明，信道固定时，对于不同的信源分布，信道输出端获得的信息量是不同的。因此

40、，对于每一个固定信道，一定存在一种信源（一种分布）q(x)，使输出端获得的信息量最大。11P P0 1- 0 1 1- 1 图2-10 二进制对称信道110)(XqX现在学习的是第53页，共68页先由 算出：(0) = q(0) p(00) + q(1) p(01) =(1-) + (1-)(1) = 1-(0) )()()(iijijxypxqy再计算熵和条件熵 = H2 (1-) + (1-) = - (1-) log (1-)-log= H2 () )(log)(21jjjyyYH)(log)()(ijiijijxypxqxypXYH现在学习的是第54页，共68页则平均互信息量I(X;Y

41、)= H（Y)-H（YX）= H2 (1-) + (1-) - H2 () 当信道固定，即 为恒值，则I(X;Y)是的函数，其曲线如下图2-11所示。当= 0.5时,I(X ; Y)取得极大值，其值为log 2 -H2(),这种情况对应等概分布,信源的平均不确定性最大. 当= 0或1时，这是确定信源的情况，通信得不到任何信息，即I(X ; Y) = 0。 图2-11为恒值时的I(X;Y)曲线0 0.5 1log 2 -H2()I(X;Y)现在学习的是第55页，共68页定理定理2.2 当信源给定，即信源分布概率q(x)固定，平均互信息量I(X ; Y)是信道转移概率p(yx)的型凸函数。在信源固

42、定的情况下，如果给定两个信道转移概率p1(yx)和p2(yx)，它们分别对应平均互信息量I1(X ; Y)和I2(X ; Y)，记信道转移概率p(yx)=p1(yx)+(1-) p2(yx) (式中（0 1），对应平均互信息量I (X ; Y)，若I (X ; Y)是p(yx)的型凸函数，则应满足： I(X ; Y) I1(X ; Y)+(1-) I2(X ; Y) （2-40）现在学习的是第56页，共68页式(2-40)表示：均值的函数小于等于函数的均值，如图2-12所示。 定理2.2说明，信源固定以后，用不同的信道来传输同一信源符号时，在信道输出端获得的信息量是不同的。可见，对每一种信源一

43、定存在一种最差的信道，此信道的干扰最大，而使输出端获得的信息量最小。图2-12 函数的均值均值的函数)(xypI)(xyp p1 p1+(1-) p2 p2 I p1+(1-) p2 I (p1)+(1-) I (p2) 现在学习的是第57页，共68页24 N维扩展信源的熵和平均互信息量信源输出序列为x= x1 xi xN ，xia0,a1,ak-1，记 x= x1 x 2 xN的概率分布为q (x)，则信源熵为 (2-41)x xx xx xX XqqH1log241 N维扩展信源的熵维扩展信源的熵 下面分两种情况来考虑：1信源离散无记忆 按式(2-41)可计算出该信源的熵： （242）Ni

44、ixHH1)(X X现在学习的是第58页，共68页2信源离散有记忆在信源输出符号相互有关连的情况下，信源输出序列x= x1 x 2 xN 的概率为p (x) = p (x1) p (x2x1) p(x3x1x2) p(xNx1x2xN -1)，相应可以计算出其信源熵H (X) = H ( X1) +H (X2X1) +H (X3X1X2)+ +H (XNX1X2XN -1)记为： （2-44）NiiiXHH111X XX X根据熵的性质(6)，条件熵小于等于无条件熵，即有 （2-45）NNNXHXXXXHXHXXXHXHXXH1213213212熵的链规则熵的链规则现在学习的是第59页，共68

45、页将式(2-45)代入式(2-44)得： （2-46）等号在信源无记忆（统计独立）时成立。NiiXHH1X X H (X) N H ( X ) (2-49)等号在信源无记忆时成立对于平稳信源现在学习的是第60页，共68页先看二维情况： I (X;Y1Y2) = I (X;Y1) + I (X;Y2Y1) （2-50） 242 N维扩展信源的平均互信息维扩展信源的平均互信息量量 类似推广到三维，则有：I (X;Y1Y2Y3) = I (X;Y1) + I (X;Y2Y1) + I (X;Y3Y1Y2) 推广到N维矢量的情况，则有I (X;Y) = I (X;Y1) + I (X;Y2Y1) +

46、+ I (X;YNY1Y2 YN -1) 记为： （2-51）NiiiYXIXI111;Y YY Y平均互信息量的链规则平均互信息量的链规则现在学习的是第61页，共68页 对于复合事件的平均互信息量，下式成立： （2-52）上式说明复合事件的信息量大于单个事件的信息量。 );();();();(ZXIYZXIYXIYZXI现在学习的是第62页，共68页定理定理2.3 如果信源离散无记忆，即信源输出序列x = x1 x2 xN中各xi ( i = 1, 2, , N) 统计独立，则信道输入、输出符号序列间的平均互信息量I（X；Y）大于等于各单个符号间平均互信息量的总和，即有 （2-55） Nii

47、iYXII1;Y YX X;等号成立的条件这个条件意味着要求信道也是离散无记忆的。 NiiiYXHH1Y YX X243 有关N维平均互信息量的两条定理现在学习的是第63页，共68页定理定理2.4 若信道离散无记忆，则信道输入、输出符号序列间的平均互信息量I（X；Y）小于等于各单个符号间平均互信息量的总和，即有 （2-57） NiiiYXII1;Y YX X;等号成立的条件 ，即要求信宿是离散无记忆的，这在离散无记忆信道传输条件下，说明信源分布是离散无记忆的。 NiiYHH1Y Y现在学习的是第64页，共68页1.本章主要阐述了对各种信息量的度量，主要内容如下：（1）信息量I(xi) = -

48、log q(xi) 对自信息量求统计均值，得到熵（2）条件自信息量I(xiyj) = - log(xiyj) 对I(xiyj)求统计均值，得到条件熵（3）条件自信息量I(yjxi) = - log p (yjxi) 对I(yjxi)求统计均值，得到条件熵 iiixqxqXH)(log)()(log)()(jiijjiyxyxpYXH)(log)()(ijijjixypyxpXYH本本 章章 小小 结结现在学习的是第65页，共68页)()()(log)()(log)()(log);(jijijijijijiyxqyxpyxypxqyxyxI （5） 二个事件之间的互信息 对I(xi ；yj)求统

49、计均值，得到平均互信息量I (X;Y) = H (X) H (XY) = H (Y) H (YX)= H(X)+ H(Y)- H(XY)2.前面针对个别事件的各种信息量，可看作是一过渡物理量，我们关心的还是它们所对应的统计平均值，上面列出的5个有关信息量的统计平均值，可用维拉图帮助理清他们之间的关系。（4）二维联合空间的自信息量I(xi yj) = - log p(xi yj) 对I(xi yj)求统计均值，得到联合熵)(log)(jijijiyxpyxpXYH现在学习的是第66页，共68页 1 极大熵定理 2定理2.1信道给定，I（X；Y）是信源的型凸函数3定理2.2信源给定，I（X；Y）是信道的型凸函数3.本章介绍了三个重要定理，请予关注：现在学习的是第67页，共68页感谢大家观看8/23/2022现在学习的是第68页，共68页