第二章信源及其信息量李伟优秀课件.ppt

第二章信源及其信息量李伟第1页，本讲稿共75页 2.1 2.1 信源基本分类及其数学模型信源基本分类及其数学模型 在通信系统中，收信者在未收到信息以前，对信源发出什么样的消息是不确定的，是随机的，所以可以用随机变量、随机矢量或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度来描述信源。不同的信源根据其输出消息的不同的随机性质进行分类。第2页，本讲稿共75页1、离散信源 数学模型如下：集合X中，包含该信源包含的所有可能输出的消息，集合P中包含对应消息的概率密度，各个消息的输出概率总和应该为1。例：天气预报无记忆信源无记忆信源X的各时刻取值相互独立。有记忆信源有记忆信源X的各时刻取值互相有关联。第3页，本讲稿共75页2、连续信源 数学模型如下：每次只输出一个消息，但消息的可能数目是无穷多个。例：电压、温度等。第4页，本讲稿共75页n2.2.1.2.2.1.自信息量自信息量 2.2 2.2 离散信源及其信息量离散信源及其信息量 针对信源X某一单个消息或符号第5页，本讲稿共75页【例例2.1】若盒中有6个电阻，阻值为1、2、3的分别为2个、1个、3个，将从盒子中取出阻值为i的电阻记为事件 （i=1，2，3），则事件集X=x1,x2,x3，其概率分布 计算出各事件的自信息量列表2-1如下：消息xi x1 x2 x3 概率分布q(xi)1/3 1/6 1/2 自信息量I(xi)log 3 log 6 log 2 第6页，本讲稿共75页自信息量自信息量I(ai)代表两种含义代表两种含义：1.事件ai发生以前，表示事件发生的先验不确定性2.当事件ai发生以后，表示事件ai所能提供的最大信息量（在无噪情况下）第7页，本讲稿共75页二维联合集X Y上元素xi yj的联合自信息量I(xi yj)定义为：条件自信息量在已知事件yj条件下,随机事件xi发生的概率为条件概率p(xiyj),条件自信息量 定义为：联合自信息量第8页，本讲稿共75页【例例2.2】某住宅区共建有若干栋商品房，每栋有5个单元，每个单元住有12户，甲要到该住宅区找他的朋友乙，若：1.甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到多少信息？2.甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到乙的概率又有多大？他能得到多少信息？用xi代表单元数，yj代表户号：（1）甲 找 到 乙 这 一 事 件 是 二 维 联 合 集 X Y上 的 等 概 分 布 ，这一事件提供给甲的信息量为 I(xi yj)=-log p(xi yj)=log60=5.907（比特）（2）在二维联合集X Y上的条件分布概率为 ，这一事件提供给甲的信息量为条件自信息量 I(yjxi)=-logp(yjxi)=log12=3.585（比特）第9页，本讲稿共75页2.2.2 2.2.2 离散集的平均自信息量离散集的平均自信息量 平均自信息量平均自信息量(熵熵)人们注意的是整个系统的统计特性，当信源各个消息的出现概率相互统计独立时，这种信源称为无记忆信源，无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值（统计平均值），即平均自信息量平均自信息量H(X)定义为：H(X)的表达式与统计物理学中的热熵具有相类似的形式，在概念上二者也有相同之处，故借用熵这个词把H(X)称为集合X的信息熵信息熵，简称熵。第10页，本讲稿共75页【例例2.3】计算下列信源的熵（1）信源一：熵 H(X1)=-0.99log0.990.01log0.01=0.08（比特/符号）（2）信源二：等概信源熵 H(X2)=-0.5log0.50.5log0.5=1（比特/符号）（3）信源三:等概信源熵 H(X3)=-40.25log0.25=log4=2（比特/符号）第11页，本讲稿共75页(5)信源五：一般情况下，二元信源的概率分布为 熵 H(X)=log-（1）log（1）记H2()=log-（1）log（1）H2()与的关系如图22所示。（4）信源四：信源为确定事件 熵H(X4)=-0log01log1=0 计算结果说明确定事件的熵为零 H 2 2()()00.51 图图 2-2 2-2 H2()与与关系关系第12页，本讲稿共75页平均条件自信息量平均条件自信息量(条件熵条件熵)若事件xi,yj的联合分布概率为p(xiyj)，给定yj条件下事件xi的条件自信息量为I(xiyj)，则H(XY)定义为：第13页，本讲稿共75页从通信角度来看：若将X=x1，x2，xi，视为信源输出符号；Y=y1，y2，yj，视为信宿接收符号；从通信角度来看，H(XY)是收到确定消息yj后，由于信道干扰，关于发送的是否为xi仍具有的疑义度，故称H(XY)为疑义度（损失熵）。存在以下两种极端情况：（1）对于无噪信道H(XY)=0（2）在强噪声情况下，收到的Y与X毫不相干，可视为统计独立，H(XY)=H(X)第14页，本讲稿共75页（2）对于强噪信道，有H(YX)=H(Y)。（1）对于无扰信道，有H(YX)=0。从通信角度来看，H(YX)是发出确定消息xi后，由于信道干扰而使yj存在的平均不确定性，称H(YX)为噪声熵（散布度）。存在以下两种极端情况：第15页，本讲稿共75页联合熵联合熵联合熵H(XY)是定义在二维空间X Y上，对元素xi yj的自信息量的统计平均值，若记事件xiyj出现的概率为p(xi yj)，其自信息量为I(xi yj)，则联合熵H(XY)定义为 第16页，本讲稿共75页熵函数的性质熵函数的性质（1）对称性对称性集合X=x1，x2，xN 中的各元素x1，x2，xN任意改变其顺序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。例如 和 的熵是相等的。第17页，本讲稿共75页 （2）非负性非负性：H(X)0 （3）确定性确定性：在集合X=(x1，x2，xN)中，若有一个事件是必然事件，则其余事件必为不可能事件，即该集合的概率分布为 （4）可加性可加性：集合X=x1，x2，xi，xi+1，xN的概率分布为：则下式成立：H(X)=H(x1，x2，xi，xi+1，xN)第18页，本讲稿共75页？思考题：？思考题：若若有有6行行8列列的的棋棋方方格格看看，现现有有A,B两两个个质质点点分分别别以以等等概概率率落落入入方方格格内内，但但两两质质点点不不能能落落入入同同一一格格内内，若若A,B是是可可分分辨的，求辨的，求A,B同时落入的平均自信息量。同时落入的平均自信息量。第19页，本讲稿共75页.互信息量互信息量从通信的角度引出互信息量的概念信源符号X=x1，x2，xI，xia1,a2,ak，i=1,2,I。经过信道传输，信宿方接收到符号Y=y1，y2，yJ，yjb1,b2,bD，j=1,2,J。简单的通信模型 b1,b2,bD信源符号集a1,a2,ak信宿符号集干扰x1，x2，xIy1，y2，yJ信源信源信道信道信宿信宿2.2.3互信息量互信息量第20页，本讲稿共75页事件xi是否发生具有不确定性，用I(xi)度量。接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xiyj)度量。观察事件前后，这两者之差就是通信过程中所获得的信息量，用I(xi;yj)表示：。注：式I(xi；yj)和式I(xi，yj)的区别在于：前者是事件xiX和事件yjY之间的互信息量，后者是二维空间XY上元素xi yj 的自信息量。称上式为事件xi和事件yj之间的互信息量互信息量。第21页，本讲稿共75页定义xi X和yj Y之间的互信息量为I(xi;yj)，在集合X上对I(xi;yj)进行概率加权统计平均，可得I(X;yj)为：.平均互信息量平均互信息量 再将式对集合Y进行统计平均，就可以得到平均互信息量 当X,Y统计独立时，I(xi;yj)=0，从而I(X;Y)=0 第22页，本讲稿共75页2平均互信息量的性质 (1)非负性非负性：(2)互易性互易性：I(X;Y)=I(Y;X)由 的对称性可得到。(3)第26页，本讲稿共75页I(X;Y)=H（X）-H（XY）I(X;Y)=H（Y）-H（YX）I(X;Y)=H(X)+H(Y)-H(XY)平均互信息量与信源熵、条件熵的关系平均互信息量与信源熵、条件熵的关系维拉图它们它们之间之间的关的关系可系可以用以用维拉维拉图表图表示示第27页，本讲稿共75页 设X为发送消息符号集，Y为接收符号集，H(X)是输入集的平均不确定性,H（XY）是观察到Y后，集X还保留的不确定性，二者之差I(X;Y)就是在接收过程中得到的关于X,Y的平均互信息量。对于无扰信道，I(X;Y)=H(X)。对于强噪信道，I(X;Y)=0。从通信的角度来讨论平均互信息量I(X;Y)的物理意义由第一等式I(X;Y)=H（X）-H（XY）看I(X;Y)的物理意义第28页，本讲稿共75页 对于无扰信道，有I(X;Y)=H(X)=H(Y)。对于强噪信道，有H（YX）=H（Y），从而I(X;Y)=0。H(Y)是观察到Y所获得的信息量，H（YX）是发出确定消息X后，由于干扰而使Y存在的平均不确定性，二者之差I(X;Y)就是一次通信所获得的信息量。由第二等式I(X;Y)=H（Y)-H（YX）看I(X;Y)的物理意义第29页，本讲稿共75页通信前，随机变量X和随机变量Y可视为统计独立，其先验不确定性为H(X)+H(Y)，通信后，整个系统的后验不确定性为H(XY)，二者之差H(X)+H(Y)-H(XY)就是通信过程中不确定性减少的量，也就是通信过程中获得的平均互信息量I(X;Y)。由第三等式I(X;Y)=H(X)+H(Y)-H(X,Y)看I(X;Y)的物理意义第30页，本讲稿共75页【例例2.5】已知信源消息集为X=0,1,接收符号集为Y=0,1，通过有扰信道传输，其传输特性如图所示，这是一个二进制对称信道BSC。已知先验概率,计算平均互信息量I(X;Y)及各种熵。01 0 111 二进制对称信道记 q(x)为信源输入概率；(y)为信宿输出概率；p(yx)为信道转移概率；(xy)为后验概率。第31页，本讲稿共75页研究通信问题，主要研究的是信源和信道，它们的统计特性可以分别用消息先验概率p(x)及信道转移概率p(yx)来描述，而平均互信息量I(X;Y)是经过一次通信后信宿所获得的信息。平均互信息量定义平均互信息量定义为：上上式式说说明明I(X;Y)是是信信源源分分布布概概率率q(x)和和信信道道转转移移概概率率p(yx)的的函函数数，下下面面两两条条定定理理阐阐明明了了I(X;Y)与与q(x)和和p(yx)之间的关系。之间的关系。有关平均互信息量的两条定理有关平均互信息量的两条定理第35页，本讲稿共75页定定理理2.1 当信道给定，即信道转移概率p(yx)固定，平均互信息量I(X;Y)是信源概率分布q(x)的型凸函数。定定理理2.2 当信源给定，即信源分布概率q(x)固定，平均互信息量I(X;Y)是信道转移概率p(yx)的型凸函数。定理2.2说明，信源固定以后，用不同的信道来传输同一信源符号时，在信道输出端获得的信息量是不同的。可见，对每一种信源一定存在一种最差的信道，此信道的干扰最大，而使输出端获得的信息量最小。定理2.1说明，信道固定时，对于不同的信源分布，信道输出端获得的信息量是不同的。因此，对于每一个固定信道，一定存在一种信源（一种分布）q(x)，使输出端获得的信息量最大。第36页，本讲稿共75页2.2.4 2.2.4 离散信源序列离散信源序列熵熵信源输出序列为Xk=(x1xi xL），xia0,a1,an-1，记 Xk=x1x2xL 则信源熵为 下面分两种情况来考虑：信源离散无记忆 可计算出该信源的熵：H(XL)=H(X1)+H(X2X1)+H(X3X1X2)+H(XLX1X2XL 1)第40页，本讲稿共75页信源离散有记忆H(XL)=H(X1)+H(X2X1)+H(X3X1X2)+H(XLX1X2XL 1)记为：根据熵的关系，条件熵小于等于无条件熵，即有 熵的链规则熵的链规则第41页，本讲稿共75页 等号在信源无记忆（统计独立）时成立。H(XL)L H(X)等号在信源无记忆时成立对于平稳信源第42页，本讲稿共75页2.2.6 马尔可夫信源 在很多信源的输出序列中，符号之间的依赖关系是有限的，任何时刻信源符号发生的概率只与前边已经发出的若干个符号有关，而与更前面的符号无关。为了描述这类信源除了信源符号集外还要引入状态集。这时，信源输出消息符号还与信源所处的状态有关。若一个信源满足下面两个条件，则称为马尔可夫信源：（1）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关；（2）信源的下一个状态由当前状态和下一刻的输出唯一确定。第43页，本讲稿共75页（1）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关。即当符号输出概率与时刻L无关，称为具有时齐性。即第44页，本讲稿共75页（2）信源的下一个状态由当前状态和下一刻的输出唯一确定。条件（2）表明，若信源处于某一状态 ，当它发出 一个符号后，所处的状态就变了，一定转移到另一状态。状态的转 移依赖于发出的信源符号，因此任何时刻信源处在什么状态完全由前一时刻的状态和发出的符号决定。第45页，本讲稿共75页例：二阶马尔可夫信源，原始符号集为1,0，条件概率定为：P(0|00)=P(1|11)=0.8 P(1|00)=P(0|11)=0.2 P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5 由此可见，信源共有22=4种状态 E：e1=00,e2=01,e3=10,e4=11第46页，本讲稿共75页状态之间有转移概率，p(e2/e1)=p(e3/e4)=0.2p(e2/e4)=p(e1/e3)=p(e2/e3)=p(e3/e2)=0.5P(e1/e1)=p(e4/e4)=0.8 01 100:0.51:0.20:0.2 000:0.8 111:0.81:0.50:0.51:0.5其状态转移图如图。在状态转换图中，把信源的每一种状态用圆圈表示，用有向箭头表示信源发出某一符号后由一种状态到另一状态的转移。第47页，本讲稿共75页 由上例可知，m阶马尔可夫信源符号集共有q个符号，则信源共有 个不同状态。信源在某一时刻时，必然处于某一种状态，等到下一个字符输出时，转移到另外一个状态。第48页，本讲稿共75页举 例例例2.7设信源符号设信源符号Xx1,x2,x3，信源所处的状态，信源所处的状态Se1,e2,e3,e4,e5。各状态之间的转移情况由图。各状态之间的转移情况由图2.2.1给出。给出。第49页，本讲稿共75页n将图中信源在将图中信源在ei状态下发符号状态下发符号xk 的条件概率的条件概率p(xk/ei)用矩阵表示用矩阵表示n由矩阵看出：由矩阵看出：n由图中可得状态的一步转移概率：由图中可得状态的一步转移概率：n该信源满足马尔可夫信源定义。该信源满足马尔可夫信源定义。第50页，本讲稿共75页定义 为各状态的极限概率，则时齐、遍历的马尔可夫信源的熵为 第51页，本讲稿共75页马尔可夫信源的熵：这里给出结论：表明m阶马尔可夫信源的极限熵等于m阶条件熵。根据求条件熵公式还可得到或：为稳态概率，为信源处于某一状态下发出一个消息符号的平均不确定性。第52页，本讲稿共75页(3)举例例例2.8二元二元2阶阶马尔可夫信源，原始信号马尔可夫信源，原始信号X的符号集为的符号集为X1=0,X2=1，其，其状态空间共有状态空间共有nm=22=4个不同的状态个不同的状态e1,e2,e3,e4，即，即E：e1=00,e2=01,e3=10,e4=11状态转移图见右图所示。状态转移图见右图所示。解：解：p(e1/e1)=p(x1/e1)=p(0/00)=0.8p(e2/e1)=p(x2/e1)=p(1/00)=0.2 p(e3/e2)=p(x1/e2)=p(0/01)=0.5 p(e4/e2)=p(x2/e2)=p(1/01)=0.5 p(e1/e3)=p(x1/e3)=p(0/10)=0.5 p(e2/e3)=p(x2/e3)=p(1/10)=0.5 p(e3/e4)=p(x1/e4)=p(0/11)=0.2 p(e4/e4)=p(x2/e4)=p(1/11)=0.8第53页，本讲稿共75页n由二元信源由二元信源X0,1得到的状态空间得到的状态空间(e1,e2,e3,e4)和相应的一步转移和相应的一步转移概率构成的概率构成的2阶阶马尔可夫信源模型为马尔可夫信源模型为n求出稳定状态下的求出稳定状态下的p(ej)，称为，称为状态极限概率状态极限概率。n将一步转移概率代入上式得将一步转移概率代入上式得p(e1)=0.8p(e1)+0.5p(e3)p(e2)=0.2p(e1)+0.5p(e3)p(e3)=0.5p(e2)+0.2p(e4)p(e4)=0.5p(e2)+0.8p(e4)第54页，本讲稿共75页n解方程组得解方程组得p(e1)=p(e4)=5/14p(e2)=p(e3)=2/14n计算极限熵计算极限熵第55页，本讲稿共75页概念连续信源输出在时间、取值上都连续，属随机过程x(t)，以概率密度描述2.3 连续信源连续信源第60页，本讲稿共75页2.3.1连续信源的熵连续信源的熵熵计算两法法一n连续消息离散消息n再用离散信源方法计算法二n连续消息抽样时间离散的连续消息n分析时先量化，再令0第61页，本讲稿共75页分类n单变量信源无记忆信源(与单符号离散源相似)随机过程中取一个时间t1n多变量信源有记忆信源(与多符号离散源相似)随机过程中取多个时间ti说明n对单变量信源，可研究：数学期望、方差n对两变量信源，可研究：自相关函数第62页，本讲稿共75页一、单变量连续信源数学模型 (R连续变量X的取值范围)二、连续信源的熵由法二得：(上式中第2项为)即连续信源熵值无穷大(取值可能性无限多)舍第2项得定义(相对熵)第63页，本讲稿共75页两个连续变量n联合熵n条件熵第64页，本讲稿共75页2.3.2几种特殊连续信源的熵和最大熵定理几种特殊连续信源的熵和最大熵定理一、均匀分布信源：Hc(X)=log2(ba)结论熵值只与均匀分布间隔(ba)有关，若ba1，则Hc(X)为负第65页，本讲稿共75页二、高斯分布信源结论熵值只与方差有关，与m无关。第66页，本讲稿共75页三、指数分布信源 (m数学期望)结论熵值只与数学期望m有关第67页，本讲稿共75页四、最大熵定理1.限峰值功率的最大熵定理均匀分布的连续信源具最大熵2.限平均功率的最大熵定理高斯分布的连续信源具最大熵结论连续信源的最大熵因条件而异离散信源的最大熵出现于等概之时第68页，本讲稿共75页2.4 信源冗余度信源冗余度n由数据处理定理及离散熵的性质有n表明信源的记忆长度越长,熵就越小；即信源符号的相关性越强，所提供的平均信息量就越小。n定义：信源熵的相对率为信源实际的信息熵与同样符号数的最大熵的比值；信源的冗余度为1减去信源熵的相对率，冗余度也称为多余度，剩余度或富余度。第69页，本讲稿共75页*总总结结：通通信信的的效效率率和和可可靠靠性性问问题题往往往往是是一一对对矛矛盾盾，信信源源编编码码就就是是通通过过减减少少或或消消除除冗冗余余度度来来提提高高通通信信的的效效率率；而而信信道道编编码码是是通过增加冗余度来提高通信的抗干扰能力通过增加冗余度来提高通信的抗干扰能力冗余度信源可压缩程度第70页，本讲稿共75页1.本章主要阐述了对各种信息量的度量，主要内容如下：（1）信息量I(xi)=-log q(xi)对自信息量求统计均值，得到熵（2）条件自信息量I(xiyj)=-log(xiyj)对I(xiyj)求统计均值，得到条件熵（3）条件自信息量I(yjxi)=-logp(yjxi)对I(yjxi)求统计均值，得到条件熵本本 章章 小小 结结第71页，本讲稿共75页 （5）二个事件之间的互信息 对I(xi；yj)求统计均值，得到平均互信息量（4）二维联合空间的自信息量I(xi yj)=-log p(xi yj)对I(xi yj)求统计均值，得到联合熵（6）马尔可夫信源I(X;Y)=H(X)H(XY)=H(Y)H(YX)=H(X)+H(Y)H(XY)第72页，本讲稿共75页（7）连续信源连续信源的熵上式中第二项为无穷大，舍弃后连续信源的熵则为相对熵（或差熵）1.限峰值功率的最大熵定理均匀分布的连续信源具最大熵2.限平均功率的最大熵定理高斯分布的连续信源具最大熵最大熵定理第73页，本讲稿共75页2.前面针对离散信源中个别事件的各种信息量，可看作是一过渡物理量，我们关心的还是它们所对应的统计平均值，上面列出的5个有关信息量的统计平均值，可用维拉图帮助理清他们之间的关系。针对连续信源我们一般考虑连续信源熵之间的差，因此无穷大项可以抵消，熵变为相对熵。信源的可压缩程度由信源冗余度而定。第74页，本讲稿共75页1极大熵定理 3.本章介绍了几个重要定理，请予关注：2连续信源最大熵定理第75页，本讲稿共75页