信息论与编码 信源与信息熵PPT讲稿.ppt

《信息论与编码 信源与信息熵PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《信息论与编码 信源与信息熵PPT讲稿.ppt（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论与编码信息论与编码信息论与编码信息论与编码 信源与信源与信源与信源与信息熵信息熵信息熵信息熵第1页，共63页，编辑于2022年，星期四2.1 2.1 信源的描述和分类信源的描述和分类2.2 2.2 离散信源熵和互信息离散信源熵和互信息2.3 2.3 离散序列信源熵离散序列信源熵2.4 2.4 连续信源的熵和互信息连续信源的熵和互信息2.5 2.5 冗余度冗余度内容内容2第2页，共63页，编辑于2022年，星期四2.3 2.3 离散序列信源熵离散序列信源熵3第3页，共63页，编辑于2022年，星期四2.3 2.3 离散序列信源熵离散序列信源熵 前面讨论了单个单个消息（符号）的离散信源熵，并

2、较详细地讨论了它的性质。然而实际信源的输出往往是空间或时间的离散随机序列离散随机序列，其中有无记忆的离散信源熵序列，当然更多的序列是有记忆的，即序列中的符号之间有相关性。此时需要用联合概率分布函数联合概率分布函数或条件条件概率分布函数概率分布函数来描述信源发出的符号间的关系。这里讨论离散无记忆序列信源和两类较简单的离散有记忆序列信源(平稳序列和齐次遍历马尔可夫链信源)。4第4页，共63页，编辑于2022年，星期四离散信源离散无记忆信源离散有记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源2.3.1 2.3.1 离散无记忆信源的序列熵离散

3、无记忆信源的序列熵发出单个符号的信源指信源每次只发出一个符号代表一个消息；发出符号序列的信源指信源每次发出一组含二个以上符号的符号序列代表一个消息。5第5页，共63页，编辑于2022年，星期四发出符号序列的信源发出单个符号的信源6第6页，共63页，编辑于2022年，星期四离散无记忆信源的序列熵离散无记忆信源的序列熵 随机序列的概率为 设信源输出的随机序列为 X=(X1X2XlXL)序列中的单个符号变量Xlx1,x2,xn,l=1,2,L.X称为离散无记忆信源X的L次扩展信源 7第7页，共63页，编辑于2022年，星期四离散无记忆信源的序列熵离散无记忆信源的序列熵 信源的序列熵为随机序列的概率为

4、 8第8页，共63页，编辑于2022年，星期四离散无记忆信源的序列熵离散无记忆信源的序列熵 当信源无记忆时 信源的序列熵 9第9页，共63页，编辑于2022年，星期四离散无记忆信源的序列熵离散无记忆信源的序列熵若又满足平稳特性,即与序号l无关时：信源的序列熵 平均每个符号(消息)熵为 离散无记忆信源平均每个符号的符号熵HL(X)等于单个符号信源的符号熵H(X)10第10页，共63页，编辑于2022年，星期四例例:有一个无记忆信源随机变量X(0,1),等概率分布,若以单个符号单个符号出现为一事件,则此时的信源熵:即用 1比特就可表示该事件。如果以两个符号两个符号出现(L=2的序列)为一事件，则随

5、机序列X(00,01,10,11)，信源的序列熵序列熵即用2比特才能表示该事件。信源的符号熵11第11页，共63页，编辑于2022年，星期四例例:有一离散平稳无记忆信源 求：二次二次扩展信源的熵X2信源的元素 a1 a2a3a4a5a6a7a8a9对应的消息序列 x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3 x2x3 x3概率p(ai)1/4 1/81/81/81/16 1/161/81/16 1/1612第12页，共63页，编辑于2022年，星期四平均每个符号(消息)熵为 信源的序列熵序列熵为 13第13页，共63页，编辑于2022年，星期四2.3.2 离散有记忆信源序列熵离

6、散有记忆信源序列熵对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念,而且只能在某些特殊情况下才能得到一些有价值的结论。对于由两个符号组成的联合信源,有下列结论:当前后符号无依存关系时,有下列推论：14第14页，共63页，编辑于2022年，星期四信源的联合熵(即前后两个符号(X1,X2)同时发生的不确定度)等于信源发出前一个符号X1的信息熵加上前一个符号X1已知时信源发出下一个符号X2的条件熵。对于一般的有记忆信源如文字、数据等，它们输出的不是单个或两个符号，而是由有限个符号组成的序列，这些输出符号之间存在着相互依存的关系。可依照上述结论来分析序列的熵值。离散有记忆信源序列熵离散

7、有记忆信源序列熵15第15页，共63页，编辑于2022年，星期四若信源输出一个L长序列,则信源的序列熵为平均每个符号的熵为：若当信源退化为无记忆时:若进一步又满足平稳性时 16第16页，共63页，编辑于2022年，星期四a0a1a2a09/112/110a11/83/41/8a202/97/9例例2-12已知离散有记忆信源中各符号的概率空间为:设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概率p(aj|ai)表示,如表.p(aj|ai)求离散信源的序列熵和平均每个符号熵?17第17页，共63页，编辑于2022年，星期四由 p(ai,aj)=p(ai)p(aj|ai)计算得联合概率

8、p(ai aj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36当信源符号之间无依赖性时,信源X的信息熵为当考虑符号之间有依赖性时,计算得条件熵 H(X2|X1)H(X)信源的条件熵比无依赖时的熵H(X)减少了0.671比特,这正是因为符号之间有依赖性所造成的结果。18第18页，共63页，编辑于2022年，星期四联合熵H(X1,X2)表示平均每二个信源符号所携带的信息量。我们用1/2H(X1,X2)作为二维平稳信源X的信息熵的近似值。那么平均每一个信源符号携带的信息量近似为:符号之间存在关联性发二重符号序列的熵 比较或或19第19页，共63页，编辑于2022

9、年，星期四离散平稳信源离散平稳信源对于离散平稳信源,有下列结论：条件熵H(XL|XL-1)随L的增加是非递增的条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。平稳性，联合平稳性，联合概率具有时间概率具有时间推移不变性。推移不变性。20第20页，共63页，编辑于2022年，星期四 HL(X)是L的单调非增函数 HL(X)HL-1(X)H(X)称为平稳信源的极限熵或极限信息量 H0(X)H1(X)H2(X)H(X)L给定时,平均符号熵条件熵：H L(X)H(XL|XL-1)推广结论推广结论3可得：可得：不等不等概率概率无无记忆记忆信源单信源单个符号的熵个符号的熵两个符号组两个符

10、号组成的成的序列平序列平均符号熵均符号熵等概率等概率无记无记忆信源忆信源单个单个符号的熵符号的熵21第21页，共63页，编辑于2022年，星期四马尔可夫信源的信息熵马尔可夫信源的信息熵 马尔可夫信源马尔可夫信源齐次、遍历的马尔可夫信源的熵齐次、遍历的马尔可夫信源的熵马尔可夫链的马尔可夫链的稳态分布稳态分布22第22页，共63页，编辑于2022年，星期四s2s31/0.61/0.20/0.5s11/0.51/0.10/0.9例2-13 三状态马尔可夫信源0/0.823第23页，共63页，编辑于2022年，星期四24第24页，共63页，编辑于2022年，星期四2.5 2.5 冗余度冗余度25第25

11、页，共63页，编辑于2022年，星期四冗余度冗余度冗余度(多余度、剩余度)表示信源在实际发出消息时所包含的多余信息。冗余度：信源符号间的相关性。相关程度越大,信源的实际熵越小信源符号分布的不均匀性。等概率分布时信源熵最大。26第26页，共63页，编辑于2022年，星期四冗余度冗余度对于有记忆信源,极限熵为H(X)。这就是说我们需要传送这一信源的信息,理论上只需要传送H(X)即可。但必须掌握信源全部概率统计特性,这显然是不现实的。实际上,只能算出Hm(X)。那么与理论极限值相比,就要多传送Hm(X)H(X)。为了定量地描述信源的有效性,定义:信息效率冗余度27第27页，共63页，编辑于2022年

12、，星期四冗余度冗余度由于信源存在冗余度,即存在一些不必要传送的信息,因此信源也就存在进一步压缩其信息率的可能性。信源冗余度越大,其进一步压缩的潜力越大。这是信源编码与数据压缩的前提与理论基础。在实际通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，即所谓信源编码。但是考虑通信中的抗干扰问题，则需要信源具有一定的冗余度。因此在传输之前通常加入某些特殊的冗余度，即所谓信道编码，以达到通信系统中理想的传输有效性和可靠性。28第28页，共63页，编辑于2022年，星期四冗余度冗余度例：英文字母：等概率 H0=log27=4.76比特/符号 不等概率 H1=4.03比特/符号 考虑相关性

13、H2=3.32比特/符号 极限熵 H=1.4比特/符号冗余度英语文章有71%是由语言结构定好的,只有29%是自由选择29第29页，共63页，编辑于2022年，星期四习题习题2-262-3030第30页，共63页，编辑于2022年，星期四本章小结本章小结本章小结本章小结第31页，共63页，编辑于2022年，星期四信源的描述信源的描述一个离散信源发出的各个符号消息的集合为：它们的概率分别为p(xi):xi的先验概率先验概率单符号离散信源的数学模型概率空间a,b,c,z32第32页，共63页，编辑于2022年，星期四00011110状态转移概率矩阵符号条件概率矩阵(1)1/2(1)3/4(0)1/3

14、(0)1/4(0)1/2(0)1/5(1)2/3(1)4/5s2s1s4s3马尔可夫信源马尔可夫信源33第33页，共63页，编辑于2022年，星期四稳态分布概率稳态后的符号概率分布34第34页，共63页，编辑于2022年，星期四离散信源熵和互信息离散信源熵和互信息问题：问题：什么叫不确定度？什么叫自信息量？什么叫平均不确定度？什么叫信源熵？什么叫平均自信息量？什么叫条件熵？什么叫联合熵？联合熵、条件熵和熵的关系是什么？35第35页，共63页，编辑于2022年，星期四离散信源熵和互信息离散信源熵和互信息问题：问题：什么叫后验概率？什么叫互信息量？什么叫平均互信息量？什么叫疑义度？什么叫噪声熵（或

15、散布度）？数据处理定理是如何描述的？熵的性质有哪些？36第36页，共63页，编辑于2022年，星期四自信息量自信息量设离散信源X，其概率空间为I(xi)含义:当事件xi发生以前,表示事件xi 发生的不确定性当事件xi发生以后,表示事件xi所含有的信息量37第37页，共63页，编辑于2022年，星期四自信息量自信息量不确定度定义：随机事件(符号)的不确定度在数量上在数量上等于它的自信息量。说明:两者的单位相同，但含义却不相同。具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。38第38页，共63页，编辑于2022年，

16、星期四自信息量自信息量I(xi)的特性：I(xi)是非负值 当p(xi)=1时，I(xi)=0 当p(xi)=0时，I(xi)=I(xi)是先验概率p(xi)的单调递减函数，即 当p(x1)p(x2)时，I(x1)I(x2)两个独立事件的联合信息量等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。39第39页，共63页，编辑于2022年，星期四自信息量自信息量自信息量条件自信息量联合自信息量40第40页，共63页，编辑于2022年，星期四离散信源熵离散信源熵自信息量I(xi)只是表征信源中各个符号xi的不确定度，而一个信源总是包含着多个符号消息，各个符号消息又按概率空间

17、的先验概率分布，因而各个符号的自信量就不同。所以，自信息量I(xi)是与概率分布有关的一个随机变量，不能作为信源总体的信息量度。对这样的随机变量只能采取求平均的方法。信息熵：从平均意义上来表征信源的总体信息测度的一个量。41第41页，共63页，编辑于2022年，星期四离散信源熵离散信源熵离散信源熵H(X)信源熵具有以下三种物理含意：信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。信息熵H(X)表示信源输出前,信源的平均不确定性。信息熵H(X)反映了变量X的随机性。42第42页，共63页，编辑于2022年，星期四例27该信源X输出符号只有两个,设为0和1输出符号发生的概率分别为p和

18、q，pq=l。即信源的概率空间为 则二元信源熵为 H(X)=plogpqlogq =plogp(1 p)log(1p)=H(p)43第43页，共63页，编辑于2022年，星期四信源信息熵H(X)是概率p的函数,通常用H(p)表示p取值于0，1区间。H(p)函数曲线如图所示。如果二元信源的输出符号是确定的,即p=1或q=1,则该信源不提供任何信息。当二元信源符号0和1以等概率发生时,信源熵达到极大值,等于1比特信息量。44第44页，共63页，编辑于2022年，星期四信源熵信源熵无条件熵无条件熵条件熵条件熵 在给定yj条件下，xi的条件自信息量为I(xi|yj),X 集合的条件熵H(X|yj)为在

19、给定Y(即各个yj)条件下,X集合的条件熵H(X|Y)45第45页，共63页，编辑于2022年，星期四信源熵信源熵H(X,Y)H(X)H(Y|X)H(X,Y)H(Y)H(X|Y)无条件熵、条件熵、联合熵之间的关系无条件熵、条件熵、联合熵之间的关系联合熵联合熵 联合熵是联合符号集合(X,Y)上的每个元素对(xi,yj)的自信息量的概率加权统计平均值。表示X 和Y同时发生的不确定度。46第46页，共63页，编辑于2022年，星期四互信息互信息互信息定义为 xi的后验概率与先验概率比值的对数互信息I(xi;yj)表示接收到某消息yj后获得的关于事件xi的信息量。47第47页，共63页，编辑于2022

20、年，星期四平均互信息平均互信息平均互信息定义 信息=先验不确定性后验不确定性 =不确定性减少的量Y未知,X 的不确定度为H(X)Y已知,X 的不确定度变为H(X|Y)48第48页，共63页，编辑于2022年，星期四维拉图维拉图 H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)49第49页，共63页，编辑于2022年，星期四条件熵条件熵H(X|Y)：信道疑义度，损失熵信源符号通过有噪信道传输后所引起的信息量的损失。信源X的熵等于接收到的信息量加上损失掉的信息量。H(Y|X)：噪声熵，散布熵它反映了信道中噪声源的不确定性。输出端信源Y 的熵H(Y)等于接收到关于X的信息量I(X;Y)

21、加上H(Y|X),这完全是由于信道中噪声引起的。50第50页，共63页，编辑于2022年，星期四收发两端的熵关系收发两端的熵关系I(X;Y)H(X)H(Y)H(X/Y)疑义度疑义度 H(Y/X)噪声熵噪声熵51第51页，共63页，编辑于2022年，星期四数据处理定理数据处理定理数据处理定理说明：当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。52第52页，共63页，编辑于2022年，星期四熵的性质熵的性质1.非负性非负性 H(X)H(p1，p2，pn)0式中等号只有

22、在pi=1时成立。2.对称性对称性 H(p1，p2，pn)=H(p2，p1，pn)例如下列信源的熵都是相等的：53第53页，共63页，编辑于2022年，星期四熵的性质熵的性质3.确定性确定性 H(X)H(p1，p2，pn)0只要信源符号中有一个符号出现概率为1,信源熵就等于零。4.极值性极值性(香农辅助定理香农辅助定理)对任意两个消息数相同的信源 54第54页，共63页，编辑于2022年，星期四熵的性质熵的性质5.最大熵定理 离散无记忆信源输出M个不同的信息符号,当且仅当各个符号出现概率相等时即(pi1/M)熵最大。6.条件熵小于无条件熵 55第55页，共63页，编辑于2022年，星期四离散无

23、记忆信源的序列熵离散无记忆信源的序列熵信源的序列熵 平均每个符号(消息)熵为 56第56页，共63页，编辑于2022年，星期四离散有记忆信源的序列熵离散有记忆信源的序列熵若信源输出一个L长序列,则信源的序列熵为平均每个符号的熵为：57第57页，共63页，编辑于2022年，星期四离散平稳信源离散平稳信源对于离散平稳信源,有下列结论：条件熵H(XL|XL-1)随L的增加是非递增的条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。58第58页，共63页，编辑于2022年，星期四离散平稳信源离散平稳信源 HL(X)是L的单调非增函数 HL(X)HL-1(X)H称为平稳信源的极限熵或极

24、限信息量 H0(X)H1(X)H2(X)H(X)L给定时,平均符号熵条件熵：H L(X)H(XL|XL-1)推广结论推广结论3可得：可得：59第59页，共63页，编辑于2022年，星期四马尔可夫信源的信息熵马尔可夫信源的信息熵 齐次、遍历的马尔可夫信源的熵马尔可夫信源60第60页，共63页，编辑于2022年，星期四冗余度冗余度冗余度(多余度、剩余度)表示信源在实际发出消息时所包含的多余信息。冗余度：信源符号间的相关性。信源符号分布的不均匀性。信息效率冗余度61第61页，共63页，编辑于2022年，星期四概率论基础概率论基础无条件概率、条件概率、联合概率的性质和关系62第62页，共63页，编辑于2022年，星期四概率论基础概率论基础无条件概率、条件概率、联合概率的性质和关系63第63页，共63页，编辑于2022年，星期四