信源与信息熵讲稿.ppt

《信源与信息熵讲稿.ppt》由会员分享，可在线阅读，更多相关《信源与信息熵讲稿.ppt（85页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信源与信息熵信源与信息熵信源与信息熵信源与信息熵1第一页，讲稿共八十五页哦本章内容本章内容信源的分类及基本的信源数学模型描述、自信息和信息熵的定义及性质、互信息的概念及性质、信源冗余度的描述等。本章重点本章重点理解信源不确定性的含义，熵函数H(X)的性质、平均互信息量的定义、性质，联合信源的联合熵、条件熵，离散平稳信源的信源熵、极限熵等概念和计算方法。了解马尔可夫信源的定义和计算方法。第二页，讲稿共八十五页哦2.1 2.1 信源的描述和分类信源的描述和分类第三页，讲稿共八十五页哦一、香农信息论的基本点一、香农信息论的基本点用随机变量或随机矢量来表示信源用概率论和随机过程的理论来研究信息常用的信

2、息度量方法统计度量。（另有结构度量、语义度量、语用度量和模糊度量等方法。）2.1 2.1 信源的描述和分类信源的描述和分类第四页，讲稿共八十五页哦二、信源的分类二、信源的分类按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类 信源信源离散信源离散信源连续信源连续信源连连续续信信源源是是指指发发出出在在时时间间和和幅幅度度上上都都是是连连续续分分布布的的连连续续消消息息（模模拟拟消消息息）的的信信源源，如如语语言言、图图像像、图图形形等等都都是是连连续续消息。消息。离离散散信信源源是是指指发发出出在在时时间间和和幅幅度度上上都都是是离离散散分分布布的的离离散散消息的

3、信源，如文字、数字、数据等符号都是离散消息。消息的信源，如文字、数字、数据等符号都是离散消息。5第五页，讲稿共八十五页哦离散信源离散信源离散无记忆信源离散无记忆信源离散有记忆信源离散有记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源离散无记忆信源离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。离散有记忆信源离散有记忆信源所发出的各个符号的概率是有关联的。发出单个

4、符号的信源发出单个符号的信源是指信源每次只发出一个符号代表一个消息。发出符号序列的信源发出符号序列的信源是指信源每次发出一组含二个以上符号的符号序列代表一个消息。发出符号序列的有记忆信源发出符号序列的有记忆信源是指用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征。发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源是指某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。6第六页，讲稿共八十五页哦三、信源的描述l单符号离散信源单符号离散信源定义：一个离散无记忆信源是由定义：一个离散

5、无记忆信源是由n个符号消息组成个符号消息组成的集合：的集合：X=x1，x2xn，这这n个符号消息的概率分布为：个符号消息的概率分布为：称为符号称为符号xi的先验概率，信源数学模型表示为：的先验概率，信源数学模型表示为：称为概率空间，其中称为概率空间，其中7第七页，讲稿共八十五页哦例如：对二进制数字与数据信源例如：对二进制数字与数据信源8第八页，讲稿共八十五页哦l单个连续信源单个连续信源 pX(x)为随机变量为随机变量X的概率密度函数的概率密度函数9第九页，讲稿共八十五页哦概率论知识复习 随机变量随机变量X和和Y分别取值于集合分别取值于集合 和和 X发生发生xi和和Y发生发生yj的概率的概率为为

6、p(xi)和和p(yj)，它们一定满足，它们一定满足0 p(xi),p(yj)1以及以及和和。如果考察。如果考察X和和Y同时发生同时发生xi和和yj的概率，则二者构成的概率，则二者构成联合随机变量联合随机变量XY，取值于集合，取值于集合xiyj|i=1,2,n,j=1,2,m，元素，元素xiyj发生发生的概率称为的概率称为联合概率联合概率，用，用p(xi yj)表示。表示。10第十页，讲稿共八十五页哦概率论知识复习如如X发生发生xi以后，以后，Y又发生又发生yj的的条件概率为条件概率为p(yj/xi)，代表代表xi已知的情况下，又出现已知的情况下，又出现yj的概率。当的概率。当xi不同不同时，

7、即使发生同样的时，即使发生同样的yj，其条件概率也不同，说明，其条件概率也不同，说明xi对对yj的影响。而的影响。而p(yj)则是对则是对xi一无所知情况下，一无所知情况下，yj发生的概率，有时相应地称为发生的概率，有时相应地称为p(yj)为为yj的无条件概的无条件概率。同理，率。同理，yj已知的条件下已知的条件下xi的的条件概率记为条件概率记为p(xi/yj)。相应地，相应地，p(xi)称为称为xi的无条件概率。的无条件概率。11第十一页，讲稿共八十五页哦概率论知识复习12第十二页，讲稿共八十五页哦概率论知识复习 1 1）条件概率）条件概率 2 2）联合概率）联合概率13第十三页，讲稿共八十

8、五页哦概率论知识复习 3)3)全概率：全概率：4)Bayes4)Bayes公式公式:14第十四页，讲稿共八十五页哦2.2 2.2 离散信源熵和互信息离散信源熵和互信息15第十五页，讲稿共八十五页哦2.2 离散信源熵和互信息信信源源发发出出消消息息，经经过过信信道道，到到达达信信宿宿，信信宿宿收收到到消消息息，获获得得了了信信息息，这这个个过过程程就就称称作作通通信信。我我们们现现在在来来研研究究通通信信的的源源头头，也也就就是是信信源源的的特特性性。那那么么实实际际有有用用的的信信源源应应该该具具有有什什么么特特性性呢呢？我我们们认认为为它它应应该该具具有有不不确确定定性性（不不肯肯定定性性）

9、。信信源源至至少少应应该该包包含含两两种种不不同同的的消消息息，例例如如两两元元信信元元（包包含含0、1），而而信信宿宿是是知知道道信信元元发发送送（0、1）的的，但但是是它它就就是是不不知知道道在在具具体体的的某某一一时时刻刻，信信源源发发送送的的是是哪个消息。这是显然的，如果它知道，就不需要通信了！哪个消息。这是显然的，如果它知道，就不需要通信了！一、一、不确定性不确定性16第十六页，讲稿共八十五页哦【例例2.1】某二元信源（含有两个不同消息的信源）某二元信源（含有两个不同消息的信源）发送发送1的概率的概率0.99，0的概率的概率0.01，信宿仅凭猜测就可以简单的认为信宿仅凭猜测就可以简单

10、的认为信源发出的消息始终都是信源发出的消息始终都是1，即使如此，猜错的概率仅为百分，即使如此，猜错的概率仅为百分之一。这说明在这种情况下，信源基本上在发送之一。这说明在这种情况下，信源基本上在发送1，信源的不，信源的不确定性很小。确定性很小。【例例2.2】某二元信源某二元信源发送发送1和和0的概率相等的概率相等，均为，均为0.5，这时，这时信宿不依赖通信仅凭猜测的话，猜错的概率高达信宿不依赖通信仅凭猜测的话，猜错的概率高达50%。这说。这说明在这种情况下，猜测信源发送什么消息就困难了，因为信源明在这种情况下，猜测信源发送什么消息就困难了，因为信源发送什么消息相当不确定。发送什么消息相当不确定。

11、17第十七页，讲稿共八十五页哦【例例2.3】如果信源具有更多的消息，例如发如果信源具有更多的消息，例如发10个个数字数字0,1.9(例如采用例如采用4位十进制树的中文电报位十进制树的中文电报)，而且假定这是个消息是等概率分布的，均为而且假定这是个消息是等概率分布的，均为0.1，这时信宿仅凭猜测的话，就更难猜了。因为信源这时信宿仅凭猜测的话，就更难猜了。因为信源发送什么消息更加不确定。发送什么消息更加不确定。【例例2.4】现在讨论一种极端的情况，信源只发送现在讨论一种极端的情况，信源只发送一种消息，即永远只发送一种消息，即永远只发送1或者只发送或者只发送0，从这样，从这样的信源中我们就不能从中获

12、取任何信息，也就是的信源中我们就不能从中获取任何信息，也就是说信源的不确定性为说信源的不确定性为0。18第十八页，讲稿共八十五页哦信源如果没有不确定性，那么就没有实用价值。不确定信源如果没有不确定性，那么就没有实用价值。不确定度和发送的消息数目和发送符号的概率有关。为了确切的度和发送的消息数目和发送符号的概率有关。为了确切的描述信源，我们采用概率空间来描述信源。描述信源，我们采用概率空间来描述信源。离散信源离散信源：若一类信源输出的消息常常是以一个个符：若一类信源输出的消息常常是以一个个符号的形式出现，例如文字、字母等，这些符号的取值是号的形式出现，例如文字、字母等，这些符号的取值是有限的或可

13、数的，这样的信源称为离散信源。比如（有限的或可数的，这样的信源称为离散信源。比如（0、1）二元信元，它的消息是以一定的概率来出现的，所以）二元信元，它的消息是以一定的概率来出现的，所以可以采用概率空间来描述。可以采用概率空间来描述。若信源的输出是随机变量若信源的输出是随机变量X，其出现概率为，其出现概率为P(X)，则它们，则它们所构成的集合，称为信源的所构成的集合，称为信源的概率空间概率空间或简称为或简称为信源空间信源空间。19第十九页，讲稿共八十五页哦1)定义：定义：一个符号消息一个符号消息xi 的的自信息量自信息量为其发生概率的对数的为其发生概率的对数的负数，并记为负数，并记为I(xi)；

14、I(xi)=-logp(xi)当当p(xi)=0，则，则I(xi)；当；当p(xi)=1，则，则I(xi)=0.2)自信息量的单位自信息量的单位自信息量的单位与所用对数的底有关：自信息量的单位与所用对数的底有关：1对数的底是对数的底是2时，单位为时，单位为比特比特bit(binaryunit)2对数的底是对数的底是e(自然对数自然对数)时，单位为时，单位为奈特奈特nat(natureunit)二、自信息量二、自信息量20第二十页，讲稿共八十五页哦3对数的底是对数的底是10(常用对数常用对数)时，单位为时，单位为笛特或哈特笛特或哈特det(decimalunit)orHart(Hartley)三

15、种信息量单位之间的换算：三种信息量单位之间的换算：1det=log2103.322bit1bit=ln20.6931nat1bit=lg20.3010det1nat=log2e1.4427bit在在信信息息论论中中常常用用以以2为为底底的的对对数数，为为了了书书写写方方便便，以以后后将将log2书书写写为为log，因因其其单单位位为为比比特特bit，不不会会产产生生混混淆淆；注注意意有些文献将有些文献将log2书写为书写为lb。21第二十一页，讲稿共八十五页哦【例例2.5】一个一个1,0等概的二进制随机序列，等概的二进制随机序列，求任一码元的自信息量。求任一码元的自信息量。解：任一码元不是为解

16、：任一码元不是为0就是为就是为1因为因为P(0)=P(1)=1/2所以所以I(0)=I(1)=lb(1/2)=1(bit)22第二十二页，讲稿共八十五页哦【例例2.6】对于对于2n进制的数字序列进制的数字序列,假设每一符号假设每一符号的出现完全随机且概率相等，求任一符号的自的出现完全随机且概率相等，求任一符号的自信息量。信息量。解：设解：设2n进制数字序列任一码元进制数字序列任一码元xi的出现概率为的出现概率为p(xi)，根据题意，根据题意，p(xi)=1/2nI(xi)=lb(1/2n)=n(bit)事件的自信息量只与其概率有关，而与它的取值事件的自信息量只与其概率有关，而与它的取值无关。无

17、关。23第二十三页，讲稿共八十五页哦3)自信息量的含义自信息量的含义是是随随机机量量、根根据据单单个个符符号号消消息息的的先先验验概概率率确确定定其其信信息息量量和和不不确确定定度度。是是该该符符号号出出现现后后，提提供供给收信者的信息量。给收信者的信息量。4)随机事件的不确定度：随机事件的不确定度：不不确确定定度度在在数数量量，单单位位与与自自信信息息量量相相同同，含含义义不不同同。具具有有某某种种概概率率的的信信源源符符号号在在发发生生之之前前，存存在在不不确定度，不确定度表征该符号的特性。确定度，不确定度表征该符号的特性。24第二十四页，讲稿共八十五页哦5)自信息量自信息量 I(xi)的

18、特性的特性1事事件件xi 先先验验概概率率p(xi)=1（确确定定事事件件）,则则不不存存在在不不确确定定性性，同时不会带来信息量；同时不会带来信息量；I(xi)=0。2事事件件xi 先先验验概概率率p(xi)=0（不不可可能能事事件件）,则则存存在在不不确确定定性应为无穷大，同时会带来无穷的信息量；性应为无穷大，同时会带来无穷的信息量；I(xi)3非非负负性性4单单调调性性若若有有两两个个事事件件xi，xj，其其先先验验概概率率为为p(xi)p(xj)，则则事事件件xi 比比事事件件xj 有有更更大大的的不不确确定定性性，同同时时会会带带来来更更多多的信息量；的信息量；I(xi)I(xj)5

19、可可加加性性两两个个统统计计独独立立事事件件的的联联合合自自信信息息量量应应等等于于它它们各自信息量之和们各自信息量之和;则则I(x y )=I(x)I(y)25第二十五页，讲稿共八十五页哦6)联合自信息量与条件自信息量联合自信息量与条件自信息量1联合自信息量联合自信息量定义定义：若有两个消息：若有两个消息xi，yj同时出现，用联合概率同时出现，用联合概率p(xiyj)表示，联合自信息量为：表示，联合自信息量为：I(xiyj)=logp(xiyj)当当X和和Y相互独立时，相互独立时，p(xiyj)=p(xi)p(yj)，代入到前式就有：，代入到前式就有：I(xiyj)=-log2p(xi)-l

20、og2p(yj)=I(xi)+I(yj)说明两个随机事件相互独立时，同时发生得到的自信息说明两个随机事件相互独立时，同时发生得到的自信息量，等于这两个随机事件各自独立发生得到的自信息量之量，等于这两个随机事件各自独立发生得到的自信息量之和。和。26第二十六页，讲稿共八十五页哦2条件自信息量条件自信息量定定义义：在在事事件件yj 出出现现条条件件下下，xi发发生生的的条条件件概概率率为为p(xi|yj)，则，则xi的条件自信息量为：的条件自信息量为：I(x i|yj)=logp(xi|yj)由由于于随随机机事事件件（消消息息）的的概概率率在在01范范围围内内，所所以以联联合合信信息息量量和和条条

21、件件自自信信息息量量也也满满足足非非负负和和单调递减性。单调递减性。27第二十七页，讲稿共八十五页哦联合自信息、条件自信息与自信息间联合自信息、条件自信息与自信息间的关系的关系I(xiyj)=-log2p(xi)p(yj|xi)=I(xi)+I(yj|xi)=-log2p(yj)p(xi|yj)=I(yj)+I(xi|yj)28第二十八页，讲稿共八十五页哦作作为为信信源源总总体体信信息息测测度度的的量量应应是是信信源源各各个个不不同同符符号号xi(i=1,2,N)所所包包含含的的自自信信息息量量I(xi)(i=1,2,N)在在信信源源空空间间P(X)=p(x1),p(x2),p(xi),p(x

22、N)中的统计平均值。中的统计平均值。三、离散信源熵三、离散信源熵29第二十九页，讲稿共八十五页哦【例例2.7】一个布袋内放一个布袋内放100个球，其中个球，其中80个球个球为红色，为红色，20球为白色。若随机摸取一个球，猜球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信测其颜色，求平均摸取一次所获得的（自）信息量。息量。解：随机事件的概率空间为解：随机事件的概率空间为30第三十页，讲稿共八十五页哦当被告知摸出红球的信息量是当被告知摸出红球的信息量是当被告知摸出白球的信息量是当被告知摸出白球的信息量是如果每次摸出一个球后又放回袋中，再进行下如果每次摸出一个球后又放回袋中，再

23、进行下一次摸取且如此摸取一次摸取且如此摸取n次，那么红球出现的次数次，那么红球出现的次数为为np(x1)，白球出现的次数为，白球出现的次数为np(x2)。随机摸取。随机摸取n次后总共所获得的信息量为次后总共所获得的信息量为31第三十一页，讲稿共八十五页哦而平均随机摸取而平均随机摸取1次所获得的信息量为次所获得的信息量为32第三十二页，讲稿共八十五页哦1)定义定义信息源的信息源的平均不确定度平均不确定度为信源中各个符号为信源中各个符号不确定不确定度的度的数学期望数学期望，记作，记作H(X)其中其中 H(X)又称为信源又称为信源X的的信源熵。信源熵。33第三十三页，讲稿共八十五页哦2)H(X)的含

24、义的含义 1表示的是信源的平均不确定度。表示的是信源的平均不确定度。2表示信源表示信源 X 发出一个符号提供的平均信息量。发出一个符号提供的平均信息量。3是是统统计计量量、数数学学期期望望（统统计计平平均均）、各各个个符符号号平平均均不不确确定度和平均信息量。定度和平均信息量。3)信源熵单位：信源熵单位：二进制二进制:bit/:bit/信源符号，或信源符号，或bit/bit/信源序列信源序列 十进制十进制:det/:det/信源符号，或信源符号，或det/det/信源序列信源序列 e e进制进制:nat/:nat/信源符号，或信源符号，或nat/nat/信源序列信源序列34第三十四页，讲稿共八

25、十五页哦4)信源熵的三种特殊情况信源熵的三种特殊情况1当当 p(xi)=0时（时（p(xi)0），则），则p(xi)logp(xi)=02信信源源X=x1，x2 xn，若若其其中中xi 的的概概率率p(xi)=1则其余则其余xj 的的p(xj)=0，因为，因为则则H(X)=0bit/信源符号信源符号3 当当信信源源中中X所所有有n个个符符号号均均有有相相同同的的概概率率 p(xi)=1/n，则则H(X)=-(1/n)log(1/n)=lognbit/信源符号信源符号35第三十五页，讲稿共八十五页哦【例例2.8】设信源符号集设信源符号集X=x1,x2,x3，每个符号发生的概，每个符号发生的概率分

26、别为率分别为p(x1)=1/2，p(x2)=1/4，p(x3)=1/4，则信源熵，则信源熵为为即该信源中平均每符号所包含的信息量为即该信源中平均每符号所包含的信息量为1.5bit，也即为，也即为了表明和区分信源中的各个符号只需用了表明和区分信源中的各个符号只需用1.5bit。36第三十六页，讲稿共八十五页哦【例例2.10】二元符号信源二元符号信源0，1符号符号0的概率的概率p(0)=p，则，则p(1)=1-p H(X)=-plogp+(+(1-p)log(1-p)p=0.5时时H(X)有最大值，有最大值，H(X)=1bit/信源符号信源符号37第三十七页，讲稿共八十五页哦38第三十八页，讲稿共

27、八十五页哦5)条件熵与联合熵条件熵与联合熵1条件熵条件熵在给定在给定y j 条件下，条件下，x i 的条件自信息量为：的条件自信息量为：I(x i|yj)=logp(xi|yj)集合集合X的条件熵为：的条件熵为：在给定在给定Y（即各个（即各个yj）条件下，集合）条件下，集合X的条件熵定义为：的条件熵定义为：39第三十九页，讲稿共八十五页哦2联合熵（共熵）联合熵（共熵）联联合合熵熵是是联联合合符符号号集集合合XY上上的的每每个个元元素素对对xi,yj的的自自信信息息量量的的概概率加权的统计平均值。率加权的统计平均值。40第四十页，讲稿共八十五页哦3条件熵与联合熵的关系条件熵与联合熵的关系 I(x

28、 i|y j)=logp(x i|y j)，I I(x iy j)=)=logp(x iy j)41第四十一页，讲稿共八十五页哦所以所以H(X Y)=H(X)H(Y|X)同理同理H(X Y)=H(Y)H(X|Y)当当X和和Y相互独立时，有相互独立时，有42第四十二页，讲稿共八十五页哦1)简单的通信模型简单的通信模型 若若信信源源发发出出符符号号xi，由由于于信信道道存存在在干干扰扰，收收到到的的不不是是xi而而是是yi ，从从yi中中获获取取有有关关xi 的的信信息息量量称称为为互互信信息息量量，用用I(xi;yi)表示。表示。信源信源X有干扰有干扰离散信道离散信道信宿信宿Y干扰源干扰源四、互

29、信息四、互信息43第四十三页，讲稿共八十五页哦1 信源发送符号信源发送符号xi，同时信宿接收符号，同时信宿接收符号yj的联合概率：的联合概率：其中：其中：p(xi)为信源符号为信源符号xi的先验概率的先验概率。p(yj|xi)为为信信源源符符号号xi已已发发送送，信信宿宿接接收收到到yj的的条条件件概概率率；称称为信道的为信道的传递概率传递概率或或转移概率转移概率或或前向概率前向概率。注注意意：p(yi|xi)是是在在信信源源发发送送xi的的情情况况下下，信信宿宿接接收收到到 yi的概率，该概率是可通过统计获得的。的概率，该概率是可通过统计获得的。2信宿接收符号信宿接收符号y j 的概率的概率

30、44第四十四页，讲稿共八十五页哦3信宿接收信宿接收yj 后，推测信源发送的符号是后，推测信源发送的符号是xi 的的概率（后概率（后验概率）验概率）：p(xi|yi)45第四十五页，讲稿共八十五页哦4互信息量互信息量定定义义：后后验验概概率率与与先先验验概概率率比比值值的的对对数数称称为为互互信信息息量量，记记为为I(xi；yj)1.当当p(xi|yj)=1，则，则I(xi;yj)=I(xi)2.当当xi，yj 互不相关，互不相关，p(xi|yj)=p(xi)，则，则I(xi;yj)=03.互信息量单位互信息量单位bit46第四十六页，讲稿共八十五页哦 I(xi;yj)=I(xi)-I(xi|y

31、j)互互信信息息量量等等于于自自信信息息量量减减去去条条件件自自信信息息量量。自自信信息息量量在在数数量量上上与与随随机机事事件件发发出出的的xi不不确确定定度度相相同同，可可以以理理解解为为对对yj一一无无所所知知的的情情况况下下xi存存在在的的不不确确定定度度。同同理理，条条件件自自信信息息量量在在数数量量上上等等于于已已知知yj的的条条件件下下，xi仍仍然然存存在在的的不不确确定定度度。两两个个不不确确定定度度差差，是是不不确确定定度度被被消消除除的的部部分分，代代表表已已经经确确定定的的东东西西，实实际际是是从从yj得得到到的的关于关于xi的信息量。的信息量。47第四十七页，讲稿共八十

32、五页哦5互信息量的性质互信息量的性质I(xi;yj)=I(yj;xi)I(xi;yj)=I(xi)-I(xi|yj)I(xi;yj)=I(xi|yj)-I(yi)48第四十八页，讲稿共八十五页哦6互信息量计算互信息量计算已知已知:信源符号信源符号x i的概率的概率p(xi)-先验概率先验概率,信源信源x i发送的条件下，信宿接收到发送的条件下，信宿接收到yj的概率的概率p(yj|xi)互信息量计算即如何求互信息量计算即如何求p(xi|yj)/p(xi)1.联合概率联合概率2.全概率全概率3.后验概率与后验概率与先验概率之比先验概率之比49第四十九页，讲稿共八十五页哦【例例2.11】某某二二元元

33、通通信信系系统统x0=0，x1=1，信信源源发发送送x0和和x1的的概概率率分别为分别为p(0)=1/2，p(1)=1/2;信宿信宿y0=0,y1=1由于信道中有干扰，由于信道中有干扰，当信源发送当信源发送0时，时，信宿接收为信宿接收为0的概率的概率p(y0|x0)=p(0|0)=3/4信宿接收为信宿接收为1的概率的概率p(y1|x0)=p(1|0)=1/4当信源发送当信源发送1时，时，信宿接收为信宿接收为0的概率的概率p(y0|x1)=p(0|1)=1/5信宿接收为信宿接收为1的概率的概率p(y1|x1)=p(1|1)=4/5求互信息量求互信息量 I(x0;y0),I(x0;y1),I(x1

34、;y0),I(x1;y1)50第五十页，讲稿共八十五页哦 x0=0p(0|0)=3/4y0=0p(0|1)=1/5p(1|0)=1/4x1=1p(1|1)=4/5y1=11.联合概率联合概率 p(x0y0)=p(x0)p(y0|x0)=1/23/4=3/8p(x0y1)=p(x0)p(y1|x0)=1/21/4=1/8p(x1y0)=p(x1)p(y0|x1)=1/21/5=1/10 p(x1y1)=p(x1)p(y1|x1)=1/24/5=4/1051第五十一页，讲稿共八十五页哦2.全概率全概率 p(y0)=p(x0y0)+p(x1y0)=3/8+1/10=19/40p(y1)=p(x0y1

35、)+p(x1y1)=1/8+4/10=21/403.后验概率与后验概率与先验概率之比先验概率之比 p(x0|y0)/p(x0)=p(y0|x0)/p(y0)=3/419/40=30/19 p(x0|y1)/p(x0)=p(y1|x0)/p(y1)=1/421/40=10/21 p(x1|y0)/p(x1)=p(y0|x1)/p(y0)=1/519/40=8/19 p(x1|y1)/p(x1)=p(y1|x1)/p(y1)=4/521/40=32/21 4.互信息量互信息量 I(x0;y0)=log(30/19)bitI(x0;y1)=log(10/21)bit I(x1;y0)=log(8/1

36、9)bitI(x1;y1)=log(32/21)bit52第五十二页，讲稿共八十五页哦2)条件互信息量条件互信息量假设假设XYZ空间的事件空间的事件xi、yj、zk，那么事件，那么事件yjzk出现后，从出现后，从yjzk中获取关于中获取关于xi的信息量是多少呢？的信息量是多少呢？如果把如果把yjzk看作一个事件，则有看作一个事件，则有53第五十三页，讲稿共八十五页哦 将上式分子分母同乘以将上式分子分母同乘以P(xi|zk)，得，得上式第一项是上式第一项是xi与与zk之间的互信息量；之间的互信息量；第二项定义为在第二项定义为在zk条件下条件下xi与与yj之间的互信息量，简之间的互信息量，简称为条

37、件互信息量。称为条件互信息量。54第五十四页，讲稿共八十五页哦互信息量、联合事件互信息量、条件互信息互信息量、联合事件互信息量、条件互信息量三者都是随机变量，其值随着变量量三者都是随机变量，其值随着变量xi、yj、zk的变化而变化。的变化而变化。三者之间有如下的关系式：三者之间有如下的关系式：55第五十五页，讲稿共八十五页哦3)平均互信息量平均互信息量定定义义互互信信息息量量I(xi;yj)在在联联合合概概率率空空间间P(XY)上上的的统统计计平平均均值值称称平平均互信息量均互信息量,用用I(X;Y)表示表示平均互信息量单位平均互信息量单位bit/消息消息56第五十六页，讲稿共八十五页哦当信宿

38、收到某一具体符号当信宿收到某一具体符号yj后，从后，从yj中获取关于输入符号的平中获取关于输入符号的平均信息量，显然应该是在条件概率空间中的统计平均，可用均信息量，显然应该是在条件概率空间中的统计平均，可用I(X；yj)表示，有表示，有 再对其在集合再对其在集合Y中取统计平均，得中取统计平均，得57第五十七页，讲稿共八十五页哦平均互信息的三种不同的形式表达式平均互信息的三种不同的形式表达式58第五十八页，讲稿共八十五页哦4)平均互信息量的性质平均互信息量的性质1对称性对称性 I(X;Y)=I(Y;X)59第五十九页，讲稿共八十五页哦2非负性非负性 I(X;Y)0平平均均互互信信息息量量的的非非

39、负负性性告告诉诉我我们们：从从整整体体和和平平均均的的意意义义上上来来说说，信信道道每每通通过过一一条条消消息息，总总能能传传递递一一定定的的信信息息量量，或或者者说说接接收收端端每每收收到到一一条条消消息息，总总能能提提取取到到关关于于信信源源X的的信信息息量量，等等效效于于总总能能使使信信源源的的不不确确定定度度有有所所下下降降。也也可可以以说说从从一一个个事事件件提提取取关关于于另另一一个个事事件件的的信信息息，最最坏坏的的情情况况是是0，不不会会由由于于知知道道了了一一个个事事件件，反反而而使使另另一一个个事事件件的的不确定度增加。不确定度增加。60第六十页，讲稿共八十五页哦 3极值极

40、值性性 I(X;Y)H(X)I(Y;X)H(Y)因此因此I(X;Y)=H(X)H(X|Y)当当X与与Y无无关关时时，H(X|Y)=H(X)，则则I(X;Y)=0；表表示示无无法法从从Y中获取中获取X的信息。的信息。61第六十一页，讲稿共八十五页哦4凸函数性凸函数性由平均互信息量的定义由平均互信息量的定义显然平均互信息量是信源概率分布显然平均互信息量是信源概率分布p(xi)和表示输入输和表示输入输出之间关系的条件概率或称信道传递概率分布出之间关系的条件概率或称信道传递概率分布p(yj|xi)的函的函数，即数，即62第六十二页，讲稿共八十五页哦 若固定信道，调整信源，则平均互信息量是信源概率分若固

41、定信道，调整信源，则平均互信息量是信源概率分布布p(xi)的函数的函数反之若固定信源，调整信道，则平均互信息量是信道传反之若固定信源，调整信道，则平均互信息量是信道传递概率或称信道转移概率分布递概率或称信道转移概率分布p(yj|xi)的函数的函数fp(xi)和和fp(yj|xi)具有不同的数学特性具有不同的数学特性63第六十三页，讲稿共八十五页哦平均互信息量平均互信息量I(X;Y)是信源概率分布是信源概率分布p(xi)的上凸函数的上凸函数平均互信息量平均互信息量I(X;Y)是信道转移概率是信道转移概率p(yj|xi)的下凸函数的下凸函数64第六十四页，讲稿共八十五页哦5)平均互信息量的物理意义

42、平均互信息量的物理意义 I(X;Y)=H(X)H(X|Y)1H(X)是符号集合是符号集合X 的熵或不确定度的熵或不确定度 2 H(X|Y)是是当当信信宿宿已已收收到到Y时时，X的的条条件件熵熵或或不不确确定定度度（仍仍有有疑疑义义），表表示示通通信信过过程程中中信信息息在在信信道道中中的的损损失失量量，称称为为信信道疑义度道疑义度或或疑义度；疑义度；3 I(X;Y)表示信宿获得的净信息量；表示信宿获得的净信息量；4平平均均互互信信息息量量I(X;Y)考考虑虑全全部部消消息息，根根据据统统计计平平均均的的计计算算得出一个确定的量，是信道中流通的信息量的整体测度。得出一个确定的量，是信道中流通的信

43、息量的整体测度。65第六十五页，讲稿共八十五页哦I(Y;X)=H(Y)H(Y/X)说明平均互信息量也可以用接收端（信宿）的熵为参考，且说明平均互信息量也可以用接收端（信宿）的熵为参考，且等于信宿熵减掉一个条件熵等于信宿熵减掉一个条件熵同样表征接收端平均每收到一个符号所获得的信息量。同样表征接收端平均每收到一个符号所获得的信息量。如果信道上没有任何干扰或噪声，则平均每收到一个符号所获得如果信道上没有任何干扰或噪声，则平均每收到一个符号所获得的信息量即是信宿熵，即的信息量即是信宿熵，即I(X;Y)=H(Y)；但是，如果信道上存在着干扰或噪声，则平均每收到一个但是，如果信道上存在着干扰或噪声，则平均

44、每收到一个符号所获得的信息量，它比起信宿熵小了一个条件熵，这个符号所获得的信息量，它比起信宿熵小了一个条件熵，这个条件熵条件熵H(Y/X)是由于信道的干扰或噪声给出的，因此它是唯一是由于信道的干扰或噪声给出的，因此它是唯一地确定信道噪声和干扰所需的平均信息量，故称之为噪声熵，也地确定信道噪声和干扰所需的平均信息量，故称之为噪声熵，也称为散布度。称为散布度。66第六十六页，讲稿共八十五页哦I(X;Y)=H(X)+H(Y)H(XY)根据各种熵的定义，从该式可以清楚看出平均互信息量根据各种熵的定义，从该式可以清楚看出平均互信息量是一个表征信息流通的量，是一个表征信息流通的量，其物理意义就是信源端的信

45、息通过信道后传输到信其物理意义就是信源端的信息通过信道后传输到信宿端的平均信息量。宿端的平均信息量。67第六十七页，讲稿共八十五页哦【例例2.12】已知信源空间已知信源空间信道特性如图所示，求在该信道上传输的平均互信息量信道特性如图所示，求在该信道上传输的平均互信息量I(X;Y)，疑义度，疑义度H(X|Y)，噪声熵，噪声熵H(Y|X)和共熵和共熵H(XY)。68第六十八页，讲稿共八十五页哦解（解（1）根据）根据P(xiyj)=P(xi)P(yj|xi)，求各联合概率，得，求各联合概率，得P(x1y1)=P(x1)P(y1|x1)=0.50.98=0.49P(x1y2)=P(x1)P(y2|x1

46、)=0.50.02=0.01P(x2y1)=P(x2)P(y1|x2)=0.50.20=0.10P(x2y2)=P(x2)P(y2|x2)=0.50.80=0.40（2）根据）根据，求，求Y集合中各符号的概率，集合中各符号的概率，得得P(y1)=P(x1)P(y1|x1)+P(x2)P(y1|x2)=0.50.980.50.2=0.59P(y2)=10.59=0.4169第六十九页，讲稿共八十五页哦（3）根据）根据P(xi|yj)=P(xi yj)/P(yj)，求各后验概率，得，求各后验概率，得P(x1|y1)=P(x1y1)/P(y1)=0.49/0.59=0.831P(x2|y1)=P(x

47、2y1)/P(y1)=0.10/0.59=0.169P(x1|y2)=P(x1y2)/P(y2)=0.01/0.41=0.024P(x2|y2)=P(x2y2)/P(y2)=0.40/0.41=0.97670第七十页，讲稿共八十五页哦（4）求各种熵，有）求各种熵，有 I(X;Y)=H(X)+H(Y)H(XY)=1+0.98-1.43=0.55比特比特/信符信符 H(X|Y)=H(X)I(X;Y)=10.55=0.45比特比特/信符信符 H(Y|X)=H(Y)I(X;Y)=0.980.55=0.43比特比特/信符信符71第七十一页，讲稿共八十五页哦2.2.4数据处理中信息的变化数据处理中信息的变

48、化在一些实际的通信系统中，常常出现串联信道的情况。另外，在一些实际的通信系统中，常常出现串联信道的情况。另外，对于信宿收到的信号或数据，常常需要进行适当的处理，以使输对于信宿收到的信号或数据，常常需要进行适当的处理，以使输出消息变换成更有用的形式。这种处理称为数据处理。数据处理出消息变换成更有用的形式。这种处理称为数据处理。数据处理系统一般可看成是一种信道，它与前面传输数据的信道构成串联系统一般可看成是一种信道，它与前面传输数据的信道构成串联的关系。的关系。P(Y|X)P(Z|Y)XYZ72第七十二页，讲稿共八十五页哦假设假设Y下下X和和Z相互独立，则有相互独立，则有数据处理定理：当消息经过多

49、级处理后，随着处理数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。息量趋于变小。数据处理定理的数学表示式为数据处理定理的数学表示式为 I(X;Z)I(X;Y)I(X;Z)I(Y;Z)73第七十三页，讲稿共八十五页哦证明：对互信息量和条件互信息量求数学期望得到证明：对互信息量和条件互信息量求数学期望得到X和和YZ之间的平均互信息量和之间的平均互信息量和Z已知条件下，已知条件下，X和和Y之间之间的条件平均互信息量的条件平均互信息量74第七十四页，讲稿共八十五页哦上两式相减得到上两式相减得到同理可得

50、同理可得75第七十五页，讲稿共八十五页哦因为已假设在因为已假设在Y条件下条件下X与与Z相互独立，故有相互独立，故有I(X;Z|Y)=0，有，有I(X;Y)=I(X;YZ)因而可得因而可得I(X;Z)=I(X;Y)-I(X;Y|Z)考虑到考虑到I(X;Y|Z)为非负量，所以有为非负量，所以有I(X;Z)I(X;Y)同理可得同理可得 I(X;Z)I(Y;Z)76第七十六页，讲稿共八十五页哦定理说明：当消息通过级联处理时，其输入和输出消息定理说明：当消息通过级联处理时，其输入和输出消息之间的平均互信息量，不会超过输入消息与中间消息之间的之间的平均互信息量，不会超过输入消息与中间消息之间的平均互信息量