第2章_信息的度量课件.ppt

第二章信息的度量1度量信息的基本思路度量信息的基本思路信源熵和条件熵信源熵和条件熵互信息量和平均互信息量互信息量和平均互信息量多维随机变量的熵多维随机变量的熵 本章内容提要本章内容提要2信息论的发展是以信息可以度量为基础信息论的发展是以信息可以度量为基础的，度量信息的量称为信息量。的，度量信息的量称为信息量。对于随机出现的事件，它的出现会给人对于随机出现的事件，它的出现会给人们带来多大的信息量？们带来多大的信息量？考虑到通信系统或很多实际的信息传输考虑到通信系统或很多实际的信息传输系统，对于所传输的消息如何用信息量系统，对于所传输的消息如何用信息量的方法来描述？的方法来描述？本章将围绕这些问题展开讨论。本章将围绕这些问题展开讨论。第第2 2章信息的度量章信息的度量3从讨论信源的特征入手，给出定量度量信息的从讨论信源的特征入手，给出定量度量信息的方法。方法。以天文学范畴的事件为例。以天文学范畴的事件为例。小行星撞击地球、月食、日食、流星雨、星系的产生小行星撞击地球、月食、日食、流星雨、星系的产生与消亡等等，都是天文学内一个个离散的事件与消亡等等，都是天文学内一个个离散的事件如果将一个事件用一个符号来表示，则一个符号代表如果将一个事件用一个符号来表示，则一个符号代表一个完整的消息一个完整的消息如果把都是天文学内的事件看作是天文学这个如果把都是天文学内的事件看作是天文学这个“信源信源”输出的符号，则这个信源可以看作是单符号离散信输出的符号，则这个信源可以看作是单符号离散信源。源。2.1.1单符号离散信源单符号离散信源2.1度量信息的基本思路度量信息的基本思路4由此给出如下定义：由此给出如下定义：定义定义2.1如果信源发出的消息是离散的、有限如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为代表一条完整的消息，则称这种信源为单符号离散信源单符号离散信源。2.1度量信息的基本思路度量信息的基本思路2.1.1单符号离散信源单符号离散信源5单符号离散信源的实例单符号离散信源的实例掷骰子每次只能是掷骰子每次只能是1,2,3,4,5,6中的某一个；中的某一个；天气预报可能是晴、阴、雨、雪、风、冰雹天气预报可能是晴、阴、雨、雪、风、冰雹中的一种或其组合以及温度、污染等；中的一种或其组合以及温度、污染等；二进制通信中传输的只是二进制通信中传输的只是1、0两个数字；等等。两个数字；等等。这种符号或数字都可以看作某一集合中的事件，这种符号或数字都可以看作某一集合中的事件，每个符号或数字（事件）都是信源中的元素，每个符号或数字（事件）都是信源中的元素，它们的出现往往具有一定的概率。它们的出现往往具有一定的概率。因此，信源又可以看作是具有一定概率分布的因此，信源又可以看作是具有一定概率分布的某一符号集合。某一符号集合。2.1度量信息的基本思路度量信息的基本思路2.1.1单符号离散信源单符号离散信源6定义定义2.2若信源的输出是随机事件若信源的输出是随机事件X，其出现概率为，其出现概率为P(X),，则它，则它们所构成的集合，称为们所构成的集合，称为信源的概率空间信源的概率空间或简称为或简称为信源空信源空间间。信源空间通常用如下方式来描述：显然，信源空间必定是一个完备集，即显然，信源空间必定是一个完备集，即2.1度量信息的基本思路度量信息的基本思路2.1.1单符号离散信源单符号离散信源7考虑一个单符号离散信源，它的输出被传送给对此感考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。兴趣的一方。设设x1为最大可能的输出，为最大可能的输出，xN为最小可能的输出。为最小可能的输出。例如，假设信源输出代表天气情况，例如，假设信源输出代表天气情况，x1为晴或多云天为晴或多云天气，气，xN为冰雹或其它强对流天气。为冰雹或其它强对流天气。哪个输出包含更多的信息，哪个输出包含更多的信息，x1还是还是xN？直观地，传递直观地，传递xN给出了更多的信息。给出了更多的信息。由此可以合理地推算由此可以合理地推算信源输出的信息量应该是输出事信源输出的信息量应该是输出事件的概率的减函数。件的概率的减函数。信息量的另一个直观属性是，某一输出事件的概率的信息量的另一个直观属性是，某一输出事件的概率的微小变化不会很大地改变所传递的信息量，即微小变化不会很大地改变所传递的信息量，即信息量信息量应该是信源输出事件概率的连续减函数。应该是信源输出事件概率的连续减函数。2.1.2度量信息的基本思路度量信息的基本思路2.1度量信息的基本思路度量信息的基本思路8假设与输出假设与输出xi相关的信息能被分成独立的两部相关的信息能被分成独立的两部分，比如分，比如xi1与与xi2，即，即xi=xi1，xi2。例如，假设天气预报中的天气及温度变化是与污染程例如，假设天气预报中的天气及温度变化是与污染程度相关性很小甚至几乎完全独立的，则信源的每一个度相关性很小甚至几乎完全独立的，则信源的每一个输出就能分成独立的两部分。输出就能分成独立的两部分。直观地，传递直观地，传递xi所包含的信息量是分别传递所包含的信息量是分别传递xi1和和xi2所得到的信息量的和。所得到的信息量的和。2.1.2度量信息的基本思路度量信息的基本思路2.1度量信息的基本思路度量信息的基本思路9 若信源中事件若信源中事件xi的出现所带来的信息量用的出现所带来的信息量用I(xi)来表示并称之为事件来表示并称之为事件xi的自信息量，的自信息量，则概率为则概率为p(xi)的信源输出的信源输出xi所包含的信息所包含的信息量量I(xi)必须满足以下几个条件：必须满足以下几个条件：2.1.2度量信息的基本思路度量信息的基本思路2.1度量信息的基本思路度量信息的基本思路101.信源输出信源输出xi所包含的信息量仅依赖于它的概率，而与它所包含的信息量仅依赖于它的概率，而与它的取值无关。的取值无关。2.I(xi)是是P(xi)的连续函数。的连续函数。3.I(xi)是是P(xi)的减函数，即：的减函数，即：如果如果P(xi)P(xj)，则，则I(xi)I(xj)。极限情况，若极限情况，若P(xi)=0,则则I(xi)；若若P(xi)=1,则则I(xi)=0。4.若两个单符号离散信源（符号集合若两个单符号离散信源（符号集合X,Y）统计独立）统计独立,则则X中出现中出现xi、Y中出现中出现yj的联合信息量的联合信息量I(xi,yj)=I(x i)+I(yj)只有对数函数能够同时满足以上条件。只有对数函数能够同时满足以上条件。2.1度量信息的基本思路度量信息的基本思路2.1.2度量信息的基本思路度量信息的基本思路11定义定义2.3事件事件xi的出现所带来的信息量的出现所带来的信息量为事件为事件xi的自信息量。的自信息量。2.1度量信息的基本思路度量信息的基本思路2.1.2度量信息的基本思路度量信息的基本思路12I(xi)实质上是无量纲的实质上是无量纲的为研究问题的方便，根据对数的底定义信息量的量纲为研究问题的方便，根据对数的底定义信息量的量纲对数的底取对数的底取2，则信息量的单位为比特（，则信息量的单位为比特（bit）；）；取取e（自然对数），则单位为奈特（自然对数），则单位为奈特（nat）；）；取取10（常用对数），则单位为哈特。（常用对数），则单位为哈特。利用换底公式容易求得：利用换底公式容易求得：1nat 1.44bit1Hart 3.32bit在通信及目前的绝大多数信息传输系统中，都是以二在通信及目前的绝大多数信息传输系统中，都是以二进制为基础的，因此信息量单位以比特最为常用进制为基础的，因此信息量单位以比特最为常用在没有特别说明的情况下，通常在没有特别说明的情况下，通常(2.3)式的量纲即为比式的量纲即为比特，且底数特，且底数2被省略。被省略。2.1度量信息的基本思路度量信息的基本思路2.1.2度量信息的基本思路度量信息的基本思路13例例2.1一个一个1,0等概的二进制随机序列，求任一等概的二进制随机序列，求任一码元的自信息量。码元的自信息量。解解：任一码元不是为任一码元不是为0就是为就是为1因为因为P(0)=P(1)=1/2所以所以I(0)=I(1)=lb(1/2)=1(bit)2.1度量信息的基本思路度量信息的基本思路2.1.2度量信息的基本思路度量信息的基本思路14例例2.2对于对于2n进制的数字序列进制的数字序列,假设每一符号的出现假设每一符号的出现完全随机且概率相等，求任一符号的自信息量。完全随机且概率相等，求任一符号的自信息量。解：设解：设2n进制数字序列任一码元进制数字序列任一码元xi的出现概率的出现概率为为P(xi)，根据题意，根据题意，P(xi)=1/2nI(xi)=lb(1/2n)=n(bit)事件的自信息量只与其概率有关，而与它的取事件的自信息量只与其概率有关，而与它的取值无关。值无关。2.1度量信息的基本思路度量信息的基本思路2.1.2度量信息的基本思路度量信息的基本思路15信宿端收到某一消息后所得到的信息量，可以信宿端收到某一消息后所得到的信息量，可以等效为接收者在通信前后等效为接收者在通信前后“不确定不确定”因素的减因素的减少或消除。少或消除。事件的不确定性可用不确定度描述，它同样是事件的不确定性可用不确定度描述，它同样是事件概率的函数，在数值和量纲上和自信息量事件概率的函数，在数值和量纲上和自信息量相等，因此都可以用相等，因此都可以用(2.3)式来计算。式来计算。某一随机事件的出现所给出的信息量（自信息某一随机事件的出现所给出的信息量（自信息量），在数值上与该随机事件的不确定度不但量），在数值上与该随机事件的不确定度不但相关而且相等，即相关而且相等，即事件的出现等效成事件不确事件的出现等效成事件不确定集合的元素的减少，或简称为事件不确定度定集合的元素的减少，或简称为事件不确定度的减少。的减少。2.1度量信息的基本思路度量信息的基本思路2.1.3自信息量和不确定度的关系自信息量和不确定度的关系16自信息量和该事件的不确定度的含义有自信息量和该事件的不确定度的含义有本质的区别本质的区别。不确定度只与事件的概率有关，是一个不确定度只与事件的概率有关，是一个统计量，在静态状态下也存在；统计量，在静态状态下也存在；自信息量只有该随机事件出现时才给出，自信息量只有该随机事件出现时才给出，不出现时不给出，因此它是一个动态的不出现时不给出，因此它是一个动态的概念。概念。2.1度量信息的基本思路度量信息的基本思路2.1.3自信息量和不确定度的关系自信息量和不确定度的关系17自信息量自信息量I(xi)只能表示信源发出的某一具体符只能表示信源发出的某一具体符号号xi的自信息量。的自信息量。很多信源的符号集合具有多个元素且其概率并很多信源的符号集合具有多个元素且其概率并不相等，即不相等，即P(xi)P(xj)，因此，因此I(xi)不能作为整个不能作为整个信源的总体信息测度。信源的总体信息测度。能作为信源总体信息测度的量应是信源各个不能作为信源总体信息测度的量应是信源各个不同符号同符号xi(i=1,2,N)所包含的自信息量所包含的自信息量I(xi)(i=1,2,N)在信源空间在信源空间 P(X)=P(x1),P(x2),P(xi),P(xN)中的统计平均值。中的统计平均值。2.2信源熵和条件熵信源熵和条件熵2.2.1信源熵信源熵18定义定义2.4若信源符号若信源符号xi 的出现概率为的出现概率为P(xi)，自信息量为，自信息量为I(xi)(i=1,2,N)，则，则称为信源的信息熵，简称信源熵。其中，称为信源的信息熵，简称信源熵。其中，定义定义0lb0=0。2.2信源熵和条件熵信源熵和条件熵2.2.1信源熵信源熵19对于单符号离散信源，信源熵是信源每对于单符号离散信源，信源熵是信源每发一个符号所提供的平均信息量，其量发一个符号所提供的平均信息量，其量纲为信息单位纲为信息单位/信源符号。信源符号。信源熵只与信源符号的概率分布有关，信源熵只与信源符号的概率分布有关，是一种先验熵。是一种先验熵。对于任何给定概率分布的信源，对于任何给定概率分布的信源，H(X)是是一个确定的数，其大小代表了信源每发一个确定的数，其大小代表了信源每发出一个符号给出的平均信息量。出一个符号给出的平均信息量。2.2信源熵和条件熵信源熵和条件熵2.2.1信源熵信源熵20例例2.3二进制通信系统的信源空间为二进制通信系统的信源空间为求该信源的熵求该信源的熵。解解:设设P(1)=p，则，则P(0)=1-p。由由(2.4)式，有式，有H(X)=-p lbp-(1-p)lb(1-p)(2.5)上式又称为上式又称为二进制熵函数二进制熵函数，也常用，也常用Hb(p)表示表示p=0或或p=1时，时，H(X)=0；p=1/2时，时，H(X)=1。2.2信源熵和条件熵信源熵和条件熵2.2.1信源熵信源熵212.2信源熵和条件熵信源熵和条件熵2.2.1信源熵信源熵图图2.1二进制熵函数二进制熵函数22信息熵借用热力学中的熵给出了平均信息量的信息熵借用热力学中的熵给出了平均信息量的概念，不但可以表征信源的信息统计测度，也概念，不但可以表征信源的信息统计测度，也可以表征任何集合的信息统计测度。可以表征任何集合的信息统计测度。例如，若信宿的符号例如，若信宿的符号yj 的出现概率为的出现概率为P(yj)，自，自信息量为信息量为I(yj)(j=1,2,M)，则信宿熵为，则信宿熵为2.2信源熵和条件熵信源熵和条件熵2.2.1信源熵信源熵23若信源的输出为X，信宿的输入为Y，即考虑了信道的作用，如图2.2所示，这时经常是某一事件在某种条件某一事件在某种条件下才出现，下才出现，它的出现所带来的信息量就必须要在联合符号集合X、Y中进行考虑，且需用条件概率来描述。2.2.2条件自信息量条件自信息量2.2信源熵和条件熵信源熵和条件熵图图2.2最简单的通信系统模型最简单的通信系统模型24定义定义2.5设在设在yj条件下，随机事件条件下，随机事件xi的条件概率的条件概率为为P(xi/yj)，则，则xi的出现所带来的信息量被称为的出现所带来的信息量被称为它的条件自信息量，表示为它的条件自信息量，表示为(2.6)类似地，在类似地，在xi条件下，随机事件条件下，随机事件yj出现所带来出现所带来的信息量亦是条件自信息量：的信息量亦是条件自信息量：(2.7)2.2信源熵和条件熵信源熵和条件熵2.2.2条件自信息量条件自信息量上述条件概率仅仅由信道特性决定，可以看作是上述条件概率仅仅由信道特性决定，可以看作是由信道给出的信息量由信道给出的信息量。25为寻求在给定y条件下X集合的总体信息量度，有2.2信源熵和条件熵信源熵和条件熵2.2.3条件熵条件熵考虑到整个Y集合，有(2.9)26定义定义2.6对于联合符号集对于联合符号集XY，在给定，在给定Y的条件下，用联合概率的条件下，用联合概率P(xy)对对X集合的集合的条件自信息量进行加权的统计平均值，条件自信息量进行加权的统计平均值，为为X的条件熵。的条件熵。由此可见，条件熵表示了信道所给出的由此可见，条件熵表示了信道所给出的平均信息量。平均信息量。2.2信源熵和条件熵信源熵和条件熵2.2.3条件熵条件熵27在图2.3的通信系统信息传输模型中，若信道存在干扰，若信道存在干扰，信宿收到从信道输出的某一符号信宿收到从信道输出的某一符号yj后，能够获取多少关后，能够获取多少关于从信源发某一符号于从信源发某一符号xi的信息量？的信息量？图2.3 最简单的通信系统信息传输模型2.2信源熵和条件熵信源熵和条件熵2.2.3条件熵条件熵28定义定义2.7对两个离散随机事件集合对两个离散随机事件集合X和和Y，事件事件yj的出现给出关于事件的出现给出关于事件xi的信息量，的信息量，定义为事件定义为事件xi、yj的互信息量，用的互信息量，用I(xi;yj)表示。表示。讨论多维问题后，将讨论I(xi;yj)与I(x i,yj)的区别。2.3互信息量和平均互信息量互信息量和平均互信息量2.3.1互信息量互信息量29互信息量的表示式。互信息量的表示式。首先考虑信道没有干扰的情况：首先考虑信道没有干扰的情况：信源发信源发xi，信宿获取其全部信息量，即信源信，信宿获取其全部信息量，即信源信息通过信道全部流通到信宿，有息通过信道全部流通到信宿，有I(xi;yj)=I(xi)2.3互信息量和平均互信息量互信息量和平均互信息量2.3.1互信息量互信息量30当信道存在干扰时，信源发当信道存在干扰时，信源发xi，信宿收到的，信宿收到的yj可可能是能是xi的某种变型，亦即除了信源给出的信息的某种变型，亦即除了信源给出的信息外，还可能有纯粹是信道给出的外，还可能有纯粹是信道给出的“信息信息”。收到收到yj后，考虑从发端发后，考虑从发端发xi这一事件中获得的信这一事件中获得的信息量，应该是息量，应该是(2.10)故有故有(2.11)2.3互信息量和平均互信息量互信息量和平均互信息量2.3.1互信息量互信息量311.对称性对称性如果考虑信息的反向流通问题，即考虑事件如果考虑信息的反向流通问题，即考虑事件xi的出现的出现给出关于事件给出关于事件yj的信息量，或者从的信息量，或者从xi中获取关于中获取关于yj的信的信息量，那么由定义息量，那么由定义2.7，有，有(2.12)2.3.2互信息量的性质互信息量的性质2.3互信息量和平均互信息量互信息量和平均互信息量32由式(2.11)，有 (2.13)即I(xi；yj)=I(yj；xi)，称为互信息量的对称性。2.3互信息量和平均互信息量互信息量和平均互信息量2.3.2互信息量的性质互信息量的性质33由于由于P(xi)、P(yj)均为先验概率，而均为先验概率，而P(xi|yj)、P(yj|xi)均为后验概率，综合式均为后验概率，综合式(2.11)和式和式(2.12)有有互信息量互信息量=(2.14)这也表明，互信息量描述了两个随机事件这也表明，互信息量描述了两个随机事件xi、yj之间的统计约束程度，假如先验概率确定了，之间的统计约束程度，假如先验概率确定了，其后验概率就决定了信息的流通。其后验概率就决定了信息的流通。2.3互信息量和平均互信息量互信息量和平均互信息量2.3.2互信息量的性质互信息量的性质342.值域为实数值域为实数互信息量的值可为正数、负数或者0，取决于后验概率和先验概率的比值。以式(2.11)为例进行讨论，有如下几种情况。（1）P(xi|yj)=1，I(xi；yj)=I(xi)。后验概率为1，说明收到yj后即可以完全消除对信源是否发xi的不确定度。其物理含义是信宿获取了信源发出的全部信息量，这等效为信道没有干扰。2.3.2互信息量的性质互信息量的性质2.3互信息量和平均互信息量互信息量和平均互信息量35（2）P(xi)P(xi|yj)I(xi/yj)，I(xi；yj)0。后验概率大于先验概率，说明收到后验概率大于先验概率，说明收到yj后对信源是否发后对信源是否发xi所所进行判断的正确程度，要大于进行判断的正确程度，要大于xi在信源集合中的概率在信源集合中的概率.或者说收到或者说收到yj后多少还能消除一些对信源是否发后多少还能消除一些对信源是否发xi的不确的不确定度，因此定度，因此yj获取了关于获取了关于xi的信息量。的信息量。I(xi；yj)越大，这种获取就越多。越大，这种获取就越多。这正是实际通信时遇到的大多数情况，它对应着信道存这正是实际通信时遇到的大多数情况，它对应着信道存在干扰，但信宿仍能从信源中获取信息量。在干扰，但信宿仍能从信源中获取信息量。从这里隐约可以看到，只要从这里隐约可以看到，只要I(xi；yj)0，就存在着能够，就存在着能够通信的可能性，在后面的章节将会进一步讨论进行可靠通信的可能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。通信的极限条件。2.3互信息量和平均互信息量互信息量和平均互信息量2.3.2互信息量的性质互信息量的性质36（3）P(xi|yj)=P(xi)，即，即I(xi)=I(xi|yj)，I(xi;yj)=0后验概率与先验概率相等，说明收到后验概率与先验概率相等，说明收到yj后对信源是否发后对信源是否发xi所进行判断的正确程度，和所进行判断的正确程度，和xi在信源集合中的概率是在信源集合中的概率是一样的；一样的；因此，它一点也不能消除对信源是否发因此，它一点也不能消除对信源是否发xi的不确定度，的不确定度，也就是说从也就是说从yj中获取不到关于中获取不到关于xi的信息量；的信息量；事实上，假若事实上，假若xi和和yj 统计无关，即统计无关，即P(xi,yj)=P(xi)P(yj)，由贝叶斯公式容易推得由贝叶斯公式容易推得I(xi；yj)=0；这种情况实际上是事件这种情况实际上是事件xi和事件和事件yj 统计无关，或者说信统计无关，或者说信道使得事件道使得事件xi和事件和事件yj变成了两码事，信宿得到的信息变成了两码事，信宿得到的信息仅仅是由信道特性给出的，与信源实际发出什么符号仅仅是由信道特性给出的，与信源实际发出什么符号无关，因此完全没有信息的流通。无关，因此完全没有信息的流通。2.3互信息量和平均互信息量互信息量和平均互信息量2.3.2互信息量的性质互信息量的性质37（4）0P(xi|yj)P(xi)，即，即I(xi)I(xi|yj)，I(xi;yj)p2。若取。若取，其中，其中02 p1p2，而其它概率值不变。证明由此得，而其它概率值不变。证明由此得到的新的概率空间的熵是增加的，并用熵的物理到的新的概率空间的熵是增加的，并用熵的物理意义加以解释意义加以解释。习题习题746某办公室和其上级机关的自动传真机均兼某办公室和其上级机关的自动传真机均兼有电话功能。根据多年来对双方相互通信次数有电话功能。根据多年来对双方相互通信次数的统计，该办公室给上级机关发传真和打电话的统计，该办公室给上级机关发传真和打电话占的比例约为占的比例约为3:7，但发传真时约有，但发传真时约有5%的次数的次数对方按电话接续而振铃，拨电话时约有对方按电话接续而振铃，拨电话时约有1%的的次数对方按传真接续而不振铃。求：（次数对方按传真接续而不振铃。求：（1）上）上级机关值班员听到电话振铃而对此次通信的疑级机关值班员听到电话振铃而对此次通信的疑义度；（义度；（2）接续信道的噪声熵。）接续信道的噪声熵。习题习题757四个等概分布的消息四个等概分布的消息M1，M2，M3，M4被送被送入如图所示的信道进行传输，通过编码使入如图所示的信道进行传输，通过编码使M1=00，M2=01，M3=10，M4=11。求输入是。求输入是M1和输出符号是和输出符号是0的互信息量是多少？如果知道的互信息量是多少？如果知道第第2个符号也是个符号也是0，这时带来多少附加信息量？，这时带来多少附加信息量？8证明若随机变量证明若随机变量X，Y，Z构成马氏链，即构成马氏链，即XYZ，则有，则有ZYX。习题习题76