湖南大学信息论与纠错编码.ppt

湖南大学信息论与纠湖南大学信息论与纠错编码错编码n互信息互信息n信息熵信息熵复习复习xi的自信息量的自信息量 非负非负 单调减单调减 可加可加 不确定性不确定性(提供的信息量提供的信息量)收到某消息获得的信息量收到某消息获得的信息量收到某消息获得的信息量收到某消息获得的信息量(即收到某消息后获得关于某事件发生的信息量即收到某消息后获得关于某事件发生的信息量即收到某消息后获得关于某事件发生的信息量即收到某消息后获得关于某事件发生的信息量)不确定性减少的量不确定性减少的量不确定性减少的量不确定性减少的量(收到此消息前关于某事件发生的不确定性收到此消息前关于某事件发生的不确定性收到此消息前关于某事件发生的不确定性收到此消息前关于某事件发生的不确定性)-(-(收到此消息后关于某事件发生的不确定性收到此消息后关于某事件发生的不确定性收到此消息后关于某事件发生的不确定性收到此消息后关于某事件发生的不确定性)条件自信息量条件自信息量 联合自信量联合自信量I(x)是概率空间是概率空间(X,P)上的一个随机变量上的一个随机变量 互信息量：结结合合图图示示讲讲解解通通信信模模型型，信信源源发发出出消消息息x xi i的的概概率率p(xp(xi i)称称为为先先验验概概率率，信信宿宿收收到到y yi i。利用收到利用收到y yi i推测信源发出推测信源发出x xi i的概率称为后验概率的概率称为后验概率，有时也称条件概率。，有时也称条件概率。思考：思考：思考：思考：事件事件事件事件x xi i是否发生具有不确定性，可用自信息是否发生具有不确定性，可用自信息是否发生具有不确定性，可用自信息是否发生具有不确定性，可用自信息I(I(I(I(x xi i)度量。度量。度量。度量。在收到符号后，事件是否仍具有一定的不确定性，用条件信息量在收到符号后，事件是否仍具有一定的不确定性，用条件信息量在收到符号后，事件是否仍具有一定的不确定性，用条件信息量在收到符号后，事件是否仍具有一定的不确定性，用条件信息量I I（yi|xiyi|xi）度量。）度量。）度量。）度量。相当于相当于相当于相当于进进进进行了通信。行了通信。行了通信。行了通信。问题问题问题问题：观观观观察事件（通信）前后，通信察事件（通信）前后，通信察事件（通信）前后，通信察事件（通信）前后，通信过过过过程中所程中所程中所程中所获获获获得的信息量是什么？得的信息量是什么？得的信息量是什么？得的信息量是什么？定义定义:后验概率与先验概率比值的对数为后验概率与先验概率比值的对数为yiyi对对xixi的互信息量：的互信息量：互信息量和条件互信息量互信息量和条件互信息量互互信信息息量量等等于于自自信信息息量量减减去去条件自信息量。条件自信息量。互信息量互信息量条件概率条件概率先验概率先验概率 互信息其他表达方式：互信息其他表达方式：互信息量互信息量概率互换公式概率互换公式通信之前通信之前X X和和Y Y统计独立，有统计独立，有 ，不确定性，不确定性但但通通信信过过程程中中存存在在信信道道转转移移概概率率 ，符符号号xixi与与yjyj有有了了某某种种关关联联，此此时时联联合合概概率率 ，发，发xixi收收yiyi的不确定性的不确定性 。信道转移概率信道转移概率从从信信源源的的角角度度来来观观察察，上上述述两两个个事事件件之之差就是观察者获得的信息量差就是观察者获得的信息量互信息互信息发发送送符符号号xi，信信宿宿是是否否收收到到yj仍仍具具有有不不 确确 定定 性性，条件信息条件信息信信源源发发送送之之前前，信信宿宿收收到到yj的的概率，概率，自信息自信息信宿收到信宿收到yj的概率的概率条件互信息量条件互信息量三维三维XYZXYZ联合集：联合集：给定条件给定条件 下，下，与与 之间的互信息量，之间的互信息量，其定义式其定义式互信息的性质互信息的性质n对称性对称性互易性互易性n当当X X和和Y Y相互独立时，互信息为相互独立时，互信息为0 0n互信息量可为正值或负值，反映两个事件之间的肯定作用互信息量可为正值或负值，反映两个事件之间的肯定作用n若为正值，通过接收若为正值，通过接收yjyj判断是否发送判断是否发送xixi的不确定性变小，的不确定性变小，能够正常通信能够正常通信n若互信息为负值若互信息为负值，意味着传输中的问题，如信道噪声、干，意味着传输中的问题，如信道噪声、干扰等，扰等，收到收到yjyj判断是否发送判断是否发送xixi的不确定性更大的不确定性更大两个事件的两个事件的互信息量不大于单个事件互信息量不大于单个事件的自信息量的自信息量例例B,C,D三人必有一人晚上去三人必有一人晚上去A家家事件事件E:上午上午D打电话说晚上不来打电话说晚上不来事件事件F:下午下午C打电话说晚上不来打电话说晚上不来求互信息量求互信息量I(B；E),I(C；E),I(D；E)和和I(B；EF)I(B；E),I(C；E)=0.585(bit)I(B；EF)=1.585(bit)BDAC离散信息源的信息熵离散信息源的信息熵n对对一一个个信信源源发发出出不不同同的的消消息息所所含含有有的的信信息息量量也也不不同同。所所以以自自信信息息I(I(xi i)是是一一个个随随机机变变量量，不不能能用用它它来来作作为为整整个个信信源源的的信信息息测度测度n定定义义自自信信息息的的数数学学期期望望为为平平平平均均均均自自自自信信信信息息息息量量量量Hr(X)，称称为为信源的信息熵，也叫信源熵或香农熵，简称熵信源的信息熵，也叫信源熵或香农熵，简称熵：熵函数的自变量是熵函数的自变量是X表示信源整体，实质上是表示信源整体，实质上是离散无记忆信源平离散无记忆信源平离散无记忆信源平离散无记忆信源平均不确定度的度量均不确定度的度量均不确定度的度量均不确定度的度量：各消息自信息量的概率加权平均（统计平均）值各消息自信息量的概率加权平均（统计平均）值由由于于这这个个表表达达式式和和统统计计物物理理学学中中热热熵熵的的表表达达式式相相似似，且且在在概概念念上上也也有有相相似似之之处处，因因此此借借用用“熵熵”这个词，把这个词，把H(X)称为信息称为信息“熵熵”；信信息息熵熵的的单单位位由由自自信信息息量量的的单单位位决决定定，即即取取决决于于对数的底。对数的底。HH(X X)的单位的单位的单位的单位：r r 进制单位符号进制单位符号进制单位符号进制单位符号 （r1r1）电视屏上约有电视屏上约有500600=3105个格点，按每格个格点，按每格点有点有10个不同的灰度等级考虑，则共能组成个不同的灰度等级考虑，则共能组成个不同的画面。按等概率个不同的画面。按等概率计算，计算，平均每个画面可提供的信息量为平均每个画面可提供的信息量为 3 105 3.32 bit信源熵例题信源熵例题有有一一篇篇千千字字文文章章，假假定定每每字字可可从从万万字字表表中中任任选选，则共有不同的千字文则共有不同的千字文N=100001000=104000篇篇仍按等概率仍按等概率1/100001000计算，平均每篇千字文可计算，平均每篇千字文可提供的信息量为提供的信息量为H(X)log2N41033.321.3104bit“一一个个电电视视画画面面”平平均均提提供供的的信信息息量量远远远远超超过过“一篇千字文一篇千字文”提供的信息量。提供的信息量。信源熵例题信源熵例题假设一条电线上串联了假设一条电线上串联了8个灯泡个灯泡x1,x2,x8如图如图1所示所示.这这8个灯泡损坏的可能性是等概率的个灯泡损坏的可能性是等概率的,现假设这现假设这8个灯泡中个灯泡中有一个也只有一个灯泡已损坏有一个也只有一个灯泡已损坏,致使串联灯泡都不能点致使串联灯泡都不能点亮亮.在未检查之间在未检查之间,我们不知道哪个灯泡我们不知道哪个灯泡xi已损坏已损坏,是不知是不知的、不确定的的、不确定的.我们只有通过检查我们只有通过检查,用万用表去测量电用万用表去测量电路有否断电路路有否断电路,获得足够的信息量获得足够的信息量,才能获知和确定哪才能获知和确定哪个灯泡个灯泡xi已损坏已损坏.图图8个灯泡串联示意图个灯泡串联示意图利用熵的概念分析：利用熵的概念分析：图中图中8个灯泡构成一信源个灯泡构成一信源X,每个每个灯泡损坏的概率都相等灯泡损坏的概率都相等.这个信源为这个信源为其中其中ai(i=1,2,8)表示第表示第i个灯泡已损坏的事件个灯泡已损坏的事件,信源信源X共有共有8种等可能发生事件种等可能发生事件.可计算得此信源的信息熵可计算得此信源的信息熵这这H(X)正好表示在获知正好表示在获知哪个灯泡已损坏的情况前哪个灯泡已损坏的情况前,关关于哪个灯泡已损坏的于哪个灯泡已损坏的平均不确定性平均不确定性.因此因此,只有获得只有获得3比比特的信息量特的信息量,才能完全消除平均不确定性才能完全消除平均不确定性,才能确定是才能确定是哪个灯泡坏了哪个灯泡坏了.熵的计算熵的计算：有一布袋内放有一布袋内放l00个球，其中个球，其中80个球是红色的，个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为：色，那么其概率空间为：如果被告知摸出的是红球，那么获得的信息量是：如果被告知摸出的是红球，那么获得的信息量是：如果被告知摸出的是红球，那么获得的信息量是：如果被告知摸出的是红球，那么获得的信息量是：I(a1)log p(a1)log0.8=0.32 （比特）（比特）（比特）（比特）如被告知摸出来的是白球，所获得的信息量应为：如被告知摸出来的是白球，所获得的信息量应为：如被告知摸出来的是白球，所获得的信息量应为：如被告知摸出来的是白球，所获得的信息量应为：I(a2)log p(a2)log0.2=2.32 （比特）（比特）（比特）（比特）平均摸取一次所能获得的信息量为平均摸取一次所能获得的信息量为平均摸取一次所能获得的信息量为平均摸取一次所能获得的信息量为 ：H(X)=p(a1)I(a1)+p(a2)I(a2)=0.72（比特（比特（比特（比特/符号）符号）符号）符号）熵的含义熵的含义n熵是熵是从整个集合的统计特性从整个集合的统计特性来考虑的，它从来考虑的，它从平均意义上来平均意义上来表征信源的总体特征表征信源的总体特征。n在信源输出后，信息熵在信源输出后，信息熵H(X)表示表示每个消息提供的平均信每个消息提供的平均信息量息量；n在信源输出前，信息熵在信源输出前，信息熵H(X)表示表示信源的平均不确定性信源的平均不确定性；n信息熵信息熵H(X)表征了变量表征了变量X的随机性。的随机性。n n例：有两信源例：有两信源例：有两信源例：有两信源X X、Y Y，其概率空间分别其概率空间分别其概率空间分别其概率空间分别计算其熵，计算其熵，得：得：得：得：H(X)=0.08H(X)=0.08（bit/bit/符号）符号）符号）符号）H(Y)=1H(Y)=1（bit/bit/符号）符号）符号）符号）H(Y)H(X)，因此信源，因此信源Y比信源比信源X的平均不确定性要大。的平均不确定性要大。例例 设甲地的天气预报为：晴设甲地的天气预报为：晴(占占48)、阴、阴(占占28)、大雨、大雨(占占18)、小雨、小雨(占占18)。又设乙地的天气预报为：晴。又设乙地的天气预报为：晴(占占78)，小雨小雨(占占18)。试求两地天气预报各自提供的平均信息量。若。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为甲地天气预报为两极端情况，一种是晴出现概率为1而其余为而其余为0。另一种是晴、阴、小雨、大雨出现的概率都相等为。另一种是晴、阴、小雨、大雨出现的概率都相等为14。试。试求这两极端情况所提供的平均信息量。又试求乙地出现这两极求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。端情况所提供的平均信息量。两个信源两个信源解：甲地天气预报构成的信源空间为解：甲地天气预报构成的信源空间为:则其提供的平均信息量即信源的信息熵则其提供的平均信息量即信源的信息熵则其提供的平均信息量即信源的信息熵则其提供的平均信息量即信源的信息熵:乙地天气预报的信源空间为乙地天气预报的信源空间为:n n结结结结论论论论：甲甲甲甲地地地地天天气气预预报报提提提提供供供供的的的的平平平平均均均均信信信信息息息息量量量量大大大大于于于于乙乙乙乙地地地地，因因因因为为为为乙乙乙乙地地地地比甲地的平均不确定性小。比甲地的平均不确定性小。比甲地的平均不确定性小。比甲地的平均不确定性小。甲地极端情况n极端情况极端情况1：晴天概率：晴天概率1n 结结论论：等等概概率率分分布布时时信信源源的的不不确确定定性性最最大大，所以信息熵（平均信息量）最大。所以信息熵（平均信息量）最大。n极端情况极端情况2：各种天气等概率分布：各种天气等概率分布乙地极端情况n极端情况极端情况1：晴天概率：晴天概率1n 结论：在极端情况结论：在极端情况2下，甲地比乙地提供更多的信息量。下，甲地比乙地提供更多的信息量。因为，因为，甲地可能出现的消息数比乙地可能出现的消息数多甲地可能出现的消息数比乙地可能出现的消息数多。n极端情况极端情况2：各种天气等概率分布：各种天气等概率分布例例：一一离离散散信信源源由由0，1，2，3四四个个符符号号组组成成，它它们们出出现现的的概概率率分分别别为为3/8,1/4,1/4,1/8，且且每每个个符符号号的的出出 现现 都都 是是 独独 立立 的的。试试 求求 某某 消消 息息201020130213001203210100321010023102002010312032100120210的的信息量信息量和和平均信息量平均信息量。解解：此此消消息息中中，0出出现现23次次，1出出现现14次次，2出出现现13次次，3出现出现7次，共有次，共有57个符号，故该消息的信息量为个符号，故该消息的信息量为 每个符号的算术平均信息量为每个符号的算术平均信息量为若用熵的概念来计算，若用熵的概念来计算，两两种种算算法法的的结结果果有有一一定定误误差差，但但当当消消息息很很长长时时，用用熵熵的的概概念念来来计计算算比比较较方方便便。随随着着消消息息序序列列长长度度的的增增加加，两两种种计计算算误差将趋于零。误差将趋于零。条件熵是在联合符号集合联合符号集合XY上的条件自信息量上的条件自信息量的数学期望。在已知随机变量Y的条件下，随机变量X的条件熵定义为：要用联合要用联合概率加权概率加权条件熵条件熵 条条件件熵熵是是一一个个确确定定值值，是是指指：信信宿宿在在收收到到Y后后，信信源源X仍仍然然存存在在的的平平均均不不确确定定度度。这这是是传传输输失失真真所所造造成成的的。有有时时称称H(X/Y)为为信道疑义度信道疑义度，也称，也称损失熵损失熵。称称条条件件熵熵H(Y/X)为为噪噪声声熵熵。是是指指：发发出出X后后，由由于于信信道道干干扰使得扰使得Y存在平均不确定性存在平均不确定性H(X|Y)n联合离散符号集合XY上的每个元素对每个元素对 的联合自信息量的数学期望联合自信息量的数学期望。n公式：联合熵联合熵 H(XY)熵、条件熵、联合熵之间的关系熵、条件熵、联合熵之间的关系n一个二进信源一个二进信源X发出符号集发出符号集0,1,经过离散无记忆信道传经过离散无记忆信道传输输,信道输出用信道输出用Y表示表示.由于信道中存在噪声由于信道中存在噪声,接收端除收接收端除收到到0和和1的符号外的符号外,还有不确定符号还有不确定符号“2”n已知已知X的先验概率的先验概率:p(x0)=2/3,p(x1)=1/3,n符号转移概率：符号转移概率：p(y0|x0)=3/4,p(y2|x0)=1/4p(y1|x1)=1/2,p(y2|x1)=1/2，XY0101 23/41/21/21/4信源熵信源熵H(X)例题例题 p(x0y0)=p(x0)p(y0|x0)=2/33/4=1/2 p(x0y1)=p(x0)p(y1|x0)=0 p(x0y2)=p(x0)p(y2|x0)=2/31/4=1/6 p(x1y0)=p(x1)p(y0|x1)=0 p(x1y1)=p(x1)p(y1|x1)=1/31/2=1/6 p(x1y2)=p(x1)p(y2|x1)=1/31/2=1/6由由得联合概率得联合概率例题例题 条件熵条件熵H(Y|X)n联合熵联合熵H(XY)H(XY)H(X)H(Y|X)=1.8bit得得 p(y0)=p(xiy0)=p(x0y0)+p(x1y0)=1/2+0=1/2 p(y1)=p(xiy1)=p(x0y1)+p(x1y1)=0+1/6=1/6 p(y2)=p(xiy2)=p(x0y2)+p(x1y2)=1/6+1/6=1/3 由由例题例题信源输出熵信源输出熵H(Y)由由得得同理同理p(x0|y1)=0；p(x1|y1)=1 p(x0|y2)=1/2；p(x1|y2)=1/2 条件熵条件熵H(X|Y)例题例题或或 H(X|Y)=H(XY)-H(Y)=1.8-1.47=0.33bit信信息息熵熵是是信信源源概概率率空空间间的的一一种种特特殊殊矩矩函函数数。这这个个矩矩函函数的大小，与信源的符号数及其概率分布有关。数的大小，与信源的符号数及其概率分布有关。我们用概率矢量我们用概率矢量P来表示概率分布来表示概率分布P(x)：三、三、信息熵的基本性质信息熵的基本性质 这这这这样样样样，信信信信息息息息熵熵熵熵H(H(X X)是是是是概概概概率率率率矢矢矢矢量量量量P P或或或或它它它它的的的的分分分分量量量量p p1 1，p p2 2，p pq q的的的的q-1q-1元元元元函函函函数数数数(因因因因各各各各分分分分量量量量满满满满足足足足上上上上述述述述条条条条件件件件限限限限制制制制，所所所所以以以以独独独独立立立立变变变变量量量量只只只只有有有有q-1q-1元元元元)。一般一般一般一般 H(H(X)X)可写成：可写成：可写成：可写成：熵函数熵函数nH(P)是概率矢量是概率矢量P的函数，称为熵函数。的函数，称为熵函数。n我们用下述表示方法：我们用下述表示方法：用用H(x)表示以离散随机变量表示以离散随机变量x描述的描述的信源的信息熵信源的信息熵；用用H(P)或或 H(p1,p2,pq)表示概率矢量为表示概率矢量为P=(p1,p2,pq)的的q个符号信源的信息熵个符号信源的信息熵。若当若当 q=2 时，因为时，因为 p1+p2=1,所以将两个符号的熵函所以将两个符号的熵函数写成数写成H(p1)或或H(p2)。n熵函数熵函数H(P)是一种特殊函数，具有以下性质。是一种特殊函数，具有以下性质。1、对称性、对称性：H(P)的取值与分量的取值与分量 p1,p2 ,pq的顺序无关。的顺序无关。n说明：说明：从数学角度：从数学角度：H(P)=-pi log pi 中的和式满足交换率；中的和式满足交换率；从随机变量的角度：熵只与随机变量的从随机变量的角度：熵只与随机变量的总体统计特性总体统计特性总体统计特性总体统计特性有关。有关。n一个例子：一个例子：2、确定性、确定性：H(1,0)=H(1,0,0)=H(1,0,0,0)=0n性质说明性质说明：从总体来看，信源虽然有不同的输出符号，：从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其它符号则是几但它只有一个符号几乎必然出现，而其它符号则是几乎不可能出现，那么，这个信源是一个确知信源，其乎不可能出现，那么，这个信源是一个确知信源，其熵等于零。熵等于零。3、非负性、非负性：H(P)0n说明说明：随机变量随机变量随机变量随机变量X X的概率分布满足的概率分布满足的概率分布满足的概率分布满足0 0p pi i1 1，当取对数的底大，当取对数的底大，当取对数的底大，当取对数的底大于于于于1 1时，时，时，时，log(log(p pi i)0 0，-p pi ilog(log(p pi i)0 0，即得到的熵为正值。，即得到的熵为正值。，即得到的熵为正值。，即得到的熵为正值。只有当只有当只有当只有当随机变量是一确知量时熵才等于零随机变量是一确知量时熵才等于零随机变量是一确知量时熵才等于零随机变量是一确知量时熵才等于零。这种非负性合适于离散信源的熵，对连续信源来说这一这种非负性合适于离散信源的熵，对连续信源来说这一这种非负性合适于离散信源的熵，对连续信源来说这一这种非负性合适于离散信源的熵，对连续信源来说这一性质并不存在。以后可看到在相对熵的概念下，可能出性质并不存在。以后可看到在相对熵的概念下，可能出性质并不存在。以后可看到在相对熵的概念下，可能出性质并不存在。以后可看到在相对熵的概念下，可能出现负值现负值现负值现负值。vv 非负性体现信息是非负的。非负性体现信息是非负的。非负性体现信息是非负的。非负性体现信息是非负的。当当信信源源的的某某一一概概率率分分量量发发生生微微小小波波动动，而而要要求求符符号号状状态态数数保保持持不不变变时时，其其它它分分量量必必然然发发生生相相应应的的微微小小变化，形成另一个信源变化，形成另一个信源X，其信源空间为：，其信源空间为：其中其中信源信源X的熵为：的熵为：当微小波动趋于当微小波动趋于0时，有时，有这说明熵函数为一个连续函数。这说明熵函数为一个连续函数。4 4、连续性、连续性 X:x1x2xixnP:p1+1p2+2pi-ipn+n5、扩展性、扩展性性性质质说说明明：信信源源的的取取值值数数增增多多时时，若若这这些些取取值值对对应应的的概概率率很小很小(接近于零接近于零)，则信源的熵不变。，则信源的熵不变。所以，上式成立所以，上式成立因为因为6、可加性可加性统统计计独独立立信信源源X和和Y的的联联合合信信源源的的熵熵等等于于信信源源X和和Y各自的熵之和。各自的熵之和。H(XY)=H(X)+H(Y)可可加加性性是是熵熵函函数数的的一一个个重重要要特特性性，正正因因具具有可加性，才使熵函数的形式是唯一的。有可加性，才使熵函数的形式是唯一的。例如，甲信源为例如，甲信源为例如，甲信源为例如，甲信源为它们的联合信源是它们的联合信源是可计算得联合信源的联合熵：可计算得联合信源的联合熵：H(Z)=H(XY)=log(nm)=logm+logn=H(X)+H(Y)乙信源为乙信源为乙信源为乙信源为可加性证明可加性证明条件概率条件概率的性质的性质H（XY）=H（X）+H（Y/X）证明的另一种形式）证明的另一种形式：H（XY）=H（X）+H（Y/X）条件概率条件概率的性质的性质7、递增性、递增性 若若原原信信源源 X 中中有有一一个个符符号号分分割割成成了了m个个元元素素(符符号号)，这这m个个元元素素的的概概率率之之和和等等于于原原元元素素的的概概率率，而而其其他他符号的概率不变，则新信源的熵增加符号的概率不变，则新信源的熵增加。熵的增加量等于由分割而产生的不确定性量熵的增加量等于由分割而产生的不确定性量。证明可以从熵的定义或证明可以从熵的定义或强可加性强可加性得出：得出：递增性的推广递增性的推广它它表表示示n个个元元素素的的信信源源熵熵可可以以递递推推成成(n-1)个个二二元元信信源源的的熵熵函函数数的的加加权权和和。这这样样，可可使使多多元元信信源源的的熵熵函函数数的的计计算算简简化化成成计计算算若若干干个个二二元元信信源源的的熵熵函函数数。因因此，此，熵函数的递增性又可称为递推性。熵函数的递增性又可称为递推性。8、极值性、极值性在在离离散散信信源源情情况况下下，信信源源各各符符号号等等概概率率分分布布时时，熵值达到最大熵值达到最大。性质表明性质表明等等概率分布信源的平均不确定性为最大概率分布信源的平均不确定性为最大。这是一个很重要的结论，称为这是一个很重要的结论，称为最大离散熵定理最大离散熵定理。证证明明：因因为为对对数数是是型型凸凸函函数数，满满足足詹詹森森不不等等式式Elog Y log EY，则有：，则有：小结熵函数的性质H(p1,p2,pn)对称性 非负性 极值性 连续性 扩展性可加性 递增性 该信源该信源X输出符号只有两个输出符号只有两个,设为设为0和和1输出符输出符号发生的概率分别为号发生的概率分别为p和和q，pq=l，即信源，即信源的概率空间为的概率空间为 则二元信源熵为则二元信源熵为 H(X)=-plogp-qlogq =-plogp-(1-p)log(1-p)=H(p)二进制信源是离散信源的一个特例二进制信源是离散信源的一个特例0 0.2 0.4 0.6 0.8 1pH(p)H(p)=-plogp-(1-p)log(1-p)引理引理1：一个常用不等式：一个常用不等式：lnxx-1令令f(x)=lnx(x-1),则则可可见见，f(x)是是x的的上上凸凸函函数数，且且当当x=1时时，f(x)有有极极大大值值。故故即即lnx(x-1)f(x)=lnx-(x-1)0 图形表示图形表示证明：证明：引理引理2：香农辅助定理：香农辅助定理n给给定定空空间间中中各各事事件件的的自自信信息息的的均均值值小小于于以以此此空空间间的的概概率率矢矢量量作作为为权权系数对同维空间中各事件的自信息量进行加权平均的值。系数对同维空间中各事件的自信息量进行加权平均的值。n令令，即可得到最大熵为，即可得到最大熵为。证明：证明：n定理：定理：1.H(Y/X)H(Y)（条件熵不大于无条件熵）（条件熵不大于无条件熵）H(X/Y)H(X)条件化使得不确定性降低，从而熵减少条件化使得不确定性降低，从而熵减少证明：证明：n定定理理2：联联合合熵熵大大于于等等于于独独立立事事件件的的熵熵，小小于于等等于于两两独独立事件熵之和立事件熵之和nH(X)H(XY)H(Y)H(XY)H(XY)H(X)+H(Y)熵之间的相互关系熵之间的相互关系H(XY)=H(X)+H(Y|X)H(XY)=H(Y)+H(X|Y)H(X)=H(X|Y)H(Y)=H(Y|X)H(XY)=H(X)+H(Y)熵的意义（对通信系统）熵的意义（对通信系统）H(X)：表示信源中每个符号的平均信息量表示信源中每个符号的平均信息量（信源熵）（信源熵）。H(Y)：表示信宿中每个符号的平均信息量表示信宿中每个符号的平均信息量（信宿熵）（信宿熵）。H(X|Y)：表表示示在在输输出出端端接接收收到到Y的的全全部部符符号号后后，发发送送端端X尚尚存存的的平平均均不不确确定定性性。这这个个对对X尚尚存存的的不不确确定定性性是是由由于于干干扰扰引引起的。信道疑义度起的。信道疑义度(损失熵，含糊度损失熵，含糊度)H(Y|X)：表表示示在在已已知知X的的全全部部符符号号后后，对对于于输输出出Y尚尚存存的的平平均不确定性。均不确定性。信道散布度信道散布度(噪声熵噪声熵)H(XY)：表示整个信息传输系统的表示整个信息传输系统的平均不确定性（联合熵）平均不确定性（联合熵）。解：信源解：信源X的熵为：的熵为：例例：有两个同时输出的信源：有两个同时输出的信源X和和Y，其中，其中X的信源符号为的信源符号为A，B，C，Y的信源符号为的信源符号为D，E，F，G，已知，已知 P(X)和和P（Y/X），求联合信源的联合熵和条件熵），求联合信源的联合熵和条件熵,联合熵最大值。联合熵最大值。XABCP(x)1/21/31/6P(y/x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6信信源源XY输输出出每每一一对对消消息息的的联联合合概概率率为为：P(XY)=P(Y/X)P(X)，结果如下表：结果如下表：P(xy)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36联联联联合合合合信信信信源源源源的的的的联合熵：联合熵：联合熵：联合熵：信源信源Y的条件熵：的条件熵：信道散布度信道散布度 (噪声熵噪声熵)从上述结果可得：从上述结果可得：H(XY)=H(X)+H(Y/X)=1.461+1.956=3.417(bit/每对符号每对符号)当两个信源统计独立时，当两个信源统计独立时，H(XY)=H(X)+H(Y)，为最大。，为最大。对第二个信源对第二个信源Y，其熵，其熵H(Y)的计算。由的计算。由全概率公式全概率公式：因此：因此：联合熵的最大值为：联合熵的最大值为：由于信源相关，使联合熵减小，其减小量为：由于信源相关，使联合熵减小，其减小量为：定义n互信息量 是定量地研究信息传递问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息 ，输出变量出现某一个具体消息 时，流经信道的信息量；此外 还是随 和 变化而变化的随机变量。n互信息量不能从整体上作为信道中信息传递的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。n定义互信息量 在联合概率空间 中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。平均互信息量平均互信息量n平均互信息 克服了互信息量 的随机性，可作为信道中流通信息量的整体测度。n三种表达方式平均互信息的物理意义n从三种不同角度说明从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。此即“信息就是负熵”。平均互信息量的性质n对称性：n非负性：n极值性：n凸性平均互信息量 是输入信源概率分布 的上凸函数，研究信道容量的理论基础。平均互信息量 是输道转移概率 的下凸函数，研究信源的信息率失真函数的理论基础。平均互信息量的凸性平平均均互互信信息息量量为为先先验验概概率率q(xi)和和信信道道转转移移概概率率p(yj/xi)的函数，可以记为：的函数，可以记为：I(X;Y)=IQ(X);P(Y/X)当当信信道道一一定定时时，平平均均互互信信息息是是信信源源先先验验概概率率的的上上凸凸函函数数1)对对于于一一定定的的信信道道转转移移概概率率分分布布，总总可可以以找找到到一一个个先先验验概概率率分分布布为为Qm(X)的的信信源源X，使使平平均均互互信信息息达达到到相相应应的的最最大大值值Imax，这这时时称称这这个个信信源源为为该该信信道道的匹配信源。的匹配信源。2)不不同同的的信信道道转转移移概概率率对对应应不不同同的的Imax，或或者者说说Imax是是P(Y/X)的函数。的函数。例例设二元对称信道设二元对称信道(BSC)的信源空间为：的信源空间为：X=0,1;Q(X)=,1-;01-p0pp11-p1平均交互信息量为：平均交互信息量为：I(X,Y)=H(Y)-H(Y/X)(因为已知转移概率，所以利用这一个公式因为已知转移概率，所以利用这一个公式)H(Y/X)=-q(xi)p(yj/xi)logp(yj/xi)=q(xi)-plogp+(1-p)log(1-p)=H(p)其中：其中：H(p)=-plogp+(1-p)log(1-p)另外：为了求另外：为了求H(Y)，利用，利用w(yj)=q(xi)p(yj/xi)可得：可得：w(y=0)=(1-p)+(1-)p w(y=1)=p+(1-)(1-p)所以：所以：H(Y)=-(1-p)+(1-)plog(1-p)+(1-)p+p+(1-)(1-p)logp+(1-)(1-p)=H(1-p)+(1-)p)可得平均交互信息量为：可得平均交互信息量为：I(X,Y)=H(1-p)+(1-)p)-H(p)求平均互信息求平均互信息I(X,Y)？解：解：根根据据这这个个关关系系，当当p值值一一定定，即即固固定定信信道道，可可知知I(X,Y)是是的的上上凸凸函数，其曲线如图：函数，其曲线如图：I(X,Y)1-H(p)01/21从从图图中中可可知知，当当BSC信信道道的的信信道道矩矩阵阵固固定定后后，若若输输入入符符号号集集X的的概概率率分分布布不不同同，在在接接收收端端平平均均每每个个符符号号获获得得的的信信息息量量就就不不同同。只只有有当当输输入入为为等等概概分分布布时时，p(0)=p(1)=1/2时时，接接收收端端的的信信息息量量才才为为最大值最大值1-H(p)。这就是平均互信息的上凸函数性质。这就是平均互信息的上凸函数性质。I(X,Y)=H(1-p)+(1-)p)-H(p)n当信源一定时，平均互信息是信道转移概率的下凸函数当信源一定时，平均互信息是信道转移概率的下凸函数1)对对于于一一个个已已知知先先验验概概率率为为Q(X)的的离离散散信信源源，总总可可以以找找到到一一个个转转移移概概率分布为率分布为Pm(Y/X)的信道，使平均互信息达到相应的最小值的信道，使平均互信息达到相应的最小值Imin。2)可可以以说说不不同同的的信信源源先先验验概概率率对对应应不不同同的的Imin，或或者者说说Imin是是P(X)的的函函数。即平均交互信息量的最小值是由体现了信源本身的特性。数。即平均交互信息量的最小值是由体现了信源本身的特性。例例：在在上上例例中中，I(X,Y)=H(1-p)+(1-)p)-H(p)，当当固固定定信信源源先先验验概概率率分分布布时，时，I(X,Y)是信道转移概率是信道转移概率p的下凸函数，如图所示。的下凸函数，如图所示。01/21p从从图图中中可可知知，当当信信源源固固定定后后，存存在在一一种种BSC信信道道，p=(1-p)=1/2，使使在在信信道道输输出出端端获获得得信信息息量量最最小小，即即等等于于0。也也就就是是说说，信信源源的的信信息息全全部部损损失失在在信信道道中中了了。这这是是最最差差的的信信道道，这这个个性性质质说说明明，每每个个信信源源都都存存在在一一种种最最差差的信道，此信道的干扰最大。的信道，此信道的干扰最大。I(X,Y)H()定理定理:证明证明:平均条件互信息和平均联合互信息平均条件互信息和平均联合互信息n 数据处理定理（信息不增原理）P(Y/X)P(Z/Y)XYZ两级串联信道的情况两级串联信道的情况当当消消息息经经过过多多级级处处理理后后，随随着着处处理理器器数数目目的的增增多多，输输入消息与输出消息之间的平均互信息量趋于变小。入消息与输出消息之间的平均互信息量趋于变小。证明：证明：由联合互信息的定理，可得由联合互信息的定理，可得对此系统而言，有对此系统而言，有因而因而再由条件互信息的非负性，可得再由条件互信息的非负性，可得再由再由可得可得例例已知一个二元信源连接一个二元信道，如图给出已知一个二元信源连接一个二元信道，如图给出,X=x1,x2,p(xi)=1/2,1/2。求求I(X,Y)，H(X,Y)，H(X/Y)，和，和H(Y/X)。x10.98y10.020.2x20.8y2解：解：(1)求联合概率求联合概率p(x1,y1)=0.50.98=0.49;p(x1,y2)=0.50.02=0.01p(x2,y1)=0.50.20=0.10;p(x2,y2)=0.50.80=0.40(2)求求p(yj)p(y1)=p(x1,y1)+p(x2,y1)=0.49+0.10=0.59p(y2)=p(x1,y2)+p(x2,y2)=0.01+0.40=0.41(3)求求p(xi/yj)p(x1/y1)=p(x1,y1)/p(y1)=0.831p(x2/y1)=p(x2,y1)/p(y1)=0.169p(x1/y2)=p(x1,y2)/p(y2)=0.024p(x2/y2)=p(x2,y2)/p(y2)=0.976(4)求熵求熵H(X)=1bit/符号符号H(Y)=0.98bit/符号符号H(X,Y)=1.43bit/符号符号I(X,Y)=H(X)+H(Y)-H(X,Y)=0.55bit/符号符号H(X/Y)=0.45bit/符号符号H(Y/X)=0.43bit/符号符号名称名称符号符号关关系系图图示示无无条条件件熵熵条条件件熵熵条条件件熵熵联联合合熵熵交交互互熵熵各种熵之间的关系小小结结自信息自信息自信息自信息:事件事件ai的自信息的自信息信息熵信息熵信息熵信息熵:离散随机变量离散随机变量X的自信息的自信息熵函数的性质熵函数的性质熵函数的性质熵函数的性质:若离散随机变量若离散随机变量X的概率分布为的概率分布为P=(p1,p2,pq),则则H(P)具有具有性质性质性质性质1.对称性对称性2.确定性确定性3.非负性非负性4.扩展性扩展