信息论第二章信息度量.ppt
《信息论第二章信息度量.ppt》由会员分享,可在线阅读,更多相关《信息论第二章信息度量.ppt(88页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、关于信息论第二章信息的度量第一张,PPT共八十八页,创作于2022年6月内容提要:根据香农对于信息的定义,信息是一个系统不确定性的度量,尤其在通信系统中,研究的是信息的处理、传输和存储,所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手,研究离散情况下各种信息的描述方法及定量计算,讨论它们的性质和相互关系。第第2章章信息的度量信息的度量第二张,PPT共八十八页,创作于2022年6月2.1 自信息量和互信息量自信息量和互信息量 一个事件的自信息量就是对其不确定性的度量。互信一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。息量则表明了两个随机事件的
2、相互约束程度。对对于于随随机机事事件件集集X=x1,x2,xi,xI中中的的随随机机事事件件xi,其其出出现现概概率率记记为为q(xi),将将两两个个事事件件xi,yj同同时时出出现现的的概概率率记记为为p(xi yj),则则q(xi),p(xi yj)应满足应满足:相应的条件概率为相应的条件概率为第三张,PPT共八十八页,创作于2022年6月信息量直观的定义为:收到某消息获得的信息量收到某消息获得的信息量=不确定性减少的量不确定性减少的量 将某事件发生所得到的信息量记为将某事件发生所得到的信息量记为I(x),I(x)应该是该应该是该事件发生的概率的函数,即事件发生的概率的函数,即I(x)=)
3、=f q(x)211 自信息量和条件自信息量第四张,PPT共八十八页,创作于2022年6月自信息量自信息量 联合联合 自信息量自信息量条件条件 自信息量自信息量信息量信息量第五张,PPT共八十八页,创作于2022年6月1自信息量自信息量 直观地看,自信息量的定义应满足以下四点:直观地看,自信息量的定义应满足以下四点:a.I(x)应该是应该是q(x)的单调递减函数:概率小的事件的单调递减函数:概率小的事件一旦发生赋予的信息量大,概率大的事件如果发生一旦发生赋予的信息量大,概率大的事件如果发生则赋予的信息量小;则赋予的信息量小;b.b.信息量应具有可加性:对于两个独立事件,其信息量应具有可加性:对
4、于两个独立事件,其信息量应等于各事件自信息量之和;信息量应等于各事件自信息量之和;c.c.当当q(x)=1时,时,I(x)=0:表示确定事件发生得不:表示确定事件发生得不到任何信息;到任何信息;d.d.当当q(x)=0时,时,I(x):表示不可能事件一表示不可能事件一旦发生,信息量将无穷大。旦发生,信息量将无穷大。第六张,PPT共八十八页,创作于2022年6月综合上述条件,将综合上述条件,将自信息量定义自信息量定义为为:(2-1)(2-1)自信息量的单位与自信息量的单位与log函数函数所选用的对数底数有关,所选用的对数底数有关,如底数分别取如底数分别取 2 2、e e、10 10,则自信息量单
5、位分别为:比特、奈特、哈特则自信息量单位分别为:比特、奈特、哈特第七张,PPT共八十八页,创作于2022年6月一个以等概率出现的二进制码元一个以等概率出现的二进制码元(0,1)(0,1)所包含的自信息量为所包含的自信息量为1bit1bit。第八张,PPT共八十八页,创作于2022年6月【例例2.3】若若盒盒中中有有6 6个个电电阻阻,阻阻值值为为1、2、3的的分分别别为为2个个、1个个、3个个,将将从从盒盒子子中中取取出出阻阻值值为为i的的电电阻阻记记为为事事件件 (i=1,2,3),),则事件集则事件集X=x1,x2,x3,其概率分布其概率分布 计算出各事件的自信息量列表计算出各事件的自信息
6、量列表2-12-1如下:如下:消息消息xi x1 x2 x3 概率分布概率分布q(xi)1/3 1/6 1/2 自信息量自信息量I(xi)log3 log6 log2 第九张,PPT共八十八页,创作于2022年6月自信息自信息量具有下列性质量具有下列性质:图图2.1 对数曲线对数曲线1是非负值是非负值。第十张,PPT共八十八页,创作于2022年6月23的的单调递减单调递减函数。函数。4自信息量自信息量第十一张,PPT共八十八页,创作于2022年6月自信息量自信息量I(xi)代表两种含义代表两种含义:1.1.事件事件xi发生以前,表示事件发生的先验不确定性发生以前,表示事件发生的先验不确定性2.
7、2.当事件当事件xi发生以后,表示事件发生以后,表示事件xi所能提供的最大信息所能提供的最大信息量(在无噪情况下)量(在无噪情况下)第十二张,PPT共八十八页,创作于2022年6月 二维联合集二维联合集X Y上元素上元素xi yj的联合自信息量的联合自信息量I(xi yj)定义为:定义为:(2-3)2.2.联合自信息量联合自信息量其中),2,1;,2,1(1)(0mjnibapjiLL=第十三张,PPT共八十八页,创作于2022年6月3.条件自信息量条件自信息量 在在已已知知事事件件yj条条件件下下,随随机机事事件件xi发发生生的的概概率率为为条条件件概概率率(xiyj),条条件自信息量件自信
8、息量 定义为:定义为:(2-(2-5)5)代入式代入式自信息量的公式自信息量的公式就有就有第十四张,PPT共八十八页,创作于2022年6月 联合自信息量和条件自信息也满足联合自信息量和条件自信息也满足非负非负和和单调单调递减递减递减递减性性 ,同时,它们也都是随机变量,同时,它们也都是随机变量。自信息量、条件自信息量和联合自信息量之间有自信息量、条件自信息量和联合自信息量之间有如下关系式:如下关系式:4.联合自信息量和条件自信息量间的关系联合自信息量和条件自信息量间的关系第十五张,PPT共八十八页,创作于2022年6月【例例2.6】某某住住宅宅区区共共建建有有若若干干栋栋商商品品房房,每每栋栋
9、有有5个个单单元元,每每个个单单元住有元住有12户,甲要到该住宅区找他的朋友乙,若:户,甲要到该住宅区找他的朋友乙,若:1.甲甲只只知知道道乙乙住住在在第第5栋栋,他他找找到到乙乙的的概概率率有有多多大大?他他能能得得到到多多少少信信息息?2.甲甲除除知知道道乙乙住住在在第第5栋栋外外,还还知知道道乙乙住住在在第第3单单元元,他他找找到到乙乙的的概概率又有多大?他能得到多少信息率又有多大?他能得到多少信息?用用xi代表单元数,代表单元数,yj代表户号:代表户号:(1 1)甲甲 找找 到到 乙乙 这这 一一 事事 件件 是是 二二 维维 联联 合合 集集 X Y上上 的的 等等 概概 分分 布布
10、 ,这一事件提供给甲的信息量为,这一事件提供给甲的信息量为 I(xi yj)=-)=-log p(xi yj)=log60=5.907(比特)比特)(2 2)在在二二维维联联合合集集X Y上上的的条条件件分分布布概概率率为为 ,这这一一事事件件提提供给甲的信息量为条件自信息量供给甲的信息量为条件自信息量 I(yjxi)=-)=-logp(yjxi)=log12=)=log12=3.585(比特)比特)第十六张,PPT共八十八页,创作于2022年6月1.互信息量互信息量信信源源符符号号X=x1,x2,xI,xi a1,a2,ak,i=1,.,I。信信 宿宿 方方 接接 收收 到到 符符 号号Y=
11、y1,y2,yJ,yj b1,b2,bD,j=1,2,J J。图21简单的通信模型x1,x2,xIy1,y2,yJ信源符号集信源符号集 a1,a2,ak 信源信源 b1,b2,bD 信宿符号集信宿符号集干扰干扰信道信道信宿信宿212互信息量和条件互信息量互信息量和条件互信息量第十七张,PPT共八十八页,创作于2022年6月 事件事件xi是否发生具有不确定性,用是否发生具有不确定性,用I(xi)度量。度量。接接收收到到符符号号yj后后,事事件件xi是是否否发发生生仍仍保保留留有有一一定定的的不不确确定定性性,用用I(xiyj)度量。度量。观观察察事事件件前前后后,这这两两者者之之差差就就是是通通
12、信信过过程程中中所所获获得得的的信信息息量量,用用I(xi;yj)表示:表示:。注:式(注:式(2-6)的)的I(xi;yj)和式(和式(2-3)的)的I(xiyj)的区别在于:的区别在于:前者是事件前者是事件xiX和事件和事件yjY之间的互信息量,之间的互信息量,后者是二维空间后者是二维空间XY上元素上元素xi yj 的自信息量。的自信息量。称称(2-6)式为事件式为事件xi和事件和事件yj之间的之间的互信息量互信息量。(2-6)第十八张,PPT共八十八页,创作于2022年6月根根据据概概率率互互换换公公式式p(xiyj)=p(yjxi)q(xi)=)=(xiyj)()(yj)互信息量互信息
13、量I(xi;yj)有多种表达形式有多种表达形式:(2-7)(2-7)(2-8)(2-8)第十九张,PPT共八十八页,创作于2022年6月先验不定度(联合自信息量)发送发送接收接收物理解释:物理解释:通信前通信前通信前通信前第二十张,PPT共八十八页,创作于2022年6月后验不定度 通信后发送发送接收接收第二十一张,PPT共八十八页,创作于2022年6月这样,通信后流经信道的信息量,等于这样,通信后流经信道的信息量,等于通信前后不定度的差通信前后不定度的差第二十二张,PPT共八十八页,创作于2022年6月将事件互信息量的概念推广至多维空间:将事件互信息量的概念推广至多维空间:在三维在三维X Y
14、Z联合集中,有:联合集中,有:I(xi;yj zk)=)=I(xi;yj)+)+I(xi;zkyj)(2-92-9)类似,在类似,在N维维U1U2 UN联合空间联合空间,有:有:I(u1;u2u3 uN)=I(u1;u2)+I(u1;u3u2)+I(u1;uiu2 u i-1)+I(u1;uNu2 uN-1)(2-10)第二十三张,PPT共八十八页,创作于2022年6月三维三维X Y Z联合集中,在给定条件联合集中,在给定条件zk的情况下的情况下,xi,yj的的互信息量互信息量I(xi;yjzk)定义为:定义为:(2-11)2 2条件互信息量条件互信息量第二十四张,PPT共八十八页,创作于20
15、22年6月3 3互信息量的性质互信息量的性质 (1 1)互易性)互易性 对称性对称性 I(xi;yj)=I(yj;xi)(2-12)(2 2)可加性:)可加性:第二十五张,PPT共八十八页,创作于2022年6月(4)互信息量互信息量I(xi;yj)可以是正数,也可以是可以是正数,也可以是负负数。数。(3 3)当)当xi,yj统计独立时,互信息量统计独立时,互信息量I(xi;yj)=0及条件互及条件互信息量信息量(5 5)两两个个事事件件的的互互信信息息量量不不大大于于单单个个事事件件的的自自信信息息量量,即有:即有:(2-13)第二十六张,PPT共八十八页,创作于2022年6月【例【例2.8】
16、信源包含】信源包含7 7个消息个消息x0,x1,x2,x3,x4,x5,x6 信源编码器将其对应编成信源编码器将其对应编成7个三位二进制数个三位二进制数000,001,110。各消息的先验概率已知,在接收过程中,。各消息的先验概率已知,在接收过程中,每收到一个数字,各消息的后验概率都相应地发生变化。考虑在接受每收到一个数字,各消息的后验概率都相应地发生变化。考虑在接受100三三个数字的过程中,各后验概率的变化,计算信息量个数字的过程中,各后验概率的变化,计算信息量I I(x4;100)。信信源源消消息息码字码字消消息息先先验验概率概率消息后验概率消息后验概率收到收到1 1后后收到收到1010后
17、后收到收到100100后后x0 0000001/161/160 000 0 x1 0010011/161/160 000 0 x2 0100101/161/160 000 0 x3 0110111/161/160 000 0 x4 1001001/21/22/32/34/54/51 1x5 1011011/81/81/61/61/51/50 0 x61101101/81/81/61/60 00 0表表2-4为为7个三位二进制数对应的各种概率。个三位二进制数对应的各种概率。第二十七张,PPT共八十八页,创作于2022年6月 根据给定的先验概率,可算出:根据给定的先验概率,可算出:P (x4100
18、)=1第二十八张,PPT共八十八页,创作于2022年6月 将将各各种种后后验验概概率率的的计计算算结结果果列列于于表表2-3中中,再再根根据据式式(2-10)计计算出互信息量:算出互信息量:I(x4;100)=I(x4;1)+I(x4;01)+I(x4;010)(比特比特)也可直接计算出:也可直接计算出:(比特比特)第二十九张,PPT共八十八页,创作于2022年6月2 22 2 离散集的平均自信息量离散集的平均自信息量 信信源源熵熵熵熵条条件件熵熵联联合合熵熵第三十张,PPT共八十八页,创作于2022年6月2 22 2 离散集的平均自信息量离散集的平均自信息量 1 1平均自信息量平均自信息量(
19、熵熵)无无记记忆忆信信源源的的平平均均自自信信息息量量定定义义为为各各消消息息自自信信息息量量的的概概率率加加权权平平均均值(统计平均值),即值(统计平均值),即平均自信息量平均自信息量H(X)定义为:定义为:(2-152-15)H(X)的表达式与统计物理学中的热熵具有相类似的表达式与统计物理学中的热熵具有相类似的形式,的形式,在概念上二者也有相同之在概念上二者也有相同之处处,故借用,故借用熵熵这这个个词词把把H H(X X)称称为为集合集合X X的的信息熵信息熵,简简称称熵熵。第三十一张,PPT共八十八页,创作于2022年6月【例【例2.9】计算下列信源的熵】计算下列信源的熵(1)信源一:)
20、信源一:熵熵 H(X1)=-0.99log0.990.01log0.01=0.08 比特比特/符号符号(2 2)信源二:等概信源)信源二:等概信源熵熵 H(X2)=-0.5log0.5-0.5log0.5=1比特比特/符号符号(3 3)信源三)信源三:等概信源等概信源熵熵 H(X3)=-40.25log0.25=log4=2 比特比特/符号符号第三十二张,PPT共八十八页,创作于2022年6月(5)(5)信源五:一般情况下,二元信源的概率分布为信源五:一般情况下,二元信源的概率分布为 熵熵 H(X)=)=log-(1-)log(1-)记记H2()=)=log-(1-)log(1-)H2()与与
21、的关系如图的关系如图2-2所示。所示。(4 4)信源四:)信源四:信源为确定事件信源为确定事件 熵熵H(X4)=-)=-0log01log1=0 计算结果说明确定事件的熵为零计算结果说明确定事件的熵为零 H 2 2()()00.51 图图 2-2 2-2 H2()与与关系关系第三十三张,PPT共八十八页,创作于2022年6月信源熵与信息量的比较信源熵与信息量的比较 信源的平均不确定度信源的平均不确定度消除不定度得到信息消除不定度得到信息与信源是否输出无关与信源是否输出无关 接收后才得到信息接收后才得到信息 确定值确定值 一一般为随机量般为随机量 有限值有限值 可为无穷大可为无穷大 熵熵熵熵 信
22、息量信息量信息量信息量信源熵和平均自信息量两者在信源熵和平均自信息量两者在数值上是相等的,但含义并不相同数值上是相等的,但含义并不相同数值上是相等的,但含义并不相同数值上是相等的,但含义并不相同第三十四张,PPT共八十八页,创作于2022年6月总括起来,信源熵有三种物理含义:信源熵H(X)表示信源输出后信源输出后,离散消息所提供的平均信息量平均信息量。信源熵H(X)表示信源输出前信源输出前,信源的平平均不确定度均不确定度。信源熵H(X)反映了变量变量X X的随机性的随机性。123第三十五张,PPT共八十八页,创作于2022年6月2 2平均条件自信息量平均条件自信息量(条件熵条件熵)(2-16)
23、若事件若事件xi yj的联合分布概的联合分布概率为率为p(xi yj),给定给定yj条件下事件条件下事件xi的条件自信息量为的条件自信息量为I(xiyj),则则H(XY)定义为:定义为:第三十六张,PPT共八十八页,创作于2022年6月当当X,Y统计独立时,有统计独立时,有p(xi yj)=q(xi)(yj),(xiyj)=q(xi),则则 (2-172-17)从通信角度来看:从通信角度来看:若将若将X=x1,x2,xi,视为信源输出符号;视为信源输出符号;Y=y1,y2,yj,视为信宿接收符号;视为信宿接收符号;I(xiyj)可可看看作作信信宿宿收收到到yj后后,关关于于发发送送的的是是否否
24、为为xi仍仍然然存存在在的的疑疑义度(不确定性),则义度(不确定性),则 反反映映了了经经过过通通信信后后,信信宿宿符符号号yj(j=1,2,)关关于于信信源源符符号号xi(i=1,2,)的平均不确定性。的平均不确定性。第三十七张,PPT共八十八页,创作于2022年6月类似,若给定类似,若给定xi条件下事件条件下事件yj的条件自信息量为的条件自信息量为I(yjxi),则则H(YX)定义为定义为 (2-182-18)当当X,Y统计独立时,有统计独立时,有p(xi yj)=q(xi)(yj),则则 (2-192-19)存在以下两种极端情况:存在以下两种极端情况:(1)对对于无噪信道于无噪信道H(X
25、Y)=0(2)在)在强强噪声情况下,收到的噪声情况下,收到的Y与与X毫不相干,毫不相干,可可视为统计视为统计独立,独立,H(XY)=H(X)第三十八张,PPT共八十八页,创作于2022年6月(2 2)对于强噪信道,有)对于强噪信道,有H(YX)=H(Y)。(1 1)对于无扰信道,有对于无扰信道,有H(YX)=0。从通信角度来看,从通信角度来看,H(YX)是发出确定消息是发出确定消息xi后,由于后,由于信道干扰而使信道干扰而使yj存在的平均不确定性,称存在的平均不确定性,称H(YX)为噪声为噪声熵(散布度)。熵(散布度)。存在以下两种极端情况:存在以下两种极端情况:第三十九张,PPT共八十八页,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 第二 信息 度量
限制150内