测量信息论基础优秀课件.ppt

《测量信息论基础优秀课件.ppt》由会员分享，可在线阅读，更多相关《测量信息论基础优秀课件.ppt（56页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、测量信息论基础第1页，本讲稿共56页信息论源于通信工程，背景是关于通讯中的：信息传输的效率 信息传输的准确性 噪声干扰 信道频率特性第2页，本讲稿共56页广义通信系统，即信息流通系统广义通信系统，即信息流通系统第3页，本讲稿共56页广义通信系统模型广义通信系统模型信息从信息源（information source）传送到信宿。发信器（transmitter）又称编码器，把信息变换成物理信号。受信器（receiver）又称译码器，把物理信号转换成信宿能感知的信息的装置。信宿（destination）是信息传输的对象。第4页，本讲稿共56页信息的定量描述信源模型与信息熵。自然科学通常都应作定量的描

2、述，定性描述只能解释一些现象。从理论上研究信息大小当作定量描述。Shannon信息理论的贡献在于：运用概率论与数理统计学方法，对信息给予了数学描述。从而使信息论作为一门科学建立起来。第5页，本讲稿共56页信源的输出是随机的。信源的输出常用随机变量或随机矢量来描述，从随机变量出发研究信息，是shannon信息理论的基本假设。由概率论可知，随机变量可取值于某一离散集合，也可取值于某一连续区间，相应的信源称为离散信源及连续信源。第6页，本讲稿共56页离散信源模型离散信源模型是离散型概率空间，即:x1,x2,xN 描述信源输出的可能状态。P（x1）P（x2）P（xN）描述各种状态出现的可能性。第7页，

3、本讲稿共56页信源状态的出现是不相容的。例如：抛硬币 其中，P（x1）=P=P（x2）=0.5，该系统为等概率事件，称为先验概率。第8页，本讲稿共56页用超声波检测物体内部有无裂纹第9页，本讲稿共56页 X1 1 代表物体内部有裂纹 X2 代表物体内部无裂纹第10页，本讲稿共56页自信息某事件发生所含有信息量称为自信息，它是该事件发生的先验概率的函数，即 I（xi）=fP（xi）P（xi）是事件xi发生的先验概率；I（xi）表示事件xi发生所含有的信息量。第11页，本讲稿共56页 信源中某一状态发生的先验概率很小，但一旦发生，所获得的信息量就多。例如：一台新机器，具有正常工作和发生事故两种可能

4、状态。正常工作概率为P（x1）=0.99，发生故障概率为P（x2）=0.01。一旦发生故障，则是一件引人注目的事件。第12页，本讲稿共56页I（xi）与P（xi）有以下关系：I（xi）是P（xi）的单调递减函数；当P（xi）=1时，I（xi）=0，必然事件信息量为零；当P（xi）=0时，I（xi）=，不可能发生的事件发生了，信息量为无穷大；两个独立事件的联合信息量，应等于它们各自信息量之和。第13页，本讲稿共56页I（xi）与P（xi）关系用下图表示：根据上述条件，根据上述条件，I I（x xi i）与）与P P（x xi i）用下式表达：）用下式表达：第14页，本讲稿共56页I（xi）代表两

5、种含义：A.当事件xi发生以前，表示事件xi发生的不确定性；B.当事件xi发生以前，表示事件xi所含有的信息量。信息量单位取决于所取对数之底：信息量单位取决于所取对数之底：以以2 2为底，信息量单位为比特（为底，信息量单位为比特（bitbit），），以以e e为底，信息量单位为奈特（为底，信息量单位为奈特（natnat），），以以1010为底，信息量单位为哈特（为底，信息量单位为哈特（HartHart）。）。一般采用以一般采用以2 2为底的对数，为底的对数，当当P P（x xi i）=1/2=1/2，I I（x xi i）=1=1比特。比特。第15页，本讲稿共56页熵熵-新的世界观新的世界观地

6、球是一个封闭系统，其能源、地球是一个封闭系统，其能源、资源和容积有限，人类会的发展资源和容积有限，人类会的发展增长必然有一个极限。增长必然有一个极限。第16页，本讲稿共56页热力学定律热力学定律熵的概念是从热力学引导出来的。熵的概念是从热力学引导出来的。热力学第热力学第0定律：定律：温度与热平衡温度与热平衡。1709年荷兰年荷兰G。D。Fahrenheit建立华氏温标，建立华氏温标，1742年瑞典天文学家年瑞典天文学家A。Celsius建立摄氏温标，建立摄氏温标，热热力力学学第第一一定定律律(能能量量守守恒恒定定律律)：能能量量是是守守恒恒的的、不不灭灭的的，只只能能从从一一种种形形式式转转变

7、变成成另另一一种种形形式式。从从而而否否认认了了第第一一类类“永永动动机机”。物物理理学学家焦耳经家焦耳经30年的研究，于年的研究，于1848年提出。年提出。第17页，本讲稿共56页热力学定律热力学定律热热力力学学第第二二定定律律（熵熵增增加加原原理理）：研研究究热热效效率率，否否认认了了第第二二类类“永永动动机机”（即即认认为为能能量量是是取取之之不不竭竭的的）。1850年年科科学学家家克劳休斯克劳休斯/1851年科学家开尔芬提出。年科学家开尔芬提出。热热力力学学第第三三定定律律：绝绝对对温温度度0K不不可可达达定定理理，即即称称能能斯斯脱脱定定理理。1906年年科科学学家家能能斯斯脱脱提提

8、出出。如如果果一一个个系系统统的的温温度度趋趋近近于于绝绝对对温度温度0K时，其时，其熵趋于熵趋于0，且不随时间而变化，即有：，且不随时间而变化，即有：实验证明：是不能达到的，因此，上式也不可能实现。实验证明：是不能达到的，因此，上式也不可能实现。第18页，本讲稿共56页熵（熵（EntropyEntropy）熵的定义：熵的定义：在一个热力体系中，热能的利用是与环境温度有关的。蒸汽虽然有热能，但如果周在一个热力体系中，热能的利用是与环境温度有关的。蒸汽虽然有热能，但如果周围的环境温度与蒸汽一样，则蒸汽的热能就无法利用。如果周围温度略为降低，则围的环境温度与蒸汽一样，则蒸汽的热能就无法利用。如果周

9、围温度略为降低，则一部分蒸汽的热能就可变为功，而仍有一部分不能利用。不论在任何热力体系中，一部分蒸汽的热能就可变为功，而仍有一部分不能利用。不论在任何热力体系中，这种不能利用的热能可以用热能除以温度所得的商来量度它，这个商就定义为这种不能利用的热能可以用热能除以温度所得的商来量度它，这个商就定义为熵熵。第19页，本讲稿共56页熵的特性熵的特性物理学家物理学家R.ClausiusR.Clausius提出了热熵的概念，它是热系统的一个状态函数，反映状态的多样性和不可期望提出了热熵的概念，它是热系统的一个状态函数，反映状态的多样性和不可期望性的程度。性的程度。在热力学中，在热力学中，“熵是能量转变为

10、有用功的能量多少的量度熵是能量转变为有用功的能量多少的量度”根据物理学原理，自然界具有三种平衡：根据物理学原理，自然界具有三种平衡：力学平衡力学平衡热平衡热平衡化学平衡化学平衡一个系统愈接近平衡，则可用于作功的能量就愈少。因此，一个系统的熵愈大，不能作功的能量就愈多，一个系统愈接近平衡，则可用于作功的能量就愈少。因此，一个系统的熵愈大，不能作功的能量就愈多，能量的品质就愈差。能量的品质就愈差。第20页，本讲稿共56页熵的特性熵的特性能能量量只只能能不不可可逆逆转转地地沿沿着着一一个个方方向向转转化化，即即从从对对人人类类来来说说是是可可利利用用的的到到不不可可利利用用的的状状态态，从从有有效效

11、的的到到无无效效的的状状态态转转化化。用用加加尔尔文文的的话话说说：这这种种无无效效能能量量已已从从人人们们那那里里不不可可挽回地失去了，尽管它并没有消灭。挽回地失去了，尽管它并没有消灭。熵熵就就是是这这种种不不能能再再被被转转化化作作功功的的能能量量的的总总和和，即即熵熵是是无无效效能能量量（无无序序状状态态）的的总总和和，熵熵的的增增加就意味着有效能量的减少。加就意味着有效能量的减少。在在一一个个封封闭闭的的系系统统里里，所所有有能能量量是是从从有有序序状状态态到到无无序序状状态态转转化化，物物质质的的熵熵最最终终将将达达到到最最大大值值。当当熵熵处处于于最最小小值值时时，能能量量集集中中

12、程程度度最最高高，有有效效能能量量最最大大，系系统统处处于于最最有有序序状状态态；反反之之，熵熵为为最最大大时时，有有效效能能量量完完全全耗耗尽尽，也也就就是是混混乱乱度度最最大大的的状状态态。所所以以热热力力学学第第二二定定律律也也称称之之为为熵熵定定律。律。熵定律是自然界一切定律中的最高定律。熵定律是自然界一切定律中的最高定律。第21页，本讲稿共56页热寂学说与大爆炸热寂学说与大爆炸-地球的起源与毁灭地球的起源与毁灭熵熵定律不仅适于地球，也适于整个宇宙。这与定律不仅适于地球，也适于整个宇宙。这与赫尔姆霍茨赫尔姆霍茨的的热寂学说热寂学说是一致的。是一致的。他他认认为为整整个个宇宇宙宙是是一一

13、个个密密集集能能源源的的大大爆爆炸炸开开始始的的。当当这这个个稠稠密密能能源源向向外外膨膨胀胀时时，它它的的膨胀速度逐渐减慢，从而形成了银河系、恒星、行星和地球。膨胀速度逐渐减慢，从而形成了银河系、恒星、行星和地球。能能源源也也渐渐渐渐失失去去原原来来的的次次序序，最最后后达达到到最最大大熵熵，即即热热寂寂的的最最终终热热平平衡衡状状态态，一一切切能能量差别趋于零，所有能量已消耗一空，处于永恒的死寂。量差别趋于零，所有能量已消耗一空，处于永恒的死寂。大爆炸学说与大爆炸学说与熵熵定律是一致的。定律是一致的。第22页，本讲稿共56页熵与时间熵与时间熵是时光之箭熵是时光之箭，熵定律与时间熵定律与时间

14、的概念也是一致的：的概念也是一致的：熵熵不不能能减减少少，时时间间也也不不能能倒倒流流。时时间间推推延延的的过过程程就就是是熵熵增增加加的的过过程程，我我们们无无法法逆逆转时间和熵的过程，熵定律展示了时间的方向。转时间和熵的过程，熵定律展示了时间的方向。人们的意识与时间、生命和熵是紧密联系的。人们的意识与时间、生命和熵是紧密联系的。宇宙达到热寂的平衡状态，任何事情也不会发生，时间也就不复存在了。宇宙达到热寂的平衡状态，任何事情也不会发生，时间也就不复存在了。第23页，本讲稿共56页熵与生命熵与生命有机体的生长都伴随宇宙总熵的递增。有机体的生长都伴随宇宙总熵的递增。科科学学家家们们认认识识到到收

15、收集集信信息息和和储储存存知知识识都都要要花花费费能能量量，因因此此也也是是熵熵增增加加的的过过程程。从从本本能能、直直觉觉、理理智智到到抽抽象象思思维维，人人类类思思想想都都愈愈来来愈愈复复杂杂、集集中中、抽抽象象。而而且且信信息息越越多多，反反而而更更加加糊糊涂涂。心心理理学学家家称称之之为为“信息超载信息超载”。事事实实上上能能源源和和物物资资是是一一项项资资本本，它它不不是是人人们们生生产产出出来来的的，而而是是地地球球所所赋赋予予的的，是是不不可可替替代代的的有有限限资资本本。因因此此，世世界界非非再再生生能能源源和和物物资资的的消消耗耗正正在在使使熵熵提提高高到到一个危险的水平。一

16、个危险的水平。第24页，本讲稿共56页信息熵发展历程信息熵发展历程信息论的创始人香农（信息论的创始人香农（C.E.ShannomC.E.Shannom）19481948年发表的年发表的“通信的数学理论通信的数学理论”中提出信息论并提出信息熵中提出信息论并提出信息熵(entropy)(entropy)香农熵和互信息（香农熵和互信息（mutyal mutyal informationinformation）的概念，奠定了信息论基础。）的概念，奠定了信息论基础。具有划时代意义。具有划时代意义。汉明（汉明（R.W.HammingR.W.Hamming）提出：信息论）提出：信息论-信道编码构造理论信道编

17、码构造理论E.T.Jaynes 1957E.T.Jaynes 1957年提出最大熵原理年提出最大熵原理S.K.Kullback 1959S.K.Kullback 1959年提出并为年提出并为J.S.ShoreJ.S.Shore等人等人19801980年发展的鉴别信息及年发展的鉴别信息及最小鉴别信息最小鉴别信息(discrimination information)(discrimination information)原理理论原理理论第25页，本讲稿共56页信息熵发展历程信息熵发展历程苏联学者苏联学者A.N.Kolmogorov 1958A.N.Kolmogorov 1958年指出年指出“熵熵

18、”相等是动力系统同构的必要条件，开辟了遍历理论，即相等是动力系统同构的必要条件，开辟了遍历理论，即动力系统的熵及其在同构中的应用。并提出动力系统的熵及其在同构中的应用。并提出熵，解决了连续变量下熵的定义问题。熵，解决了连续变量下熵的定义问题。19651965年提出信息量度定义的三种方法：概率法，组合法，计算法年提出信息量度定义的三种方法：概率法，组合法，计算法19681968年提出算法信息理论年提出算法信息理论Renyi 1961Renyi 1961年提出年提出熵概念熵概念J.Havrda 1967J.Havrda 1967年提出年提出熵概念熵概念S.Arimoto 1971S.Arimoto

19、 1971年提出年提出熵概念熵概念S.Guiasu 1977S.Guiasu 1977年提出加权熵概念年提出加权熵概念C.Ferreri 1980C.Ferreri 1980年提出次熵年提出次熵E.T.Jaynes 1957E.T.Jaynes 1957年提出的最大熵原理是信号处理的一个重要方法。最大熵谱估计标志着年提出的最大熵原理是信号处理的一个重要方法。最大熵谱估计标志着熵已开始取代其它信号处理方法。熵已开始取代其它信号处理方法。2020世纪世纪8080年代又提出交叉熵的概念，用于信号处理。年代又提出交叉熵的概念，用于信号处理。第26页，本讲稿共56页信息熵发展历程信息熵发展历程信息量度已

20、系统地发展成为信息处理的一种准则，信息量度已系统地发展成为信息处理的一种准则，并并在信息技术领域逐步取代功率的最小均方误在信息技术领域逐步取代功率的最小均方误差准则。信息论已成为信号与信息处理的基本差准则。信息论已成为信号与信息处理的基本理论理论。信息论已广泛应用于各科学领域，测试领域也信息论已广泛应用于各科学领域，测试领域也不例外。不例外。第27页，本讲稿共56页信息熵的计算 Shannon定义自信息的数学期望为信息熵，即信源的平均信息量第28页，本讲稿共56页熵的单位是bit/事件。不同信源，其统计特性不同，熵也不同。第29页，本讲稿共56页信息熵分别为：第30页，本讲稿共56页信息熵的特

21、性（性质）：对称性当概率空间P（x1），P（x2）顺序任意互换时，熵函数值不变。确定性如果信源的输出只有一个状态是必然的，即P（x1）=1，P（x2）=P（x3）=0，则信源的熵 非负性即 H（X）0因为：0 P（xi）1，所取对数的底大于1，log P（xi）0，即熵为正值。第31页，本讲稿共56页 可加性统计独立信号源X和Y的联合信号源的熵等于它们各自的熵之和。极值性极值性信信号号源源各各个个状状态态为为等等概概率率分分部部时时，熵熵值值最最大大，并并等等于于信源输出符号（状态）数。信源输出符号（状态）数。即即第32页，本讲稿共56页第33页，本讲稿共56页第34页，本讲稿共56页连续信源

22、及最大熵定理连续信源的数学模型为连续型的概率空间。P P（x x）是随机变量）是随机变量x x的概率密度函数。的概率密度函数。第35页，本讲稿共56页连续信源的熵为：该熵又称为相对熵或差熵。第36页，本讲稿共56页最大熵定理在连续信源中，当各约束条件不同时，信源的最大相对熵值不同。峰值功率受限条件下信源的最大熵 第37页，本讲稿共56页概率密度 第38页，本讲稿共56页平均功率受限条件下信源的最大熵 若一个信源输出的平均功率有限，则其输出信号的概率密度分布是高斯分布时，信源有最大熵。一维随机变量x的概率密度分布为：第39页，本讲稿共56页M是x的均值，2是x的方差。该连续信源的熵正态分布的连续

23、信源的熵与数学期望m无关，只与方差2有关。第40页，本讲稿共56页N维：式中：第41页，本讲稿共56页信息与熵的守恒定律熵描述了系统的不确定性程度，而信息则是消除了系统不确定性而得到的东西。一个体系的信息与熵的和保持恒定，并等于该体系在给定条件下所能达到的最多信息或最大熵。数学表达式为:第42页，本讲稿共56页式中：I 对系统观测后所获得的信息；Hmax 系统的原始熵；H 观测以后系统仍具有不确定性所具有的熵。第43页，本讲稿共56页测量信息论原理测量信息论原理测量的目的是为了获得被测对象的信息，确定被测量的量值。因此，测量系统也就是一个信息系统。从信息的角度来看，测量系统的作用是传输信息，以

24、消除观察者对被测量的不确定性；第44页，本讲稿共56页关于测量误差的分析与处理，在前面我们是以概率论为基础进行的。然而，信息的概念比概率更为基本，信息方法比传统数理统计方法的应用更为广泛。尤其在误差概率估计、数据处理和参数估计等分析中，测量信息论具有更强的能力。第45页，本讲稿共56页用测量信息论来处理测量误差，主要研究以下问题：测量信息系统的模型；测量信息的量度；最大信息熵原理及其误差概率估计；利用误差熵来计算测量不确定度等。第46页，本讲稿共56页测试系统的基本模型测试系统的基本模型系统的输入是被测量A，输出是经测量系统所得的测量值X。第47页，本讲稿共56页信息测量的过程信息测量的过程信

25、息测量的过程就是将被测信息从无限多个物理复杂过信息测量的过程就是将被测信息从无限多个物理复杂过程的集合中分离出来的过程。因此，必须去除多余信程的集合中分离出来的过程。因此，必须去除多余信息：息：初始信息形成，全部物理信息；（初始信息形成，全部物理信息；（物理连接物理连接）信息结构综合，滤除无关物理信息；（信息结构综合，滤除无关物理信息；（传感器传感器）信息语义综合，提取有价值的信息，实现信息测信息语义综合，提取有价值的信息，实现信息测量；（量；（测量原理测量原理）信息统计综合，利用信息随机特性的计算，减少信息统计综合，利用信息随机特性的计算，减少信息的随机误差；（信息的随机误差；（信息熵信息熵

26、）信息密度逐渐减少信息密度逐渐减少第48页，本讲稿共56页条件熵条件熵由于被测量A是离散随机变量，所以，测量值X也是随机变量：x1,x2,xn。由于任何一次测量都会有测量误差，即测量的不确定性，因此，测量到一个测量值后，被测量值与测量值两个随机变量之间的不确定性，可用条件熵来表示：第49页，本讲稿共56页条件熵表示两个随机变量之间的统计依赖关系，即H（A/X）表示已知X时，A的不确定性；H（X/A）表示已知A时，X的不确定性。第50页，本讲稿共56页测量信息量测量信息量测量信息量等于测量A的信息熵H（A）减去条件熵H（A/X），它等于从测量值X中提取的关于被测量A的信息量，故测量信息量可表示为

27、：第51页，本讲稿共56页如果没有测量误差，测量值就等于被测值，即P（a1/x1）=1，也就是H（A/X）=0，所以，测量信息量就为：即表示测量可以获得被测量值的全部信息。然而，实际上任何精确的测量都会产生测量误差，因此，P（a1/x1）不等于1，即H（A/X）不等于0，所以，H（A/X）表示了由于测量误差而引起的信息损失，故H（A/X）又称为损失熵。第52页，本讲稿共56页误差熵误差熵如果测量误差与被测量值是相互独立的，且被测值是测量值与误差的线性相加，那么，对于任何被测量A值，测量值X的概率分布与误差概率分布在形式上是一样的，故H（X/A）就称为误差熵，常简写为H（X）。测量信息量的大小，

28、不仅与被测量取值的数目及所取值的概率分布有关，而且与测量误差也有关。误差熵愈大，测量信息量就愈小，测量不确定度也就愈大。第53页，本讲稿共56页测量信息量的计算测量信息量的计算测量信息量可用测量仪器的最大分度数来直接估算。在测量幅度范围Xa内，幅度分辨率为Xa的最大可分度的数目为：第54页，本讲稿共56页例如，一台数字电压表电压测量误差Xa/Xa为1%，可以算出每个测量值的信息量为log101=6.64比特。因此，存储一个测量值需7比特存储器。第55页，本讲稿共56页 用误差熵计算不确定度用误差熵计算不确定度对于给定概率分布的随机误差，其误差熵H（X）与标准差之间存在一定的对应关系，因此，测量值在不确定区间内的不确定度可以用误差熵来表示：其中：为不确定区间；为标准偏差；K为置信系数；H（X）为误差熵。第56页，本讲稿共56页