近代信息论第一章精选文档.ppt

《近代信息论第一章精选文档.ppt》由会员分享，可在线阅读，更多相关《近代信息论第一章精选文档.ppt（27页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、近代信息论第一章本讲稿第一页，共二十七页主要内容连续熵最大熵定理最大熵方法本讲稿第二页，共二十七页第六节 连续信源的熵连续熵的定义：用离散变量逼近，寻找Xi,逼近X中值定理：以这样取得的离散值Xi,i=1,2,n，可逼近表示连续变量Xab本讲稿第三页，共二十七页连续熵的定义本讲稿第四页，共二十七页定义连续熵：连续熵的定义v连续熵与信息熵有本质的区别；v连续熵不具备非负性；v连续熵不代表信息。相关定义联合熵：条件熵：本讲稿第五页，共二十七页互信息连续集X和Y之间的平均互信息定义为：性质：连续变量互信息的性质在许多方面与离散情形相似：123back本讲稿第六页，共二十七页最大熵定理连续信源:先看两

2、种分布的熵n均匀分布n正态分布限峰功率最大熵定理均匀分布限平均功率最大熵定理正态分布最大熵方法recall离散信源最大熵定理：当信源等概率分布时熵最大。本讲稿第七页，共二十七页P(x)是均匀分布的情形一维一维多维（多维（N N维均匀分布的情形）维均匀分布的情形）本讲稿第八页，共二十七页P(x)是正态分布的情形（高斯分布）一维一维本讲稿第九页，共二十七页N N维高斯分布维高斯分布pdfpdfP(x)是正态分布的情形（高斯分布）本讲稿第十页，共二十七页N N维高斯分布维高斯分布熵熵P(x)是正态分布的情形（高斯分布）本讲稿第十一页，共二十七页P(x)是正态分布的情形（高斯分布）N N维高斯分布维高

3、斯分布熵熵back本讲稿第十二页，共二十七页限峰值功率的最大熵定理 定理定理：若信源的输出峰值功率受限，输出为若信源的输出峰值功率受限，输出为均匀分布均匀分布时，达时，达到熵最大。到熵最大。证明证明：本讲稿第十三页，共二十七页限峰值功率的最大熵定理 定理定理：若信源的输出峰值功率受限，输出为若信源的输出峰值功率受限，输出为均匀分布均匀分布时，达到时，达到熵最大。熵最大。得证。本讲稿第十四页，共二十七页限平均功率的最大熵定理 定理定理：信源输出的平均功率和均值被限定，则其输信源输出的平均功率和均值被限定，则其输出信号的出信号的pdfpdf是是高斯分布高斯分布时，信源达到最大熵时，信源达到最大熵。

4、证明：证明：本讲稿第十五页，共二十七页限平均功率的最大熵定理 定理定理：信源输出的平均功率和均值被限定，则其输出信源输出的平均功率和均值被限定，则其输出信号的信号的pdfpdf是高斯分布时，信源达到最大熵是高斯分布时，信源达到最大熵。back本讲稿第十六页，共二十七页最大熵方法问题的提出病态问题（ill-posed)n例1：图像恢复n例2：谱估计最大熵原理 最大熵谱估计本讲稿第十七页，共二十七页图像恢复最大熵方法病态问题降质f(i,j)模糊d(i,j)噪声w(i,j)g(i,j)ill-posed本讲稿第十八页，共二十七页谱估计对于X(t)满足约束条件（无限长，平方可积）最大熵方法病态问题数据

5、不完备有噪ill-posed本讲稿第十九页，共二十七页最大熵原理自然界：任何隔离系统的熵不会减少，并自发地趋于最大。热力学第二定律马尔科夫链：随着n增大，熵增大，若稳态分布是均匀分布，系统趋于均匀分布。可见可见v最大熵是自然界的必然选择，最大熵是自然界的必然选择，v可将最大熵作为一准则进行估计等数据处理。可将最大熵作为一准则进行估计等数据处理。最大熵原理最大熵原理本讲稿第二十页，共二十七页用最大熵进行数据处理的思路：数据处理（求解）最大熵原理从现有数据中提取信息信息信息信息来自测量数据合理的关于未知数据的假设未知数据的假设未知数据的假设未知数据的假设人为增加的信息最大熵原理最大熵原理人为增加的

6、信息最少本讲稿第二十一页，共二十七页最大熵谱估计测量数据有限，不完备估计问题：对于有限观测点，可用周期图法：1.估计相关函数：2.问题在于对R(f)的估计不准，关键原因是如何对外推数据进行估计。只是简单地补0。本讲稿第二十二页，共二十七页1960年，Burg提出：外推数据不是补外推数据不是补0，而是补一些数据，使得随机过程具有最大熵。，而是补一些数据，使得随机过程具有最大熵。最大熵谱估计定理定理：证明证明：本讲稿第二十三页，共二十七页最大熵谱估计证明证明：本讲稿第二十四页，共二十七页各种分布的熵，以高斯-马尔科夫过程分布的熵最大。最大熵谱估计求谱本讲稿第二十五页，共二十七页最大熵谱估计本讲稿第二十六页，共二十七页最大熵方法的其他应用图像恢复图像重建（CT,MRI)back本讲稿第二十七页，共二十七页