概率密度密度的估计.ppt

《概率密度密度的估计.ppt》由会员分享，可在线阅读，更多相关《概率密度密度的估计.ppt（41页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、北华大学电气信息工程学院第三章 概率密度密度的估计模式识别理论及应用Pattern Recognition-Methods and Application内容目录第三章 概率密度密度的估计 3.1 引言2134 3.2 参数估计3.3 非参数估计3.4 讨论模式识别与神经网络3.1 引言基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数MAXMAXg g1 1.g g2 2g gc c.x1x2xna(x)最一般情况下适用的最一般情况下适用的“最最优优”分类器：错误率最小，分类器：错误率最小，对分类器设计在理论上有对分类器设计在理论上有指导意义。指导意义。获取统计分布及

2、其参数很获取统计分布及其参数很困难，实际问题中并不一困难，实际问题中并不一定具备获取准确统计分布定具备获取准确统计分布的条件。的条件。训练样本集训练样本集样本分布的样本分布的统计特征：统计特征：概率密度函数决策规则：决策规则：判别函数判别函数决策面方程决策面方程分类器功能结构3第三章概率密度密度的估计直接确定判别函数uu基于样本的直接确定判别函数方法：针对各种不同的情况，使用不同的准则函数，针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。设计出满足这些不同准则要求的分类器。这些准则的这些准则的“最优最优”并不一定与错误率最小相并不一定与错误率最小相一致：次优分类器。

3、一致：次优分类器。实例：正态分布最小错误率贝叶斯分类器在特实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数殊情况下，是线性判别函数g(x)=wT Tx（决策面（决策面是超平面），能否基于样本直接确定是超平面），能否基于样本直接确定w w?引言引言训练样本集训练样本集决策规则：决策规则：判别函数判别函数决策面方程决策面方程选择最佳准则4第三章概率密度密度的估计基于样本的Bayes分类器设计uuBayesBayes决策需要已知两种知识：决策需要已知两种知识：各类的先验概率各类的先验概率P P(i i)各类的条件概率密度函数各类的条件概率密度函数p(p(x x|i i)uu知识的来源

4、：对问题的一般性认识或一些训练数据知识的来源：对问题的一般性认识或一些训练数据uu基于样本的两步基于样本的两步BayesBayes分类器设计分类器设计:利用样本集估计利用样本集估计P P(i i)和和p(p(x x|i i)基于上述估计值设计判别函数及分类器基于上述估计值设计判别函数及分类器uu面临的问题：面临的问题：如何利用样本集进行估计如何利用样本集进行估计 估计量的评价估计量的评价5第三章概率密度密度的估计概率密度估计的方法uu类的先验概率的估计：类的先验概率的估计：用训练数据中各类出现的频率估计用训练数据中各类出现的频率估计 依靠经验依靠经验uu类条件概率密度估计的两种主要方法：类条件

5、概率密度估计的两种主要方法：参数估计：概率密度函数的形式已知，而表征函数的参参数估计：概率密度函数的形式已知，而表征函数的参数未知，通过训练数据来估计数未知，通过训练数据来估计最大似然估计最大似然估计BayesBayes估计估计 非参数估计：密度函数的形式未知，也不作假设，利用非参数估计：密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计训练数据直接对概率密度进行估计ParzenParzen窗法窗法k kn n-近邻法近邻法引言引言6第三章概率密度密度的估计3.2 参数估计uu统计量：样本集的某种函数f(K)uu参数空间：总体分布的未知参数所有可能取值组成的集合()uu点估计的

6、估计量和估计值：7第三章概率密度密度的估计估计量的评价标准uu估计量的评价标准：无偏性，有效性，一致性无偏性：无偏性：E()=E()=有效性有效性：D()D()小，更有效小，更有效一致性：样本数趋于无穷时，一致性：样本数趋于无穷时，依概率趋于依概率趋于：8第三章概率密度密度的估计3.2.1 最大似然估计uuMaximum Likelihood(ML)样本集可按类别分开，不同类别的密度函数的样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练。参数分别用各类的样本集来训练。概率密度函数的形式已知，参数未知，为了描概率密度函数的形式已知，参数未知，为了描述概率密度函数述概率密度函数

7、p p(x|x|i i)与参数与参数的依赖关系，的依赖关系，用用p p(x|x|i i,)表示。表示。估计的参数估计的参数是确定而未知的是确定而未知的，BayesBayes估计方估计方法则视法则视为随机变量。为随机变量。uu独立地按概率密度p(x|)抽取样本集K=x1 1,x2 2,xN N，用K估计未知参数9第三章概率密度密度的估计似然函数uu似然函数：uu对数(loglarized)似然函数：最大似最大似然估计然估计10第三章概率密度密度的估计最大似然估计最大似最大似然估计然估计11第三章概率密度密度的估计最大似然估计示意图最大似最大似然估计然估计12第三章概率密度密度的估计计算方法uu最

8、大似然估计量使似然函数梯度梯度为0：最大似最大似然估计然估计13第三章概率密度密度的估计一元正态分布例解最大似最大似然估计然估计14第三章概率密度密度的估计一元正态分布均值的估计最大似最大似然估计然估计15第三章概率密度密度的估计一元正态分布方差的估计最大似最大似然估计然估计16第三章概率密度密度的估计多元正态分布参数最大似然估计uu均值估计是无偏的，协方差矩阵估计是有偏的。均值估计是无偏的，协方差矩阵估计是有偏的。uu协方差矩阵的无偏估计是：协方差矩阵的无偏估计是：最大似最大似然估计然估计17第三章概率密度密度的估计3.2.2 贝叶斯估计-最大后验概率uu用用一组样本集一组样本集K=K=x

9、x1 1,x x2 2,x xNN 估计未知参数估计未知参数uu未知参数未知参数视为随机变量，先验分布为视为随机变量，先验分布为 p p()，而在，而在已知样本集已知样本集K K出现的条件下的后验概率为：出现的条件下的后验概率为：p p(|K K)uu最大后验概率估计最大后验概率估计-Maximum a posteriori(MAP)Maximum a posteriori(MAP)18第三章概率密度密度的估计贝叶斯估计-最小风险uu参数估计的条件风险：给定参数估计的条件风险：给定x x条件下，估计量的期条件下，估计量的期望损失望损失uu参数估计的风险：估计量的条件风险的期望参数估计的风险：估

10、计量的条件风险的期望uu贝叶斯估计：使风险最小的估计贝叶斯估计：使风险最小的估计贝叶斯贝叶斯估计估计19第三章概率密度密度的估计贝叶斯估计uu损失函数：误差平方损失函数：误差平方贝叶斯贝叶斯估计估计定理 3.1:如果定义损失函数为误差平方函数，则有：如果定义损失函数为误差平方函数，则有：20第三章概率密度密度的估计贝叶斯估计的步骤贝叶斯贝叶斯估计估计1.1.确定的先验分布 p()2.2.由样本集K=x1,x2,xN求出样本联合分布：p(K|)3.3.计算的后验分布4.4.计算贝叶斯估计21第三章概率密度密度的估计一元正态分布例解uu总体分布密度为：总体分布密度为：贝叶斯贝叶斯估计估计uu均值均

11、值 未知，未知，的先验分布为：的先验分布为：uu用贝叶斯估计方法求 的估计量uu样本集：K=x1,x2,xN22第三章概率密度密度的估计一元正态分布例解uu计算的后验分布：贝叶斯贝叶斯估计估计计算的贝叶斯估计：23第三章概率密度密度的估计贝叶斯学习uu贝叶斯学习：利用的先验分布 p()及样本提供的信息求出的后验分布p(|K)，然后直接求总体分布贝叶斯贝叶斯学习学习24第三章概率密度密度的估计一元正态分布例解uu总体分布密度为：总体分布密度为：贝叶斯贝叶斯学习学习uu均值均值 未知，未知，的先验分布为：的先验分布为：uu样本集：样本集：K=x1 1,x2 2,xN Nuu计算的后验分布：25第三

12、章概率密度密度的估计一元正态分布例解uu直接计算总体密度：贝叶斯贝叶斯学习学习26第三章概率密度密度的估计3.2.3 混合高斯模型uuMixed gaussian distributionMixed gaussian distributionuu密度函数具有如下形式：正态模型的线性组合密度函数具有如下形式：正态模型的线性组合uu需估计的参数：需估计的参数：参数参数估计估计uu采用迭代法进行参数估计采用迭代法进行参数估计27第三章概率密度密度的估计3.3 非参数估计uu非参数估计：密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计。又称作模型无关方法。参数估计参数估计需要事先假定

13、一种分布函数，利用样需要事先假定一种分布函数，利用样本数据估计其参数。又称作本数据估计其参数。又称作基于模型的方法基于模型的方法uu两种主要方法：核函数方法核函数方法ParzenParzen窗法窗法k kNN-近邻法近邻法神经网络方法：神经网络方法：PNNPNN28第三章概率密度密度的估计3.3.1 核函数方法uu估计的目的：从样本集K=x1,x2,xN估计样本空间中任何一点的概率密度p(x x)uu基本方法：用某种核函数构造某一样本对待估计的密度函数的贡献，所有样本所作贡献的线性组合视作对某点概率密度p(x)的估计非参数非参数估计估计29第三章概率密度密度的估计核函数方法图解非参数非参数估计

14、估计30第三章概率密度密度的估计基本方法uu基本思想：uu两种常用的方法：ParzenParzen窗法窗法:k kNN-近邻法近邻法:非参数非参数估计估计31第三章概率密度密度的估计3.3.2 Parzen窗法uu样本集样本集K KN N=x x1 1,x x2 2,x xN N uu区域区域R RNN是一个是一个d d维超立方体，棱长维超立方体，棱长h hNN，体积，体积V VNN=h hNNd duu定义窗函数：定义窗函数：uu超立方体内样本数：uu某点概率密度p(x)的估计非参数非参数估计估计32第三章概率密度密度的估计核函数的选择uu核函数需满足归一化条件：uu两种常用的核函数：均匀核

15、：均匀核：正态核：正态核：非参数非参数估计估计33第三章概率密度密度的估计窗宽的选择uuh hNN是控制是控制“窗窗”宽度的参数，根据样本的数量选择。宽度的参数，根据样本的数量选择。太大：平均，分辨力低太大：平均，分辨力低 太小：统计变动大太小：统计变动大uu为保证依概率渐进收敛到真实的概率密度，即：为保证依概率渐进收敛到真实的概率密度，即：uu收敛的充要条件：非参数非参数估计估计34第三章概率密度密度的估计不同窗宽的估计效果非参数非参数估计估计35第三章概率密度密度的估计Parzen窗法示例非参数非参数估计估计36第三章概率密度密度的估计有限样本的影响uu均方误差最小(MSE)准则uu维数灾

16、难维数灾难(Curse of(Curse of Dimensionality):Dimensionality):当维当维数较高时，样本数量数较高时，样本数量无法达到精确估计的无法达到精确估计的要求。要求。N Nd dN N4/(d+4)4/(d+4)16161 10.10.132322 20.10.11781785 50.10.13162316210100.10.13E+133E+1350500.10.1非参数非参数估计估计37第三章概率密度密度的估计 kN-近邻法uu均匀核函数Parzen估计，窗宽固定，不同位置落在窗内的样本点的数目是变化的。uukN-近邻估计：把窗扩大到刚好覆盖kN个点。

17、落在窗内的样本点的数目固定，窗宽是变化的。kN根据样本总数N选择。uu概率密度估计表达式：点x处窗的“体积”是Vn：非参数非参数估计估计38第三章概率密度密度的估计kN-近邻法举例uukN的选择：渐进收敛容易保证；有限样本性质、最小平方误差与Parzen窗几乎相同非参数非参数估计估计39第三章概率密度密度的估计3.4 讨论uu高维概率分布的估计无论在理论上还是实际操作中都是一个十分困难的问题。uu概率密度函数包含了随机变量的全部信息，是导致估计困难的重要原因。uu进行模式识别并不需要利用概率密度的所有信息，只需要求出分类面。uu先估计概率密度，再进行分类，可能走了“弯路”。40第三章概率密度密度的估计习题1.1.一元正态分布的最大似然估计：假设样本假设样本x x服从正态分布服从正态分布N N(,2 2)已获得一组样本已获得一组样本 x1 1,x2 2,xN N 2.2.用C/Java语言设计一程序片断，计算上题中的估计参数(,2 2)3.3.试简述参数估计，非参数估计和非参数分类器等概念间的关系4.4.证明对正态总体的期望u的最大似然估计是无偏的，对方差s2的最大似然估计是有偏的。41第三章概率密度密度的估计