哈工大模式识别课程3用概率密度函数估计.ppt

哈尔滨工业大学哈尔滨工业大学第3章 概率密度函数估计 引言引言参数估计参数估计正态分布的参数估计正态分布的参数估计非参数估计非参数估计本章小结本章小结引言引言 【引言】【引言】【引言】【引言】【引言】【引言】参数估计参数估计 【参数估计】【最大似然估计】【最大似然估计】【最大似然估计】【最大似然估计】【最大似然估计】【最大似然估计】【最大似然估计】例子：【贝叶斯估计】【贝叶斯估计】【举例】假设假设结论：结论：【贝叶斯估计】【贝叶斯学习】【三种方法总结】【三种方法总结】正态分布的参数估计正态分布的参数估计 【最大似然估计】单元正态分布：多元正态分布：最大似然估计方程：其中【贝叶斯估计】【贝叶斯估计】非参数估计非参数估计 【基本思想】令令R是包含样本点是包含样本点x的一个区域，其体积为的一个区域，其体积为V，设，设有有n个训练样本，其中有个训练样本，其中有k个落在区域个落在区域R中，则可中，则可对概率密度作出一个估计对概率密度作出一个估计：相当于用相当于用R区域内的平均性质来作为一点区域内的平均性质来作为一点x的估的估计，是一种数据的平滑。计，是一种数据的平滑。【基本思想】当当n固定时，固定时，V的大小对估计的效果影响很大，过的大小对估计的效果影响很大，过大则平滑过多，不够精确；过小则可能导致在此大则平滑过多，不够精确；过小则可能导致在此区域内无样本点，区域内无样本点，k=0。此方法的有效性取决于样本数量的多少，以及区此方法的有效性取决于样本数量的多少，以及区域体积选择的合适。域体积选择的合适。构造一系列包含x的区域R1,R2,，对应n=1,2,，则对p(x)有一系列的估计：当满足下列条件时，pn(x)收敛于p(x)：Parzen窗法：区域体积V是样本数n的函数，如：K-近邻法：落在区域内的样本数k是总样本数n的函数，如：【Parzen窗法和K-近邻法】【Parzen窗法和K-近邻法】定义窗函数【Parzen窗法】超立方体中的样本数：【Parzen窗法】概率密度估计：概率密度估计：上述过程是一个内插过程，样本上述过程是一个内插过程，样本x xi i距离距离x x越近，越近，对概率密度估计的贡献越大，越远贡献越小。对概率密度估计的贡献越大，越远贡献越小。只要满足如下条件，就可以作为窗函数：只要满足如下条件，就可以作为窗函数：【Parzen窗法】【Parzen窗法】窗函数hn称为窗的宽度【Parzen窗法】【Parzen窗法】1.保存每个类别所有的训练样本；2.选择窗函数的形式，根据训练样本数n选择窗函数的h宽度；3.识别时，利用每个类别的训练样本计算待识别样本x的类条件概率密度：4.采用Bayes判别准则进行分类。【Parzen窗法】本章结束本章结束