第四讲概率密度估计优秀课件.ppt

第四讲概率密度估计第四讲概率密度估计第1页，本讲稿共43页内容提要内容提要l引言l参数估计的方法l高斯分布参数估计l混合高斯分布参数估计第2页，本讲稿共43页一、引言一、引言 l问题形式的变化l本章学习的主要内容l参数估计的基本方法第3页，本讲稿共43页问题一问题一已知：（1）样本总的类别数；（2）各样本类别的先验概率；（3）测量值的类条件概率；（4）样本特征矢量。求：给定样本特征矢量所属的类别第4页，本讲稿共43页求解方法（求解方法（1）第5页，本讲稿共43页求解方法（求解方法（2）第6页，本讲稿共43页问题二问题二已知：（1）样本总的类别数；（2）各样本类别的先验概率；（3）类条件概率的分布形式及参数值；（如：正态分布及均值和协方差）（4）样本特征矢量。求：给定样本特征矢量所属的类别第7页，本讲稿共43页求解方法求解方法第8页，本讲稿共43页问题三问题三本讲拟解决的问题本讲拟解决的问题已知：（1）样本总的类别数；（2）若干训练样本特征矢量及其对应的类别（）（3）样本所服从的统计分布函数但参数未知（如：正态分布，但均值与协方差矩阵未知）（4）测试样本特征矢量：求：给定样本特征矢量所属的类别第9页，本讲稿共43页本章学习内容本章学习内容第10页，本讲稿共43页参数估计的分类参数估计的分类l监督参数估计（已知样本的特征矢量及类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后决策。）l非监督参数估计（已知样本的特征矢量没有告诉样本的类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后进行决策。）l非参数估计（不去估计概率，直接根据已有训练样本提供的类别信息进行分类决策）第11页，本讲稿共43页二、未知概率密度函数估计二、未知概率密度函数估计l参数估计的概念l参数估计的方法l最大似然参数估计(Maximum Likelihood Parameter Estimation)l最大后验概率估计(Maximum A Posteriori Probability Estimation)l贝叶斯推理(Bayesian Inference)l最大熵估计(Maximum Entropy Estimation)第12页，本讲稿共43页2.1 基本概念（基本概念（1）l统计量：样本中包含着总体的信息，我们希望通过样本集把有关信息抽取出来，即针对不同要求构造出样本的某种函数，这种函数在统计学上叫做统计量。l参数空间：在参数估计中，总是假定总体概率密度函数的形式已知，但分布中的参数未知，这些未知参数全部可容许的取值集合叫做参数空间。第13页，本讲稿共43页2.1 基本概念（基本概念（2）l点估计、估计量和估计值：第14页，本讲稿共43页2.1 基本概念（基本概念（3）l两点假设第15页，本讲稿共43页2.2 最大似然估计最大似然估计第16页，本讲稿共43页第17页，本讲稿共43页举例：正态分布函数的参数估计举例：正态分布函数的参数估计第18页，本讲稿共43页结论结论第19页，本讲稿共43页讨论讨论lML估计是渐近无偏估计（asymptotically unbiased)lML估计也是渐近一致估计(asymptotically consistent)lML估计是渐近有效的。满足Cramer-Rao准则lML估计当N趋近无穷大时，接近Gaussian 分布。第20页，本讲稿共43页2.3 最大后验概率估计最大后验概率估计第21页，本讲稿共43页与与ML的区别的区别第22页，本讲稿共43页举例举例第23页，本讲稿共43页第24页，本讲稿共43页说明说明l方差很大，说明高斯分布很宽，在某个范围内可近似为水平直线，即趋于均匀分布。所以MAP估计和ML估计两者近似相等。第25页，本讲稿共43页2.4 贝叶斯推理贝叶斯推理l前提变化：原来假定估计量是确定的但未知。现在假定估计量是随机变量且未知。第26页，本讲稿共43页讨论讨论第27页，本讲稿共43页三三 高斯分布参数估计的改进高斯分布参数估计的改进第28页，本讲稿共43页问题的提出问题的提出第29页，本讲稿共43页解决办法（解决办法（1）第30页，本讲稿共43页解决办法（解决办法（2）l正则化判别分析Fredman(1989)提出。第31页，本讲稿共43页改进后的判别函数改进后的判别函数第32页，本讲稿共43页讨论讨论第33页，本讲稿共43页方法简评方法简评l当协方差矩阵不是近似相等或样本规模太小，以至于二次判别函数不可行时，正则化判别方法对改进分类性能很有帮助。l另有学者对非正态类型的线性和二次判别规则鲁棒性进行了研究。第34页，本讲稿共43页四四 高斯混合模型高斯混合模型面临的问题l前面我们只讨论样本特征矢量服从正态分布时我们如何进行判别决策。如果样本特征矢量不服从正态分布，我们怎么处理呢？第35页，本讲稿共43页数学表示方式数学表示方式第36页，本讲稿共43页数学问题数学问题第37页，本讲稿共43页解决方法解决方法第38页，本讲稿共43页EM算法原理算法原理第39页，本讲稿共43页EM算法原理算法原理第40页，本讲稿共43页EM算法实现算法实现第41页，本讲稿共43页EM算法实现（续）算法实现（续）第42页，本讲稿共43页EM算法实现（续）算法实现（续）第43页，本讲稿共43页