《大可能性估计》PPT课件.ppt

《《大可能性估计》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《大可能性估计》PPT课件.ppt（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、模式识别最大可能性估计n上节课内容假定知道了先验概率p(i)和类条件概率密度p(x|i)。n这节课介绍的内容是：在知道类条件概率密度服从某种分布的前提下，估算该分布的参数。比如在知道类条件概率密度服从正态分布的前提下，估算正态分布的参数和。一一 基本原理基本原理n设：n有c个类别。n每一个类别有一些属于这个类别的训练样例：D1,Dc。n第j个类别的参数向量(比如均值，方差)表示为j。n一个类别的参数向量只与属于这个类别的训练样例有关，而与其它类别的训练样例无关。n问题：n怎么使用每个类别的训练样例Di来估算这个类别的参数向量i。n下面分别使用每个训练样例Di来估算这个类别的参数向量i。因为每个

2、类别的参数向量的求解方式都是一样的。n下面就忽略i。只考虑根据一个特定类别的训练样例集合D，来估算这个类别的参数向量。n设样例集合D里面有n个训练样例，x1,xn。设这些样例抽取的时候是独立的，那么这么多样例一起出现的概率可以写成：n因为目前这个类别的参数向量还没有确定，所以在参数向量是的情况下，这些样例一起出现的概率是：n参数向量中的参数是可变的。在这些参数的取值范围内，使得这些样例一起出现的概率最大的值，就是最合理的参数。就是说使得p(D|)取最大值的值就是最合理的值。这就转换成了一个求极值的问题。求p(D|)的极值点，等价于求它的自然对数ln p(D|)的极值点，等价于对ln p(D|)

3、的梯度等于0的点：ngradf()，相当于使用的每个分量对f()求偏导，然后组合成一个向量。二二 求正态分布的参数求正态分布的参数n假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数。n单变量正态分布的概率密度函数：n多变量正态分布的概率密度函数：n前面求最合理的值的公式：np(xk|)就是正态分布的概率密度函数。因此进行公式带入：三三 求正态分布的参数求正态分布的参数和和n假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数和。单变量正态分布此时=(,2)多变量正态分布此时=(,)四四 偏差偏差n上面使用n个(有限个)样本估算出来的方差经常会有偏差，总是发现估算的值小了：n因此使用n个(有限个)样本估算方差的时候：n原因：n个样本总共有n个自由度，求均值的时候用掉一个自由度，在求方差的时候只剩下n-1个自由度了。