最大可能性估计精选课件.ppt

关于最大可能性估计第一页，本课件共有15页n上节课内容假定知道了先验概率p(i)和类条件概率密度p(x|i)。n这节课介绍的内容是：在知道类条件概率密度服从某种分布的前提下，估算该分布的参数。比如在知道类条件概率密度服从正态分布的前提下，估算正态分布的参数和。第二页，本课件共有15页一一 基本原理基本原理n设：n有c个类别。n每一个类别有一些属于这个类别的训练样例：D1,Dc。n第j个类别的参数向量(比如均值，方差)表示为j。n一个类别的参数向量只与属于这个类别的训练样例有关，而与其它类别的训练样例无关。n问题：n怎么使用每个类别的训练样例Di来估算这个类别的参数向量i。第三页，本课件共有15页n下面分别使用每个训练样例Di来估算这个类别的参数向量i。n每个类别的参数向量的求解方式都是一样的。下面就忽略i。第四页，本课件共有15页n设样例集合D里面有n个训练样例，x1,xn。设这些样例抽取的时候是独立的，那么这么多样例一起出现的概率可以写成：n因为目前这个类别的参数向量还没有确定，所以在参数向量是的情况下，这些样例一起出现的概率是：第五页，本课件共有15页n使得p(D|)取最大值的值就是最合理的值。这就转换成了一个求极值的问题。n求p(D|)的极值点，等价于求它的自然对数ln p(D|)的极值点，等价于对ln p(D|)的梯度等于0的点：第六页，本课件共有15页ngradf()，相当于使用的每个分量对f()求偏导，然后组合成一个向量。第七页，本课件共有15页二二 求正态分布的参数求正态分布的参数n假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数。n单变量正态分布的概率密度函数：n多变量正态分布的概率密度函数：第八页，本课件共有15页n前面求最合理的值的公式：np(xk|)就是正态分布的概率密度函数。因此进行公式带入：第九页，本课件共有15页第十页，本课件共有15页三三 求正态分布的参数求正态分布的参数和和n假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数和。第十一页，本课件共有15页单变量正态分布此时=(,2)第十二页，本课件共有15页多变量正态分布此时=(,)第十三页，本课件共有15页四四 偏差偏差n上面使用n个(有限个)样本估算出来的方差经常会有偏差，总是发现估算的值小了：n因此使用n个(有限个)样本估算方差的时候：第十四页，本课件共有15页10.12.2022感谢大家观看第十五页，本课件共有15页