最大可能性估计讲稿.ppt

《最大可能性估计讲稿.ppt》由会员分享，可在线阅读，更多相关《最大可能性估计讲稿.ppt（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于最大可能性估计第一页，讲稿共十五页哦n上节课内容假定知道了先验概率p(i)和类条件概率密度p(x|i)。n这节课介绍的内容是：在知道类条件概率密度服从某种分布的前提下，估算该分布的参数。比如在知道类条件概率密度服从正态分布的前提下，估算正态分布的参数和。第二页，讲稿共十五页哦一一 基本原理基本原理n设：n有c个类别。n每一个类别有一些属于这个类别的训练样例：D1,Dc。n第j个类别的参数向量(比如均值，方差)表示为j。n一个类别的参数向量只与属于这个类别的训练样例有关，而与其它类别的训练样例无关。n问题：n怎么使用每个类别的训练样例Di来估算这个类别的参数向量i。第三页，讲稿共十五页哦n下

2、面分别使用每个训练样例Di来估算这个类别的参数向量i。n每个类别的参数向量的求解方式都是一样的。下面就忽略i。第四页，讲稿共十五页哦n设样例集合D里面有n个训练样例，x1,xn。设这些样例抽取的时候是独立的，那么这么多样例一起出现的概率可以写成：n因为目前这个类别的参数向量还没有确定，所以在参数向量是的情况下，这些样例一起出现的概率是：第五页，讲稿共十五页哦n使得p(D|)取最大值的值就是最合理的值。这就转换成了一个求极值的问题。n求p(D|)的极值点，等价于求它的自然对数ln p(D|)的极值点，等价于对ln p(D|)的梯度等于0的点：第六页，讲稿共十五页哦ngradf()，相当于使用的每

3、个分量对f()求偏导，然后组合成一个向量。第七页，讲稿共十五页哦二二 求正态分布的参数求正态分布的参数n假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数。n单变量正态分布的概率密度函数：n多变量正态分布的概率密度函数：第八页，讲稿共十五页哦n前面求最合理的值的公式：np(xk|)就是正态分布的概率密度函数。因此进行公式带入：第九页，讲稿共十五页哦第十页，讲稿共十五页哦三三 求正态分布的参数求正态分布的参数和和n假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数和。第十一页，讲稿共十五页哦单变量正态分布此时=(,2)第十二页，讲稿共十五页哦多变量正态分布此时=(,)第十三页，讲稿共十五页哦四四 偏差偏差n上面使用n个(有限个)样本估算出来的方差经常会有偏差，总是发现估算的值小了：n因此使用n个(有限个)样本估算方差的时候：第十四页，讲稿共十五页哦15.10.2022感感谢谢大大家家观观看看第十五页，讲稿共十五页哦