最大可能性估计课件.ppt

《最大可能性估计课件.ppt》由会员分享，可在线阅读，更多相关《最大可能性估计课件.ppt（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于最大可能性估计第1页，此课件共15页哦n上节课内容假定知道了先验概率p(i)和类条件概率密度p(x|i)。n这节课介绍的内容是：在知道类条件概率密度服从某种分布的前提下，估算该分布的参数。比如在知道类条件概率密度服从正态分布的前提下，估算正态分布的参数和。第2页，此课件共15页哦一一 基本原理基本原理n设：n有c个类别。n每一个类别有一些属于这个类别的训练样例：D1,Dc。n第j个类别的参数向量(比如均值，方差)表示为j。n一个类别的参数向量只与属于这个类别的训练样例有关，而与其它类别的训练样例无关。n问题：n怎么使用每个类别的训练样例Di来估算这个类别的参数向量i。第3页，此课件共15页

2、哦n下面分别使用每个训练样例Di来估算这个类别的参数向量i。n每个类别的参数向量的求解方式都是一样的。下面就忽略i。第4页，此课件共15页哦n设样例集合D里面有n个训练样例，x1,xn。设这些样例抽取的时候是独立的，那么这么多样例一起出现的概率可以写成：n因为目前这个类别的参数向量还没有确定，所以在参数向量是的情况下，这些样例一起出现的概率是：第5页，此课件共15页哦n使得p(D|)取最大值的值就是最合理的值。这就转换成了一个求极值的问题。n求p(D|)的极值点，等价于求它的自然对数ln p(D|)的极值点，等价于对ln p(D|)的梯度等于0的点：第6页，此课件共15页哦ngradf()，相

3、当于使用的每个分量对f()求偏导，然后组合成一个向量。第7页，此课件共15页哦二二 求正态分布的参数求正态分布的参数n假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数。n单变量正态分布的概率密度函数：n多变量正态分布的概率密度函数：第8页，此课件共15页哦n前面求最合理的值的公式：np(xk|)就是正态分布的概率密度函数。因此进行公式带入：第9页，此课件共15页哦第10页，此课件共15页哦三三 求正态分布的参数求正态分布的参数和和n假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数和。第11页，此课件共15页哦单变量正态分布此时=(,2)第12页，此课件共15页哦多变量正态分布此时=(,)第13页，此课件共15页哦四四 偏差偏差n上面使用n个(有限个)样本估算出来的方差经常会有偏差，总是发现估算的值小了：n因此使用n个(有限个)样本估算方差的时候：第14页，此课件共15页哦05.10.2022感谢大家观看第15页，此课件共15页哦