最大可能性估计.ppt

《最大可能性估计.ppt》由会员分享，可在线阅读，更多相关《最大可能性估计.ppt（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于最大可能性估计现在学习的是第1页，共15页n上节课内容假定知道了先验概率p(i)和类条件概率密度p(x|i)。n这节课介绍的内容是：在知道类条件概率密度服从某种分布的前提下，估算该分布的参数。比如在知道类条件概率密度服从正态分布的前提下，估算正态分布的参数和。现在学习的是第2页，共15页一一 基本原理基本原理n设：n有c个类别。n每一个类别有一些属于这个类别的训练样例：D1,Dc。n第j个类别的参数向量(比如均值，方差)表示为j。n一个类别的参数向量只与属于这个类别的训练样例有关，而与其它类别的训练样例无关。n问题：n怎么使用每个类别的训练样例Di来估算这个类别的参数向量i。现在学习的是第

2、3页，共15页n下面分别使用每个训练样例Di来估算这个类别的参数向量i。n每个类别的参数向量的求解方式都是一样的。下面就忽略i。现在学习的是第4页，共15页n设样例集合D里面有n个训练样例，x1,xn。设这些样例抽取的时候是独立的，那么这么多样例一起出现的概率可以写成：nkkxpDp1)()(n因为目前这个类别的参数向量还没有确定，所以在参数向量是的情况下，这些样例一起出现的概率是：nkkxpDp1)|()|(现在学习的是第5页，共15页n使得p(D|)取最大值的值就是最合理的值。这就转换成了一个求极值的问题。n求p(D|)的极值点，等价于求它的自然对数ln p(D|)的极值点，等价于对ln

3、p(D|)的梯度等于0的点：nkkxpDp1)|()|(现在学习的是第6页，共15页ngradf()，相当于使用的每个分量对f()求偏导，然后组合成一个向量。0)|(ln0)|(ln0)|(ln0)|(ln111nkknkknkkxpgradxpgradxpgradDpgrad现在学习的是第7页，共15页二二 求正态分布的参数求正态分布的参数n假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数。n单变量正态分布的概率密度函数：221exp21)(xxpn多变量正态分布的概率密度函数：)()(21exp|)2(1)(12/12/xxxptd现在学习的是第8页，共15页n前面求最合理的

4、值的公式：)()(21exp|)2(1)(12/12/xxxptd0)|(ln1nkkxpgradnp(xk|)就是正态分布的概率密度函数。因此进行公式带入：现在学习的是第9页，共15页nkknkknkktkdnkkxnxxxgradxpgrad111112/12/110)(0)()(21exp|)2(1ln0)|(ln)()(21exp|)2(1)(12/12/xxxptd现在学习的是第10页，共15页三三 求正态分布的参数求正态分布的参数和和n假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数和。现在学习的是第11页，共15页单变量正态分布此时=(,2)221exp21)(xx

5、pnkknkknkknkkxnxnxgradxpgrad1221121)(11021exp21ln0)|(ln现在学习的是第12页，共15页多变量正态分布此时=(,)()(21exp|)2(1)(12/12/xxxptdnktkknkknkktkdnkkxxnxnxxgradxpgrad11112/12/1)(110)()(21exp|)2(1ln0)|(ln现在学习的是第13页，共15页四四 偏差偏差n上面使用n个(有限个)样本估算出来的方差经常会有偏差，总是发现估算的值小了：nnnn1122n因此使用n个(有限个)样本估算方差的时候：nktkknkkxxnxn1122)(11)(11现在学习的是第14页，共15页9/6/2022感谢大家观看感谢大家观看现在学习的是第15页，共15页