最大似然估计的原理及其应用.doc

《最大似然估计的原理及其应用.doc》由会员分享，可在线阅读，更多相关《最大似然估计的原理及其应用.doc（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、【精品文档】如有侵权，请联系网站删除，仅供学习与交流最大似然估计的原理及其应用.精品文档.最大似然估计的原理及其应用摘要：了解最大似然估计的原理，并通过其原理来解决生活中的某些概率与统计的问题。引言：似然函数是的函数，表示由参数产生样本值的“可能性”大小。将样本观察看成“结果”，是产生结果的“原因”， 则是度量产生该结果的各种“原因”的机会。因此，的一个合理的估计应使这种机会（即）达到最大的那个值。关键词：似然函数，最大似然估计，最大似然估计值。（1）似然函数设描述总体的随机变量的概率密度函数为，其中都是总体的未知参数（若是离散型的，则约定表示概率分布，总体的样本1，2，n的测量值为，也可以理

2、解为是维独立随机向量（1，2，n）的一个测量值。即是说，对一维随机变量进行次测量得到的个测量值可以看成是对维独立的随机向量进行一次测量得到的个测量值。由于维随机向量的联合概率密度为显然，对于样本的一个测量值，它是的函数，记为并称它为似然函数，简记为。对于离散型随机变量。应该注意，似然函数与参数有关，对于给定的样本值，它是这些参数的函数。（2）最大似然估计值设总体含未知参数，对于给定的样本值如有其中为未知参数可能取的某一组值，而为的一切其他可能取值，此时，我们可认为，比作为的估值要好些。这是因为不等式说明，取时得到样本值的可能性最大，这样的估计值就是的最大似然估计值。因此，可以有定义：如果似然函

3、数在分别取时达到最大值，则称分别是的最大似然估计值。（3）求最大似然估计值的方法我们认为，如果在一次测量中一个事件出现了，那么就可以认为此事件出现的可能性最大。在这里，作为维随机向量的一个测量值出现了，那么就认为只有似然函数为最大才有可能。因为似然函数为最大，对应事件出现的可能性才最大。所以求似然函数的最大值问题也就是求总体的未知参数的最大似然估计值的问题了。在关于可微时，要使取最大值，必须满足方程组 由此方程组解得的值，即为最大似然估计值。显然，最大似然估计值与样本测量值的取值有关，故可记为并称为估值。由于似然函数式是多个因子的乘积，利用对数ln L进行计算比较方便，并且因为lnX是的单调上

4、升函数，故与ln L有相同的极大点，从而的最大似然估计值还可由下列方程组（称为似然方程组）求得 在实际问题中，常常由于似然函数很复杂，而无法由解方程组（-）求出最大似然估计的解析表达式。只有利用适当的近似计算方法求似然方程组的近似解，或者利用计算数学中寻求函数极值点的最优化技术，在计算机上进行优选计算，搜索出使似然函数最大的参数值，作为参数的最大似然估计值。（4）最大似然估计法具有下述性质：若为中参数的最大似然估计值，又函数具有单值反函数，则。因此，当已知有单值反函数时，则有上式即是的最大似然估计。（5）最大似然估计的应用例 设有外形完全相同的两个箱子,甲箱有99个白球1个黑球,乙箱有1个白球

5、99个黑球.今随机地抽取一箱,然后再从这箱中任取一球,结果发现是白球.问这个箱子是甲箱还是乙箱?分析 我们这里做的是统计推断而不是逻辑推断。所谓统计推断，就是根据已知的部分数据对总体的进行估计的一种推断方法。从部分推断总体，必然伴随着一定的犯错误的概率。因此从逻辑上认起死理来，统计推断似乎因为不太严谨而被排斥在“科学推断”之外了。但是在实际生活中，如果都要按照逻辑推断来思考，那么将会给你的生活带来很大的麻烦。比如出门，则难免会有一定的概率出一定的意外，因此所谓“安全回家”在逻辑上便不再是绝对可靠的，故而你只能选择闭门不出。现在的问题是，仅仅从取出的球是白球这一点是无法从逻辑上严格加以判定该箱究

6、竟是甲箱还是乙箱的。但是如果现在一定要我们做出选择，那么我们只能这样来考虑：从箱中取出的球是白球这一点来看，甲箱和乙箱哪个看上去更像是真正从中取球的箱子？我们这样来分析：如果该箱是甲箱,则取得白球的概率为0.99；如果该箱是乙箱,则取得白球的概率0.01因此，用“该箱是甲箱”来解释所取的球是白球这一事件更有说服力一些，从而我们判定甲箱比乙箱更像一些。最后我们做出推断,这球是从甲箱取出的.其实，如果我们从“最大似然”的原文maximum likelihood来看，就会发现这个名称的原始含义就是“看起来最像”的意思。“看起来最像”，在很多情况下其实就是我们决策时的依据。一个总体往往都有若干个重要的

7、参数。比如，对于正态总体来说，均值和方差就是两个非常重要的参数。但是在很多情况下，这些参数往往是不知道的，这就需要我们利用抽样所得的部分数据来做统计推断。假设我们现在获得了一组数据，记为x，我们需要做的是，利用x中所包含的信息来推断总体中的未知参数值。显然，未知参数是有其取值的范围的，我们现在要做的是，在参数可能的取值范围内寻找到一个“看起来最像”的那个值来作为未知参数的估计值。现在，假设有甲乙两支足球队要进行比赛，某老汉很认真地看了这两支足球队的相关资料，并作了细致的分析，得出了甲队战胜乙队的概率为p。但是在第二天被朋友问及此事时，该老汉一时犯昏把数字给记混了。他只知道甲队战胜乙队的概率p只可能取如下几个值0，0.1，0.3，0.5，0.75，0.9，但一点也记不清到底哪个数字才是真实的。也就是说，在这个时候，这五个数字没有哪一个看上去更像是真实的p。于是他开始翻看随身携带的一些资料，发现与这两支足球队有关的资料只有一条，这就是他们在某日的比赛中以平局收场。看完这条资料以后，老汉再来看以上这六个数字时，发现0.5看起来最像，因为用0.5来解释刚才看到的资料最有说服力。如果老汉看到的资料中说甲队在某日的比赛中战胜了乙队，那么此时0.9将是看起来最像的。（6）总结通过对最大似然估计的学习，了解了许多生活中的例子与其的相关性，结合实例的学习更加深了对这种方法的理解。