最大似然估计法.ppt

《最大似然估计法.ppt》由会员分享，可在线阅读，更多相关《最大似然估计法.ppt（33页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、最大似然估计法现在学习的是第1页，共33页 极大似然估计法是基于极大似然估计法是基于极大似然原理极大似然原理提提出的。出的。为了说明为了说明极大似然原理极大似然原理,我们先看个例我们先看个例子子。现在学习的是第2页，共33页 例子：例子：一只野兔从前方窜过，一只野兔从前方窜过，是谁击中的野兔是谁击中的野兔,某同学与一位猎人一起外某同学与一位猎人一起外出打猎。忽然，出打猎。忽然，若让你推测一下，若让你推测一下，你会怎样想你会怎样想?只听一声枪响，野兔只听一声枪响，野兔应声倒下应声倒下.现在学习的是第3页，共33页为了进一步体会最大似然估计法的思想为了进一步体会最大似然估计法的思想,我们我们再看一

2、个例子再看一个例子.你会想：只一枪便击中你会想：只一枪便击中,一般情况下猎人击中的一般情况下猎人击中的概率比同学击中的概率大。概率比同学击中的概率大。故这一枪极大可能是故这一枪极大可能是猎人打的。猎人打的。你的这一想法中就已经包含了最大似然原理的基你的这一想法中就已经包含了最大似然原理的基本思想本思想.现在学习的是第4页，共33页 例如：例如：有一事件有一事件A，我们知道它发生的概率，我们知道它发生的概率p只可只可能是能是:试让你推想一下试让你推想一下p应取何值应取何值?p=0.1，0.3 或或 0.6 若在一次观测中，事件若在一次观测中，事件A竟然发生了，竟然发生了，你自然会认为事件你自然会

3、认为事件A发生的概率是发生的概率是0.6，而，而非其他数值。非其他数值。最大似然原理：最大似然原理：概率大的事件在一次观测中更容易发生。概率大的事件在一次观测中更容易发生。在一次观测中发生了的事件其概率应该大在一次观测中发生了的事件其概率应该大现在学习的是第5页，共33页可可能能取取值值的的范范围围。是是为为待待估估参参数数，的的形形式式为为已已知知，属属离离散散型型，其其分分布布律律若若总总体体 ),;().1(xpxXPX的的联联合合函函数数：的的样样本本；则则是是来来自自设设nnXXXXX,11 niixp1);(的的一一个个样样本本值值；是是又又设设nnXXxx,11发发生生的的概概率

4、率为为：事事件件的的概概率率，亦亦即即取取易易知知样样本本,1111nnnnxXxXxxXX 现在学习的是第6页，共33页.,);();,()(11 niinxpxxLL。似然函数似然函数称为样本的称为样本的的函数。的函数。它是它是)(L使使得得：即即取取的的估估计计值值，作作为为达达到到最最大大的的参参数数挑挑选选使使概概率率定定由由极极大大似似然然估估计计法法：固固 );,(;,11nnxxLxx);,(max);,(11 nnxxLxxL 。最大似然估计值最大似然估计值的的称其为参数称其为参数有关，记为有关，记为与与 );,(,11nnxxxx。最大似然估计量最大似然估计量的的称为参数称

5、为参数 ),(1nXX 现在学习的是第7页，共33页;),;().2(为待估参数为待估参数的形式已知，的形式已知，属连续型，其概率密度属连续型，其概率密度若总体若总体 xfX的的联联合合密密度度：则则nXX,1 niixf1);(现在学习的是第8页，共33页)4.1(,);();,()(11 niinxfxxLL 。似似然然函函数数称称为为样样本本的的的的最最大大值值，这这里里)(L);,(max);,(11 nnxxLxxL 若若。最大似然估计值最大似然估计值的的为为则称则称 ),(1nxx。最最大大似似然然估估计计量量的的为为称称 ),(1nXX.0)();(),;(ddLxfxp可可由由

6、下下式式求求得得：可可微微，故故关关于于一一般般，现在学习的是第9页，共33页(1.5).0)(ln )(ln)(LddLL也也可可从从下下述述方方程程解解得得：大大似似然然估估计计的的最最处处取取到到极极值值，因因此此在在同同一一与与又又因因个参数，个参数，若总体的分布中包含多若总体的分布中包含多.,1,0ln.,1,0kiLkiLii 或或即可令即可令的最大似然估计值。的最大似然估计值。个方程组求得个方程组求得解解kk ,1现在学习的是第10页，共33页小结：小结：最大似然估计法的一般步骤：最大似然估计法的一般步骤：（）取对数（）取对数（）求导数，得驻点，最大值点（）求导数，得驻点，最大值

7、点（）作结论（）作结论（1）写似然函数）写似然函数L ),;(),;(),(21121121nininininxfxpL 现在学习的是第11页，共33页例：设总体例：设总体X服从参数为服从参数为的指数分布，（的指数分布，（x1,x2,xn）为样本观察值，求）为样本观察值，求的最大似然估计的最大似然估计值。值。解：总体解：总体X的概率密度函数为：的概率密度函数为：0,00,),(xxexfx 似然函数为：似然函数为：niixfL1),()(ixnie 1 niixne1 现在学习的是第12页，共33页 niixnL1ln)(ln 0)(ln1 niixndLd xxnnii 11 取对数取对数得

8、，得，xxnnii 11 所以所以的的最大似然估计值为最大似然估计值为:现在学习的是第13页，共33页练习练习1:设总体设总体X的分布律为：的分布律为：0p0,现在学习的是第17页，共33页 niixndLd1ln)(ln 求导并令其为求导并令其为0=0从中解得从中解得,ln1 niixn 即为即为的最大似然估计值。的最大似然估计值。,ln1 niiXn 即为即为的最大似然估计量。的最大似然估计量。现在学习的是第18页，共33页 例例 设总体设总体 X N(),未知未知.是来自是来自 X 的样本值的样本值,试求试求 的最大似然估计量的最大似然估计量.1,nxx2,2,2,似然函数为似然函数为

9、解解X 的概率密度为的概率密度为 xexfx,21)(222)(222()211(,)2ixniL e 现在学习的是第19页，共33页222()211(,)2ixniL e 于是于是令令211()0niiLnLxn 2222211()022()niinLnLx niixnne12221/222/)(2 niixnnL122221ln2)2ln(2ln 现在学习的是第20页，共33页解得解得的最大似然估计量为的最大似然估计量为2,xxnnii 11 xxxnnii 122)(1 XXnnii 11 XXXnnii 122)(1 现在学习的是第21页，共33页的最大似然估计。的最大似然估计。是是则

10、则的最大似然估计；的最大似然估计；是是具有单值反函数，具有单值反函数，的函数的函数设设性质：性质：)()(),(uuuuu 的的最最大大似似然然估估计计是是例例：niiXXn122)(1)0(,)(2222 uuuu 有单值反函数有单值反函数的最大似然估计的最大似然估计是是故故 )(1122 niiXXn现在学习的是第22页，共33页 由上可见：同一个未知参数，会有不由上可见：同一个未知参数，会有不同的估计量，那末如何评价它们的好坏同的估计量，那末如何评价它们的好坏呢？这就涉及到估计量的评选标准问题呢？这就涉及到估计量的评选标准问题。现在学习的是第23页，共33页1、无偏性、无偏性 无偏性要求

11、估计量的取值要以参数真值为中心左无偏性要求估计量的取值要以参数真值为中心左右摆动。它等同于估计量的数学期望等于待估参数右摆动。它等同于估计量的数学期望等于待估参数的真值。的真值。的的无无偏偏估估计计量量。为为则则称称若若的的估估计计量量，为为待待估估参参数数定定义义：设设 ,)(E一个好的估计量应满足一个好的估计量应满足无偏性、有效性和一致性无偏性、有效性和一致性的要求。的要求。衡量点估计量好坏的标准衡量点估计量好坏的标准现在学习的是第24页，共33页的无偏估计量。和总体方差体均值分别是总和样本方差试证：样本均值为样本设例22212,),(),(:1SXXXXNXnnnXEnXnEXEniin

12、ii1)(1)1()()1(11证明证明:现在学习的是第25页，共33页 niiXXnESE12211)()2(niiiXXXXEn122)2(11 niiXXEn1211 2122211XnXnXEnnii niiXnXEn12211niiXnEXEn122)(11）现在学习的是第26页，共33页222222)(11nnnnnES22)()()(XEXDXE利用公式：2222)()()(iiiXEXDXE),()()()(22_22_2_nnNXXEXDXEniiXnEXEn122)(11）现在学习的是第27页，共33页 讨论：对总体讨论：对总体X XN(,N(,2)来说，样本来说，样本(X

13、(X1 1,X,X2 2,X,Xn n)中的中的X X1 1与与 都是都是 的无偏估计量吗？的无偏估计量吗？.,)(,_1_1的无偏估计量都是与XXXEEX.1_212_有效比故又由于XXDXnXD_X现在学习的是第28页，共33页21,设是是的两个无偏估计量，若的两个无偏估计量，若)(D)(D212、有效性、有效性更有效。比则称21222222)()(EEED121,DEE则因为：设21211)()(EEE现在学习的是第29页，共33页有效。比因此则若21222121)()(,EEDD现在学习的是第30页，共33页当当 时时 依概率收敛于依概率收敛于 ,则称则称 为为 的的一致估计量一致估计

14、量.设设n 是参数是参数 的估计量，的估计量，1(,)n XX1(,)n XX为为 的的一致估计量一致估计量0 对于任意对于任意 ,有有lim|1,nP三、一致性三、一致性现在学习的是第31页，共33页的的一一致致估估计计量量。和和总总体体方方差差体体均均值值分分别别是是总总和和样样本本方方差差可可证证：样样本本均均值值为为样样本本设设22212,),(),(SXXXXNXn现在学习的是第32页，共33页四、小结四、小结 对于一个未知参数可以提出不同的估计量对于一个未知参数可以提出不同的估计量,因因此自然提出比较估计量的好坏的问题此自然提出比较估计量的好坏的问题，这就需要给出，这就需要给出评定估计量好坏的标准评定估计量好坏的标准.在本节中在本节中,介绍了评定估计量好坏的三个标准介绍了评定估计量好坏的三个标准:无偏性、有效性、和相合性无偏性、有效性、和相合性.现在学习的是第33页，共33页