第5章 参数估计与假设检验.pdf

《第5章 参数估计与假设检验.pdf》由会员分享，可在线阅读，更多相关《第5章 参数估计与假设检验.pdf（189页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第 5 章章参数估计参数估计与假设检验与假设检验（5.1 5.5）统计推断统计推断是统计学的重要内容。它大致可以分为是统计学的重要内容。它大致可以分为两类两类：估估计问题与假设检验问题计问题与假设检验问题。且每类问题又可以分为参数估计与假且每类问题又可以分为参数估计与假设检验和非参数估计与假设检验。本章将介绍设检验和非参数估计与假设检验。本章将介绍参数估计与参数参数估计与参数假设检验假设检验的基本知识。的基本知识。一方面一方面，在一些实际问题中，研究对象的总体分布，在一些实际问题中，研究对象的总体分布类型类型往往往可以从理论或实际经验中得到，而未知的只是分布中的往可以从理论或实际经验中得到，

2、而未知的只是分布中的参数参数。例如例如，由中心极限定理和实际经验知道：表示，由中心极限定理和实际经验知道：表示人体身高人体身高的随机的随机变量变量 X 近似地服从正态分布近似地服从正态分布 N(,2)，其中参数其中参数 ，2未知；未知；表示表示纺织厂细纱机上的断头次数纺织厂细纱机上的断头次数的随机变量的随机变量 Y 近似地服从参数近似地服从参数为为 的泊松分布的泊松分布 P()，其中参数其中参数 未知；未知；另一方面另一方面，在有些情况下，人们所关心的并不是总体的分，在有些情况下，人们所关心的并不是总体的分布，而是总体的某些数字特征（一般可以表为总体参数的函数，布，而是总体的某些数字特征（一般

3、可以表为总体参数的函数，如：若总体如：若总体 X e()，则则 EX=1/）。）。这些问题都要求人们通过对所抽取的简单随机样本进行这些问题都要求人们通过对所抽取的简单随机样本进行科科学的分析学的分析，从而，从而推断出推断出总体的未知参数或数字特征来。这类问总体的未知参数或数字特征来。这类问题统称为题统称为参数估计问题参数估计问题。参数估计问题又分为参数估计问题又分为点估计与区间估计点估计与区间估计两类。两类。直观地讲直观地讲，点估计是要用样本的某一点估计是要用样本的某一函数值函数值做为待估参数的估计值；区间做为待估参数的估计值；区间估计则是要将待估参数确定在某一估计则是要将待估参数确定在某一范

4、围范围之内。之内。5.1 点估计概述点估计概述一、什么叫点估计一、什么叫点估计（P.149）设（设（X1，X2，Xn）是来自总体是来自总体 X 的的样本样本，（，（x1,x2,xn）是相应的是相应的样本值样本值。是总体分布的是总体分布的待估参数待估参数，表示表示 的取值范围，称为的取值范围，称为参数空间参数空间。注注：尽管参数尽管参数 是未知的，但是它的参数空间是未知的，但是它的参数空间 却是却是事先事先知道知道的。如正态总体的。如正态总体 X N(,2)的参数的参数 R，(0,+).为估计参数为估计参数 ，需要，需要先先构造构造一个统计量一个统计量 h(X1,X2,Xn),然后然后再利用再利

5、用该统计量的该统计量的实现值实现值 h(x1,x2,xn)来来估计参数估计参数 的真值的真值，作为，作为 的的近似值近似值，即，即 h(x1,x2,xn)。称称统计量统计量 h(X1,X2,Xn)为参数为参数 的的估计量估计量，记作，记作；该统计量的；该统计量的实现值实现值 h(x1,x2,xn)为参数为参数 的的估计值估计值，记作，记作。在不会引起误会的场合，估计量在不会引起误会的场合，估计量与估计值统称为与估计值统称为点估计点估计，简称为简称为估计估计，并简记为，并简记为。且有。且有 。由于由于 的估计值的估计值是是数轴数轴上的一个上的一个点点，用，用作为作为 的的真值的真值的近似值近似值

6、，就相当于，就相当于用一个点来估计用一个点来估计 ，故得名，故得名“点估点估计计”。),(21nxxx),(21nXXX),(21nxxx如果总体分布中有如果总体分布中有多个多个待估参数待估参数 1，2，r，(1,2,r)，则一般需要构造则一般需要构造不同的不同的统计量统计量，i=1,2,r，分别分别估计各个估计各个 i，且称且称为为第第 i 个参数个参数 i的估计量的估计量，其相应的估计，其相应的估计值值为为第第 i 个参数个参数 i的估计值的估计值，i=1,2,r.如果待估参数是总体未知参数如果待估参数是总体未知参数 的的实值函数实值函数 g()（如：如：总体总体 X e()时，待估参数时

7、，待估参数 EX=1/就是总体未知参数就是总体未知参数 的的实值函数，此时有实值函数，此时有 g()=1/），则称用来估计实值函数则称用来估计实值函数g()的统计量的统计量为该实值函数为该实值函数 g()的的估计量估计量，统计量，统计量的相应的实现值为该实值函数的相应的实现值为该实值函数 g()的的估计值估计值。且有且有 g()。),(21niXXX),(21niXXX),(21nixxx)(g)(g例例 5.1（P.150 例例 5.1）设某种型号的电子元件的寿命设某种型号的电子元件的寿命 X（以小时计）以小时计），（，（x 0）。）。为未知参数，为未知参数，0。现得样本值为。现得样本值为1

8、68，130，169，143，174，198，108，212，252，试估计未知参数试估计未知参数 。解解未知参数未知参数 的一个估计量，就是利用样本构造的一个的一个估计量，就是利用样本构造的一个函数。函数。方法一方法一 总体总体 X 服从参数为服从参数为的指数分布：的指数分布：X e()，EX=（），），即未知参数即未知参数 就是总体就是总体 X 的数学期望（均值）的数学期望（均值）。xexf1);(1101);(dxexdxxxfEXx因此一个自然的想法就是，用样本均值因此一个自然的想法就是，用样本均值来估来估计未知参数计未知参数 （即总体的均值），得到未知参数（即总体的均值），得到未知参

9、数 的一个的一个估计估计量量为为，其中，其中。对于给定的样本值，计算出未知参数对于给定的样本值，计算出未知参数 的一个的一个估计值估计值为为。即即 172.7。方法二方法二未知参数未知参数 的估计量也可以取为的估计量也可以取为，则相应的估计，则相应的估计值为值为。即。即 168。niiXnX11X1niiXnX117.172)252130168(9191911iixx12X16812 x方法三方法三记记 X(1)=min X1,X2,X9，X(9)=max X1,X2,X9。将未知参数将未知参数 的估计量取为的估计量取为，则，则相应的估计值为相应的估计值为。即即 180.由此可见，同一个未知参

10、数，其由此可见，同一个未知参数，其估计量可以是多个估计量可以是多个。对于。对于一个未知参数，一个未知参数，原则上原则上可以可以随意随意地去构造其估计量。因此，需地去构造其估计量。因此，需要制定出衡量各种估计量好坏的要制定出衡量各种估计量好坏的标准标准，对估计量进行评价。，对估计量进行评价。注注：由于作为估计量的统计量，是样本的函数，因而它是：由于作为估计量的统计量，是样本的函数，因而它是一个一个随机变量随机变量，具有不确定性具有不确定性。因此，在评价估计量时，不能。因此，在评价估计量时，不能仅凭一次仅凭一次估计的效果来衡量估计量的好坏，即不能用估计量的估计的效果来衡量估计量的好坏，即不能用估计

11、量的一次实现值（估计值）来衡量其好坏。要对估计量进行一次实现值（估计值）来衡量其好坏。要对估计量进行综合评综合评价价。最常用的评价估计量好坏的。最常用的评价估计量好坏的标准标准有：无偏性、有效性和相有：无偏性、有效性和相合性。合性。)(21)9()1(3XX180)252108(21)(21)9()1(3xx二、评价估计量的标准二、评价估计量的标准1、无偏性、无偏性待估参数待估参数 的一个好的估计量的一个好的估计量在多次使用中，其估计在多次使用中，其估计值应该在待估参数值应该在待估参数 的的真值的两侧对称分布真值的两侧对称分布，即，即的的平均值平均值应该与应该与 的真值基本一致，即的真值基本一

12、致，即。如果估计量的实现值如果估计量的实现值较多地偏向较多地偏向待估参数的真值的待估参数的真值的左左（右）边，则说明估计值通常要（右）边，则说明估计值通常要小小（大）（大）于于参数的真值，用这参数的真值，用这样的估计量去估计参数，通常会样的估计量去估计参数，通常会低估低估（高估）参数的真值。（高估）参数的真值。据此得到了评价估计量的据此得到了评价估计量的“无偏性无偏性”标准。标准。定义定义 5.1（P.150）设设为参数为参数 的的估计量，若估计量，若，则称，则称是是 的的无偏估计量无偏估计量，否则称，否则称是是 的的有偏估计量有偏估计量。若若，则称，则称是是 的的渐进无偏估计量渐进无偏估计量

13、。EE),(21nXXXlimEn例例 5.2（P.150 例例 5.2*）设（设（X1，X2，Xn）是取是取自总体自总体 X 的容量为的容量为 n 的样本。试验证样本方差的样本。试验证样本方差是总体方差是总体方差 2的无偏估计量，而统计量的无偏估计量，而统计量（未修正未修正的样本方差）是总体方差的样本方差）是总体方差 2的有的有偏估计量偏估计量。证证 总体方差总体方差 DX=2存在，存在，总体均值也存在，记为总体均值也存在，记为 ，即，即 EX=。又又（X1，X2，Xn）是取自总体是取自总体 X 的一个样本，的一个样本，EXi=EX=，DXi=DX=2，i=1，2，n。且且 X1，X2，Xn

14、相互独立。相互独立。212)(11XXnSnii212)(1XXnBnii于是，于是，样本均值样本均值满足满足：（即样本均值（即样本均值 X 是总体均值是总体均值 的无偏估计：的无偏估计：E X=EX=）；）；（即即）。）。而而样本方差样本方差，故故 niiXnX11EXEXnEXnXnEXEniniinii11111)1(2121211111)1(nDXnDXnDXnXnDXDniniinii独立211nDXnXD)(11)(11212212XnXnXXnSniinii而而样本方样本方，故故 样本方差样本方差是总体方差是总体方差 2的的无偏无偏估估计量。计量。2222221221221221

15、22)1(1)(1)(1)(11111)(11)(11nnnnnXEXDnnEXDXnXEnnEXnXnEEXnXnXnEESniiiniiniinii)(11)(11212212XnXnXXnSniinii212)(11XXnSnii又又 统计量统计量是总体方差是总体方差 2的的有偏有偏估估计量（但它是总体方差计量（但它是总体方差 2的的渐进无偏渐进无偏估计量）。用统计量估计量）。用统计量 B2估计总体方差估计总体方差 2时，平均说来会低估时，平均说来会低估 2。可见，样本方差可见，样本方差 S2比未修正的样本方差比未修正的样本方差 B2具有具有更良好更良好的的统计性质。统计性质。212)(

16、1XXnBnii时）nnnESnnSnnEXXnnnEXXnEEBniinii()(11)1()(111)(122222221212例例 5.3设设 X1，X2，Xn（n 2）为来自总体为来自总体N(0,2)的简单随机样本，其样本均值为的简单随机样本，其样本均值为 X，记记 Yi=XiX，i=1，2，n。经计算经计算，得，得 EYi=0，i=1，2，n。若若 c(Y1+Yn)2是是 2的无偏估计量的无偏估计量,求常数求常数 c。解解。21nnDYi211),(nYYCovn2222221112112121)2(2211)(),(2)()()()(ncnnnnnncEYEYYYCovDYDYcY

17、YEYYDcYYcEYYcEnnnnnnn)2(2nnc注：注：当估计量当估计量是待估参数是待估参数 的无偏估计量时，其函的无偏估计量时，其函数数不一定不一定仍是仍是 g()的无偏估计量（的无偏估计量（取决于取决于函数函数 g()是否为线性函数）。即是否为线性函数）。即 当当时，时，不一定成立不一定成立。例如例如，设（，设（X1，X2，Xn）是来自总体是来自总体 X 的一组样的一组样本，且本，且 E X=，DX=2（0），），则样本均值则样本均值 X 是总体是总体均值均值 的无偏估计量，但函数的无偏估计量，但函数 X2却不是却不是 2的无偏估计量。的无偏估计量。事实上，事实上，。即。即 X2不

18、是不是 2的无偏估计量。的无偏估计量。又又：可构造：可构造 2的无偏估计量：的无偏估计量：，其中其中，一个待估参数一个待估参数 有时可以有有时可以有若干个若干个无偏估计量。无偏估计量。)(gE222221)(nXEXDXE)()(?)(gEgEgnSX222niiXnX11212)(11XXnSnii例如例如，在例，在例 5.1 中，总体中，总体 X e()，EX=，DX=2.未知参数未知参数 （0）的估计量）的估计量，其中，其中，以及以及都是参数都是参数 的无偏估计量。的无偏估计量。但是，但是，。从而有从而有。这说明，用这说明，用去估计未知参数去估计未知参数 时，估计值在时，估计值在 的的真

19、值周围真值周围较集中地较集中地对称分布对称分布，摆动的幅度比较小；而用，摆动的幅度比较小；而用去估计未知参数去估计未知参数 时，估计值在时，估计值在 的真值周围的真值周围较分散地较分散地对称分对称分布布，摆动的幅度比较大。这也就是说，摆动的幅度比较大。这也就是说，估计未知参数估计未知参数 时，时，一般比一般比更接近更接近 的真值的真值。因此，一个好的估计量不仅应该是无偏估计量，而且应该因此，一个好的估计量不仅应该是无偏估计量，而且应该有有尽可能小的方差尽可能小的方差。由此得到评价估计两好坏的第二个标准。由此得到评价估计两好坏的第二个标准有效性有效性。1X1niiXnX1112X2111nDXn

20、XDD212DXDXD21DDX112X122、有效性、有效性定义定义 5.2（P.152）设设与与是参数是参数 的的两个无偏估计两个无偏估计量量，若，若，则称估计量，则称估计量较较有效有效。在参数。在参数 的所的所有无偏估计量中，若有无偏估计量中，若的方差最小，则称估计量的方差最小，则称估计量是参数是参数 的的最有效（最优、最佳）的估计量最有效（最优、最佳）的估计量。注：注：只有当估计量只有当估计量与与都是都是参数参数 的无偏估计量的无偏估计量时，才讨论时，才讨论与与的有效性；的有效性；并非所有未知参数都具有最有效的估计量。并非所有未知参数都具有最有效的估计量。例例 5.4设设与与是参数是参

21、数 的两个相互独立的无偏估计的两个相互独立的无偏估计量，且量，且，求常数，求常数 k1和和 k2，使使也是参也是参数数 的无偏估计量，并使它在所有这种形式的估计量中最有效的无偏估计量，并使它在所有这种形式的估计量中最有效.1221DD12211221212DD2211kk解解，且，且与与相互独立，相互独立，依题意，欲求常数依题意，欲求常数 k1和和 k2，使使k1+k2=1，且且 使使 2k12+k22达到最小值达到最小值。即确定常数即确定常数 k1的值，使的值，使2k12+k22=2k12+(1 k1)2=3k12 2k1+1 达到最小值。达到最小值。令令 f(k1)=3k12 2k1+1，

22、由由 f (k1)=6k1 2=0，得其得其唯一的驻点唯一的驻点。f (k1)=6 0，是极小值点，也是最小值点是极小值点，也是最小值点.于是，所求的于是，所求的。21EE12212DD2222122212122112122112211)2()()()(DkkDkDkkkDkkEkEkkkE311k311k32311,3121kk例例 5.5设总体设总体 X 的期望的期望 和方差和方差 2都存在，都存在，(X1，X2)是容量为是容量为 2 的样本，说明统计量的样本，说明统计量哪个是总体期望哪个是总体期望 的最有效的估计量。的最有效的估计量。解解依题意依题意 EX1=EX2=EX=，DX1=DX

23、2=DX=2，且且 X1，X2相互独立。相互独立。，1和和 2是总体期望是总体期望 的无偏估计量。的无偏估计量。在总体期望在总体期望 的的无偏估计量无偏估计量 1和和 2中中，2是是 1、2、3中对总体期望中对总体期望 的最有效的最有效的估计量。的估计量。2122112121,4341XXXX2132131XX 2122112121,4341EXEXEEXEXE652131213EXEXE22212221185214141,85169161DXDXDDXDXD233613D注注：尽管：尽管 3的方差的方差最小，最小，但由于但由于 3不是总体期望不是总体期望 的无偏估计量，因此的无偏估计量，因此

24、 3也不是总体也不是总体期望期望 的最有效的估计量。的最有效的估计量。3、相合性（一致性）、相合性（一致性）无偏性和有效性都是无偏性和有效性都是小样本准则小样本准则，即性质成立与否与样本，即性质成立与否与样本容量容量 n 无关无关。如果某种准则只要求当样本容量如果某种准则只要求当样本容量 n 时，估计量具有某时，估计量具有某种优良性质（如渐进无偏性），则称这种准则为种优良性质（如渐进无偏性），则称这种准则为大样本准则大样本准则。相合性（一致性）是重要的大样本准则之一，它反映了估相合性（一致性）是重要的大样本准则之一，它反映了估计量的一种大样本性质。计量的一种大样本性质。222132136134

25、191DXDXD定义定义 5.3（P.153）设设为未知参数为未知参数 的估计量，若的估计量，若依概率收敛依概率收敛于于 ，即对任意，即对任意 0，有，有或或，则称，则称为为 的的（弱）相合估计量（弱）相合估计量。此时也称估计量。此时也称估计量具有具有相合性（一致性）相合性（一致性）.定义定义 5.3 表明，表明，“相合性相合性”就是当样本容量就是当样本容量 n 无限增大无限增大时时,估计量估计量与未知参数与未知参数 的真值任意接近的概率趋于的真值任意接近的概率趋于 1。),(21nXXX1)(limPn0)(limPn例例 5.6根据伯努利大数定律（根据伯努利大数定律（P.115 定理定理

26、3.8）：）：“,则对任意则对任意 0，有，有”可见，在可见，在 n 重伯努重伯努利试验利试验中，事件中，事件A 发生的频率发生的频率是其发生的概率是其发生的概率 p 的相合的相合估计量估计量.根据辛钦大数定律（根据辛钦大数定律（P.116 定理定理 3.10）：）：“，则对，则对任任意意 0，有，有”可可见，样本均值见，样本均值 X 是总体期望值是总体期望值 的相合估计量。的相合估计量。一般地讲一般地讲，用不同的准则去衡量同一个估计量的好坏时，用不同的准则去衡量同一个估计量的好坏时，往往会得出不同的结论，因此，往往会得出不同的结论，因此，在实际应用中在实际应用中，要根据实际情，要根据实际情况

27、的具体需要选择适当的估计量，而不一定要况的具体需要选择适当的估计量，而不一定要“面面俱到面面俱到”。1)(limpnPnnnn1)(lim)1(lim1XPXnPnniin下面介绍两个常用的构造估计量（统计量）的方法下面介绍两个常用的构造估计量（统计量）的方法 极极大似然估计法和矩估计法。大似然估计法和矩估计法。5.2 参数的极大似然估计与矩估计参数的极大似然估计与矩估计一、极大似然估计一、极大似然估计极大似然估计法最早是由高斯（极大似然估计法最早是由高斯（C.F.Gauss）提出来的，提出来的，后来由费歇（后来由费歇（R.A.Fisher）证明了这种方法的一些性质，并证明了这种方法的一些性质

28、，并给出了给出了“极大似然估计法极大似然估计法”这一名称。这一名称。1 1、极大似然估计法的基本思想、极大似然估计法的基本思想（P.154）极大似然估计法的极大似然估计法的思想思想很简单：在已经得到试验结果的情很简单：在已经得到试验结果的情况下，应该寻找使这个结果出现的况下，应该寻找使这个结果出现的可能性最大可能性最大的那个的那个作为未作为未知参数知参数 的估计。的估计。设（设（X1，X2，Xn）为来自总体为来自总体 X 的容量为的容量为 n 的样本，的样本，总体总体 X 的的分布类型已知分布类型已知，但参数，但参数 未知，未知，。（1）总体）总体 X 是离散型随机变量，其概率分布的形式为是离

29、散型随机变量，其概率分布的形式为P(X=x)=p(x;)，则样本（则样本（X1，X2，Xn）的概率分布的概率分布为为，。在在 固定时固定时，此式表示样本（，此式表示样本（X1，X2，Xn）取值取值（x1，x2，xn）的概率；的概率；反之反之，当样本值当样本值(即试验结果即试验结果)（x1，x2，xn）给定时给定时，上式则可以看作是未知参数，上式则可以看作是未知参数 的函数，记作的函数，记作 L()，并称并称，为为似然似然函数函数。niinxpxxxp121);(),(niixpL1);()(对于不同的对于不同的 值，似然函数值，似然函数 L()有不同的函数值。而有不同的函数值。而似似然函数似然

30、函数似 L()的值的大小，的值的大小，又表示样本（又表示样本（X1，X2，Xn）取值（取值（x1，x2，xn）的概率，即）的概率，即意味着样本值（意味着样本值（x1，x2，xn）出现的可能性的大小出现的可能性的大小。既然经过试验已经得到了样本值（既然经过试验已经得到了样本值（x1，x2，xn），），那那么就有理由认为此样本值（么就有理由认为此样本值（x1，x2，xn）出现的可能性出现的可能性是最大的。是最大的。也就是说也就是说，此时似然函数的取值应该是最大的此时似然函数的取值应该是最大的。因此，因此，选择使似然函数选择使似然函数 L()达到最大值的那个达到最大值的那个 *作为作为未知参数未知参

31、数 的估计的估计，即选择，即选择 *，使，使。)(max*)(LL（2）总体）总体 X 是连续型随机变量，其密度函数为是连续型随机变量，其密度函数为 f(x;),则样本（则样本（X1，X2，Xn）的概率密度函数为的概率密度函数为，。在在 固定时，它表示样本（固定时，它表示样本（X1，X2，Xn）在（在（x1，x2，xn）处的密度，其值的大小与样本（处的密度，其值的大小与样本（X1，X2，Xn）落在点（落在点（x1，x2，xn）附近附近的概率值的大小的概率值的大小成正比成正比；反之反之，当样本值（即试验结果）（，当样本值（即试验结果）（x1，x2，xn）给定时，给定时，它是未知参数它是未知参数

32、的函数，仍然记作的函数，仍然记作 L()，并称并称，为为似然函数似然函数。同样，应该同样，应该选择使似然函数选择使似然函数 L()达到最大值的那个达到最大值的那个 *作为未知参数作为未知参数 的估计的估计，即选择，即选择 *，使，使。niixfL1);()()(max*)(LLniinxfxxxf121);(),(这种这种“选择使似然函数选择使似然函数 L()达到最大值的那个达到最大值的那个 *作为作为未知参数未知参数 的估计的估计”的求点估计的方法，叫做的求点估计的方法，叫做极大似然估计法极大似然估计法。注注：由于：由于 *通常随样本值（通常随样本值（x1，x2，xn）的不同而的不同而变化，

33、因此变化，因此 *通常是样本值（通常是样本值（x1，x2，xn）的函数，记的函数，记作作 *=*(x1,x2,xn)。定义定义 5.4（P.155）若对任意给定的样本值若对任意给定的样本值（x1,x2,xn），），存在存在 *=*(x1,x2,xn)，使使,则称则称 *(x1,x2,xn)为参数为参数 的的极大似然估计值极大似然估计值，称相应，称相应的统计量的统计量 *(X1,X2,Xn)为参数为参数 的的极大似然估计量极大似然估计量。它们统称为参数它们统称为参数 的的极大似然估计极大似然估计，可简记作，可简记作 M L E（Maximum Likelihood Estimate）。其中似然函

34、数其中似然函数，。)(max*)(LL是连续型分布时当总体是离散型分布时当总体XxfXxpLniinii,);(,);()(11如果总体中含有如果总体中含有多个多个未知参数未知参数 1，2，r，那么似那么似然函数就是然函数就是多元函数多元函数 L(1,2,r)。若对任意给定的样若对任意给定的样本值（本值（x1，x2，xn），），存在存在 i*=i*(x1,x2,xn)，i=1，2，r，使使,则称则称 i*(x1,x2,xn)为参数为参数 i的的极大似然估计极大似然估计（M L E），），i=1，2，r。极大似然估计的不变性极大似然估计的不变性（P.156）：）：如果如果是参数是参数 的极大似然

35、估计，的极大似然估计，u=g()是是 的函的函数，数，且存在单值反函数且存在单值反函数 =g 1(u)，则则就是就是 g()的的极大极大似然估计似然估计（此性质可以推广到多个参数的场合）。（此性质可以推广到多个参数的场合）。),(max),(21),(*2*121rrLLr)(g例如例如，若若是未知参数是未知参数 的极大似然估计，的极大似然估计，u1=3，u2=2，则则是是 u1=3的极大似然估计；但是，的极大似然估计；但是，就就不不一定一定是是 u2=2的极大似然估计（因为函数的极大似然估计（因为函数 u2=2不存在不存在 的单值的反函数）。的单值的反函数）。下面给出极大似然估计法的定义：下

36、面给出极大似然估计法的定义：定义定义以极大似然估计（值或量）以极大似然估计（值或量）作为未知参数作为未知参数 的的估计，以估计，以的函数的函数作为未知参数作为未知参数 的的同一函数同一函数 g()的的估计的方法，称为估计的方法，称为极大似然估计法极大似然估计法。其中其中 g()存在存在单值反函单值反函数数。)(g322 2、极大似然估计的一般求法、极大似然估计的一般求法参数参数 i的极大似然估计的极大似然估计 i*（i=1，2，r）的求法通的求法通常分为常分为两种情形两种情形：对于：对于每一个每一个 i（i=1，2，r），（1）如果似然函数如果似然函数 L(1,2,r)是是某个某个未知参数未知

37、参数 i的的单调函数单调函数，则似然函数的，则似然函数的最大值最大值点点 i*一定一定在参数在参数 i的参的参数空间的数空间的边界边界上达到，此时可以上达到，此时可以直接求出直接求出 i*。（2）如果似然函数如果似然函数 L(1,2,r)不是未知参数不是未知参数 i的单调函数，但关于的单调函数，但关于 i可微，则需要采用微积分中求函数极可微，则需要采用微积分中求函数极（最）值的一般方法，通过（最）值的一般方法，通过求导数求导数得到得到 i的极大似然估计的极大似然估计（可能是多元函数求极（最）值的问题）：（可能是多元函数求极（最）值的问题）：先先求出似然函数求出似然函数L(1,2,r)的所有驻点

38、，即求似然函数的导函数方程的所有驻点，即求似然函数的导函数方程（可能是方程组）（可能是方程组）的全部根；的全部根；再再选取使似然函数达选取使似然函数达到最大值的到最大值的 i*，并用并用 i*作为参数作为参数 i的极大似然估计。的极大似然估计。0iL在计算上在计算上，由于似然函数的表达式，由于似然函数的表达式(1,2,r)为乘积的形式，直接求（偏）导数考虑其极值很不方便。为乘积的形式，直接求（偏）导数考虑其极值很不方便。而根据对数函数的而根据对数函数的单调性单调性可知，似然函数可知，似然函数 L(1,2,r)与其对数函数与其对数函数 ln L(1,2,r)有相同的有相同的极（最）大极（最）大值

39、点，值点，于是于是，可以通过解对数似然函数的导函数方程（组），可以通过解对数似然函数的导函数方程（组）（称为（称为似然方程（组）似然方程（组）来求似然函数）来求似然函数 L(1,2,r)的全部驻点。由此得到求极大似然估计的全部驻点。由此得到求极大似然估计（i=1，2，r）的的主要步骤主要步骤（P.155）：）：是连续型分布时当总体是离散型分布时当总体XxfXxpLnirinirir,),;(,),;(),(121121210lniLi求极大似然估计求极大似然估计（i=1，2，r）的的主要步骤主要步骤(P.155)写出似然函数写出似然函数,(1,2,r)；如果似然函数如果似然函数 L(1,2,r

40、)是是某个某个未知参数未知参数 i的的单调函数单调函数，则似然函数的，则似然函数的最大最大值点值点 i*一定一定在参数在参数 i的参数空的参数空间的间的边界边界上达到，此时可以上达到，此时可以直接求出直接求出 i*；如果似然函数如果似然函数 L(1,2,r)不是未知参数不是未知参数 i的单的单调函数，调函数，i=1,2,r，求对数似然函数求对数似然函数 ln L(1,2,r);是连续型分布时当总体是离散型分布时当总体XxfXxpLnirinirir,),;(,),;(),(12112121i 令令，i=1，2，r，得到似然得到似然方程组方程组，从中，从中解出解出所有所有驻点；驻点；从求出的所有

41、驻点中，找出使似然函数从求出的所有驻点中，找出使似然函数L(1,2,r)达到最大值的点达到最大值的点 i*，i=1，2，r；注注：当似然函数：当似然函数 L(1,2,r)关于某个关于某个 i(1 i r)的的驻点唯一驻点唯一时，则认为该驻点就是似然函数的最大值点时，则认为该驻点就是似然函数的最大值点 i*（1 i r），），而而不必不必再做进一步的验证了。再做进一步的验证了。给出各参数的极大似然给出各参数的极大似然估计估计 M L E：极大似然估计极大似然估计值值，i=1，2，r；极大似然估计极大似然估计量量，i=1，2，r。0lniL),(*21niixxx),(*21niiXXX下面是当总

42、体分布下面是当总体分布只含有一个未知参数只含有一个未知参数 时，求其极大似时，求其极大似然估计的然估计的步骤步骤：（1）写出似然函数写出似然函数，；（2）当似然函数当似然函数 L()是未知参数是未知参数 的单调函数时，的单调函数时，L()的最大值点的最大值点 *在在参数空间参数空间 的的边界边界上达到，可以直接上达到，可以直接求出来求出来 *，转到（，转到（6）。）。（3）当似然函数当似然函数 L()不是未知参数不是未知参数 的单调函数时，求的单调函数时，求对数似然函数对数似然函数，；是连续型分布时当总体是离散型分布时当总体XxfXxpLniinii,);(,);()(11是连续型分布时当总体

43、是离散型分布时当总体XxfXxpLniinii,);(ln,);(ln)(ln11（4）令令*，得到似然方程，求解出，得到似然方程，求解出所有所有驻点驻点 0；（5）求出似然函数求出似然函数 L()的最大值点的最大值点 *（如果（如果 0是似然方是似然方程的程的唯一驻点唯一驻点，则，则认为认为 0就是似然函数就是似然函数 L()的最大值点）的最大值点）；（6）给出参数给出参数 的极大似然估计的极大似然估计 M L E：极大似然估计极大似然估计值值，极大似然估计极大似然估计量量。例例 5.7设有一批产品的次品率为设有一批产品的次品率为 p（0 p 1）未知，求未知，求次品率次品率 p 的极大似然

44、估计。若从中抽取了的极大似然估计。若从中抽取了 75 件产品，发现有件产品，发现有10 件次品，用极大似然估计法估计其次品率。件次品，用极大似然估计法估计其次品率。0lndLd),(*21nMLExxx),(*21nMLEXXX解解设总体设总体 X 任取一件产品中的次品数任取一件产品中的次品数（即（即），），则则 X 服从参数为服从参数为 p 的的 0 1 分布，分布，即即 X b(1,p)，其中其中 p 为次品率，为次品率，0 p 1；p(x)=P(X=x)=px(1 p)1 x，x=0，1。再再设从总体设从总体 X 中抽取了容量为中抽取了容量为 n 的样本（的样本（X1，X2，Xn），得到

45、样本值（得到样本值（x1，x2，xn）。）。似然函数似然函数（xi=0，1；i=1，2，n），0 p 0，即未知参数，即未知参数p 的极大似然估计量的极大似然估计量是参数是参数 p 的的相合估计量相合估计量。同理同理，总体期望，总体期望 EX 的极大似然估计量的极大似然估计量，其中，其中，是其是其无偏无偏估计量和估计量和相合相合估计量；估计量；XpMLEniiXnX11pXEpEMLEXpMLEniiXnX111)(lim)(limpXPppPnMLEnXpMLEXEX niiXnX11概率概率 P(X=0)的极大似然估计量的极大似然估计量，其，其中中，也是其也是其无偏无偏估计量和估计量和相合

46、相合估计量。估计量。例例5.8设总体设总体 X 的概率的概率分布为分布为XXP1)0(niiXnX11 X 0 1 2 3 P 2 2 (1 )2 1 2 其中其中是未知参数，利用总体是未知参数，利用总体 X 的样本值：的样本值：3，1，3，0，3，1，2，3，求，求 的最大似然估计的最大似然估计值值。解解依题意，样本容量依题意，样本容量 n=8。对于给定的样本值（对于给定的样本值（3，1，3，0，3，1，2，3）构造似然函数）构造似然函数210210,)21()1(4)3()2()1()0()()(4264281XPXPXPXPxXPLiii注：注：当离散型总体的概率分布无法用一个公式表示时

47、，只当离散型总体的概率分布无法用一个公式表示时，只能利用能利用具体的具体的样本值求参数的样本值求参数的最大似然估计值最大似然估计值。且针对不同的。且针对不同的样本值，似然函数需要分别构造。样本值，似然函数需要分别构造。ln L=ln 4+6 ln +2 ln(1 )+4 ln (1 2 )，令令，即，即 12 2 14 +3=0,，得唯一驻点得唯一驻点，未知参数未知参数 的最大似然估计值约为的最大似然估计值约为。0218126lndLd28.01237021028.0MLE X 0 1 2 3 P 2 2 (1 )2 1 2 例例5.9设（设（X1，X2，Xn）为总体为总体 X 的一组样本，的

48、一组样本，总体总体 X 密度函数为：密度函数为：（参数参数 未知，且未知，且 0），（），（1）试求未知参数）试求未知参数 的极大似然估计量；（的极大似然估计量；（2）检）检验其无偏性。验其无偏性。解（解（1）似然函数似然函数，0，两边取对数，得两边取对数，得，由由，得唯一驻点，得唯一驻点，参数参数 的极大似然估计量为的极大似然估计量为。xexf121);(niixnL11)2ln(lnniiixnnixeeL1111)2(21)(01ln12niixndLdniixn101niiMLEXn11注：注：不要不要随意造符号随意造符号！，。（2）（X1，X2，Xn）为总体为总体 X 的一组样本，的

49、一组样本，E Xi=E X，E Xi=E X ，i=1，2，n。又又 是是 的无偏估计量的无偏估计量。XXnnii11XXnniilnln112121XXnnii01111121221);(11)1(dxexdxexdxxfxXEXEnXEnXnEExxniniiniiMLEniiMLEXn11例例5.10设总体设总体 X 在区间在区间 0，（0）上服从均匀分）上服从均匀分布，求未知参数布，求未知参数 的极大似然估计（量的极大似然估计（量/值）值）。解解依题意，总体依题意，总体 X 的密度函数为的密度函数为设（设（X1，X2，Xn）是取自总体是取自总体 X 的容量为的容量为 n 的样本，的样本

50、，其样本值为（其样本值为（x1，x2，xn），），则似然函数为则似然函数为（0）似然函数似然函数 L()非负、非负、关于未知参数关于未知参数 单调减少单调减少，且其，且其最大值在最大值在的范围内达到。的范围内达到。当当时，似然函数时，似然函数 L()达到最大值。达到最大值。于是，参数于是，参数 的极大似然估计的极大似然估计量量为为，极大，极大似然估计似然估计值值为为。其它00,1);(xxf其它其它0max,10,2,1,1)(1inininxnixLinix1maxinix10maxiniMLEX1maxiniMLEx1max例例5.11设总体设总体 X 的的分布函数分布函数为为（0），从总