(精品)第5章参数估计与假设检验.ppt

《(精品)第5章参数估计与假设检验.ppt》由会员分享，可在线阅读，更多相关《(精品)第5章参数估计与假设检验.ppt（137页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第 5 章章 参数估计参数估计与假与假设检验设检验 （5.1 5.5）统计推断统计推断是统计学的重要内容。它大致可以分为是统计学的重要内容。它大致可以分为两类两类：估估计问题与假设检验问题计问题与假设检验问题。且每且每类问题类问题又可以分又可以分为为参数估参数估计计与假与假设检验设检验和非参数估和非参数估计计与假与假设检验设检验。本章将介。本章将介绍绍参数估参数估计计与参数与参数假假设检验设检验的基本知的基本知识识。一方面一方面，在一些实际问题中，研究对象的总体分布，在一些实际问题中，研究对象的总体分布类型类型往往往可以从理论或实际经验中得到，而未知的只是分布中的往可以从理论或实际经验中得到

2、，而未知的只是分布中的参数参数。例如例如，由中心极限定理和实际经验知道：表示，由中心极限定理和实际经验知道：表示人体身高人体身高的随机的随机变量变量 X 近似地服从正态分布近似地服从正态分布 N(,2)，其中参数其中参数 ，2 未知；未知；表示表示纺织厂细纱机上的断头次数纺织厂细纱机上的断头次数的随机变量的随机变量 Y 近似地服从参数近似地服从参数为为 的泊松分布的泊松分布 P()，其中参数其中参数 未知；未知；另一方面另一方面，在有些情况下，人们所关心的并不是总体的分，在有些情况下，人们所关心的并不是总体的分布，而是总体的某些数字特征（一般可以表为总体参数的函数，布，而是总体的某些数字特征（

3、一般可以表为总体参数的函数，如：若总体如：若总体 X e()，则则 EX=1/）。）。这些问题都要求人们通过对所抽取的简单随机样本进行这些问题都要求人们通过对所抽取的简单随机样本进行科科学的分析学的分析，从而，从而推断出推断出总体的未知参数或数字特征来。这类问总体的未知参数或数字特征来。这类问题统称为题统称为参数估计问题参数估计问题。参数估计问题又分为参数估计问题又分为点估计与区间估计点估计与区间估计两类。两类。直观地讲直观地讲，点估计是要用样本的某一点估计是要用样本的某一函数值函数值做为待估参数的估计值；区间做为待估参数的估计值；区间估计则是要将待估参数确定在某一估计则是要将待估参数确定在某

4、一范围范围之内。之内。5.1 点估计概述点估计概述 一、什么叫点估计一、什么叫点估计 设（设（X1，X2，Xn）是来自总体是来自总体 X 的的样本样本，（，（x1,x2,xn ）是相应的是相应的样本值样本值。是总体分布的是总体分布的待估参数待估参数，表示表示 的取值范围，称为的取值范围，称为参数空间参数空间。注注：尽管参数尽管参数 是未知的，但是它的参数空间是未知的，但是它的参数空间 却是却是事先事先知道知道的。如正态总体的。如正态总体 X N(,2)的参数的参数 R，(0,+).为估计参数为估计参数 ，需要，需要先先构造构造一个统计量一个统计量 h(X1,X2,Xn),然后然后再利用再利用该

5、统计量的该统计量的实现值实现值 h(x1,x2,xn)来来估计参数估计参数 的真值的真值，作为，作为 的的近似值近似值，即，即 h(x1,x2,xn)。称称统计量统计量 h(X1,X2,Xn)为参数为参数 的的估计量估计量，记作，记作 ；该统计量的；该统计量的实现值实现值 h(x1,x2,xn)为参数为参数 的的估计值估计值，记作，记作 。在不会引起误会的场合，估计量在不会引起误会的场合，估计量与估计值统称为与估计值统称为点估计点估计，简称为简称为估计估计，并简记为，并简记为 。且有。且有 。由于由于 的估计值的估计值 是是数轴数轴上的一个上的一个点点，用，用 的估计值的估计值 作为作为 的真

6、值的的真值的近似值近似值，就相当于，就相当于用一个点来估计用一个点来估计 ，故得名，故得名“点估计点估计”。如果总体分布中有如果总体分布中有多个多个待估参数待估参数 1，2，r，(1,2,r)，则一般需要构造则一般需要构造不同的不同的统计量统计量 ，i=1,2,r，分别分别估计各个估计各个 i ，且称且称 为为第第 i 个参数个参数 i 的估计量的估计量，其相应的估计，其相应的估计 值值 为为第第 i 个参数个参数 i 的估计值的估计值，i=1,2,r.如果待估参数是总体未知参数如果待估参数是总体未知参数 的的实值函数实值函数 g()（如：如：总体总体 X e()时，待估参数时，待估参数 EX

7、=1/就是总体未知参数就是总体未知参数 的的实值函数，此时有实值函数，此时有 g()=1/），则称用来估计实值函数则称用来估计实值函数 g()的统计量的统计量 为该实值函数为该实值函数 g()的的估计量估计量，统计量，统计量的相应的实现值为该实值函数的相应的实现值为该实值函数 g()的的估计值估计值。且有且有 g()。例例 5.1（P.150 例例 5.1）设某种型号的电子元件的寿命设某种型号的电子元件的寿命 X（以小时计）以小时计），（，（x 0）。）。为未知参数，为未知参数，0。现得样本值为。现得样本值为168，130，169，143，174，198，108，212，252，试估计未知参数

8、试估计未知参数 。解解 未知参数未知参数 的一个估计量，就是利用样本构造的一个的一个估计量，就是利用样本构造的一个函数。函数。方法一方法一 总体总体 X 服从参数为服从参数为 的指数分布：的指数分布：X e()，EX=（），），即未知参数即未知参数 就是总体就是总体 X 的数学期望（均值）的数学期望（均值）。因此一个自然的想法就是，用样本均值因此一个自然的想法就是，用样本均值 来估来估计未知参数计未知参数 （即总体的均值），得到未知参数（即总体的均值），得到未知参数 的一个的一个估计估计量量为为 ，其中，其中 。对于给定的样本值，计算出未知参数对于给定的样本值，计算出未知参数 的一个的一个估计

9、值估计值为为 。即即 172.7。方法二方法二 未知参数未知参数 的估计量也可以取为的估计量也可以取为 ，则相应的估计，则相应的估计值为值为 。即。即 168。方法三方法三 记记 X(1)=min X1,X2,X9，X(9)=max X1,X2,X9。将未知参数将未知参数 的估计量取为的估计量取为 ，则，则相应的估计值为相应的估计值为 。即即 180.由此可见，同一个未知参数，其由此可见，同一个未知参数，其估计量可以是多个估计量可以是多个。对于。对于一个未知参数，一个未知参数，原则上原则上可以可以随意随意地去构造其估计量。因此，需地去构造其估计量。因此，需要制定出衡量各种估计量好坏的要制定出衡

10、量各种估计量好坏的标准标准，对估计量进行评价。，对估计量进行评价。注注：由于作为估计量的统计量，是样本的函数，因而它是：由于作为估计量的统计量，是样本的函数，因而它是一个一个随机变量随机变量，具有不确定性具有不确定性。因此，在评价估计量时，不能。因此，在评价估计量时，不能仅凭一次仅凭一次估计的效果来衡量估计量的好坏，即不能用估计量的估计的效果来衡量估计量的好坏，即不能用估计量的一次实现值（估计值）来衡量其好坏。要对估计量进行一次实现值（估计值）来衡量其好坏。要对估计量进行综合评综合评价价。最常用的评价估计量好坏的。最常用的评价估计量好坏的标准标准有：无偏性、有效性和相有：无偏性、有效性和相合性

11、。合性。二、评价估计量的标准二、评价估计量的标准 1、无偏性、无偏性 待估参数待估参数 的一个好的估计量的一个好的估计量 在多次使用中，其估计在多次使用中，其估计值应该在待估参数值应该在待估参数 的的真值的两侧对称分布真值的两侧对称分布，即，即 的的平均值平均值应该与应该与 的真值基本一致，即的真值基本一致，即 。如果估计量的实现值如果估计量的实现值较多地偏向较多地偏向待估参数的真值的待估参数的真值的左左（右）（右）边，则说明估计值通常要边，则说明估计值通常要小小（大）（大）于于参数的真值，用这样的估参数的真值，用这样的估计量去估计参数，通常会计量去估计参数，通常会低估低估（高估）参数的真值。

12、（高估）参数的真值。据此得到了评价估计量的据此得到了评价估计量的“无偏性无偏性”标准。标准。定义定义 5.1（P.146）设设 为参数为参数 的的估计量，若估计量，若 ，则称，则称 是是 的的无偏估计量无偏估计量，否则称，否则称 是是 的的有偏估计量有偏估计量。若若 ，则称，则称 是是 的的渐进无偏估计量渐进无偏估计量。例例 5.2（P.150 例例 5.2*）设（设（X1，X2，Xn）是取是取自总体自总体 X 的容量为的容量为 n 的样本。试验证样本方差的样本。试验证样本方差 是总体方差是总体方差 2 的无偏估计量，而统计量的无偏估计量，而统计量 （未修正未修正的样本方差）是总体方差的样本方

13、差）是总体方差 2 的有的有偏估计量偏估计量。证证 总体方差总体方差 DX=2 存在，存在，总体均值也存在，记为总体均值也存在，记为 ，即，即 EX=。又又（X1，X2，Xn）是取自总体是取自总体 X 的一个样本，的一个样本，EXi=EX=，DXi=DX=2，i=1，2，n。且且 X1，X2，Xn 相互独立。相互独立。于是，于是，样本均值样本均值 满足满足：（即样本均值（即样本均值 X 是总体均值是总体均值 的无偏估计：的无偏估计：E X=EX=）；）；（即即 ）。）。而而样本方样本方 ，故故 样本方差样本方差 是总体方差是总体方差 2 的的无偏无偏估估计量。计量。又又 统计量统计量 是总体方

14、差是总体方差 2 的的有偏有偏估估计量（但它是总体方差计量（但它是总体方差 2 的的渐进无偏渐进无偏估计量）。用统计量估计量）。用统计量 B2 估计总体方差估计总体方差 2 时，平均说来会低估时，平均说来会低估 2。可见，样本方差可见，样本方差 S 2 比未修正的样本方差比未修正的样本方差 B2 具有具有更良好更良好的的统计性质。统计性质。注：注：当估计量当估计量 是待估参数是待估参数 的无偏估计量时，其函的无偏估计量时，其函数数 不一定不一定仍是仍是 g()的无偏估计量（的无偏估计量（取决于取决于函数函数 g()是否为线性函数）。是否为线性函数）。例如例如，设总体，设总体 X N(,2)（0

15、），），则样本均值则样本均值 X 是是总体均值总体均值 的无偏估计量，但函数的无偏估计量，但函数 X 2 却不是却不是 2 的无偏估计的无偏估计量。量。事实上，事实上，。即。即 X 2 不是不是 2 的无偏估计量。的无偏估计量。一个待估参数一个待估参数 有时可以有有时可以有若干个若干个无偏估计量。无偏估计量。例如例如，在例，在例 5.1 中，总体中，总体 X e()，EX=，DX=2.未知参数未知参数 （0）的估计量）的估计量 ，其中，其中 ，以及以及 都是参数都是参数 的无偏估计量。的无偏估计量。但是，但是，。从而有从而有 。这说明，用这说明，用 去估计未知参数去估计未知参数 时，估计值在时

16、，估计值在 的的真值周围真值周围较集中地较集中地对称分布对称分布，摆动的幅度比较小；而用，摆动的幅度比较小；而用 去估计未知参数去估计未知参数 时，估计值在时，估计值在 的真值周围的真值周围较分散地较分散地对称分对称分布布，摆动的幅度比较大。这也就是说，摆动的幅度比较大。这也就是说，估计未知参数估计未知参数 时，时，一般比一般比 更接近更接近 的真值的真值。因此，一个好的估计量不仅应该是无偏估计量，而且应该因此，一个好的估计量不仅应该是无偏估计量，而且应该有有尽可能小的方差尽可能小的方差。由此得到评价估计两好坏的第二个标准。由此得到评价估计两好坏的第二个标准有效性有效性。2、有效性、有效性 定

17、义定义 5.2（P.152）设设 与与 是参数是参数 的的两个无偏估计两个无偏估计量量，若，若 ，则称估计量，则称估计量 较较 有效有效。在参数。在参数 的所的所有无偏估计量中，若有无偏估计量中，若 的方差最小，则称估计量的方差最小，则称估计量 是参数是参数 的的最有效（最优、最佳）的估计量最有效（最优、最佳）的估计量。注：注：只有当估计量只有当估计量 与与 都是都是参数参数 的无偏估计量的无偏估计量时，才讨论时，才讨论 与与 的有效性；的有效性；并非所有未知参数都具有最有效的估计量。并非所有未知参数都具有最有效的估计量。例例 5.5 设总体设总体 X 的期望的期望 和方差和方差 2 都存在，

18、都存在，(X1，X2)是容量为是容量为 2 的样本，说明统计量的样本，说明统计量 哪个是总体期望哪个是总体期望 的最有效的估计量。的最有效的估计量。解解 依题意依题意 EX1=EX2=EX=，DX1=DX2=DX=2，且且 X1，X2 相互独立。相互独立。，1 和和 2 是总体期望是总体期望 的无偏估计量。的无偏估计量。在总体期望在总体期望 的的无偏估计量无偏估计量 1 和和 2 中中，2 是是 1、2、3 中对总体期望中对总体期望 的最有效的最有效的估计量。的估计量。注注：尽管：尽管 3 的方差的方差 最小，最小，但由于但由于 3 不是总体期望不是总体期望 的无偏估计量，因此的无偏估计量，因

19、此 3 也不是总体期也不是总体期望望 的最有效的估计量。的最有效的估计量。3、相合性（一致性）、相合性（一致性）无偏性和有效性都是无偏性和有效性都是小样本准则小样本准则，即性质成立与否与样本，即性质成立与否与样本容量容量 n 无关无关。如果某种准则只要求当样本容量如果某种准则只要求当样本容量 n 时，估计量具有某时，估计量具有某种优良性质（如渐进无偏性），则称这种准则为种优良性质（如渐进无偏性），则称这种准则为大样本准则大样本准则。相合性（一致性）是重要的大样本准则之一，它反映了估相合性（一致性）是重要的大样本准则之一，它反映了估计量的一种大样本性质。计量的一种大样本性质。定义定义 5.3（P

20、.153）设设 为未知参数为未知参数 的估计量，若的估计量，若 依概率收敛依概率收敛于于 ，即对任意，即对任意 0，有，有 或或 ，则称，则称 为为 的的（弱）相合估计量（弱）相合估计量。此时也称估计量。此时也称估计量 具有具有相合性（一致相合性（一致性）性）.定义定义 5.3 表明，表明，“相合性相合性”就是当样本容量就是当样本容量 n 无限增大时无限增大时,估计量估计量 与未知参数与未知参数 的真值任意接近的概率趋于的真值任意接近的概率趋于 1。例例 5.6 根据伯努利大数定律（根据伯努利大数定律（P.107 定理定理 3.8）：）：“，则对任意则对任意 0，有，有 ”可见，在可见，在 n

21、 重伯努重伯努利试验利试验中，事件中，事件 A 发生的频率发生的频率 是其发生的概率是其发生的概率 p 的相合的相合估计量估计量 .根据辛钦大数定律（根据辛钦大数定律（P.108 定理定理 3.10）：）：“，则对，则对任任意意 0，有，有 ”可可见，样本均值见，样本均值 X 是总体期望值是总体期望值 的相合估计量。的相合估计量。用不同的准则去衡量同一个估计量，会得出不同的结论，用不同的准则去衡量同一个估计量，会得出不同的结论，因此，要根据实际情况的具体需要选择适当的估计量。因此，要根据实际情况的具体需要选择适当的估计量。作业 P154,15.2 参数的极大似然估计与矩估计参数的极大似然估计与

22、矩估计 一、极大似然估计一、极大似然估计 极大似然估计法最早是由高斯（极大似然估计法最早是由高斯（C.F.Gauss）提出来的，提出来的，后来由费歇（后来由费歇（R.A.Fisher）证明了这种方法的一些性质，并证明了这种方法的一些性质，并给出了给出了“极大似然估计法极大似然估计法”这一名称。这一名称。1 1、极大似然估计法的基本思想、极大似然估计法的基本思想（P.150）极大似然估计法的极大似然估计法的思想思想很简单：在已经得到试验结果的情很简单：在已经得到试验结果的情况下，应该寻找使这个结果出现的况下，应该寻找使这个结果出现的可能性最大可能性最大的那个的那个 作为未作为未知参数知参数 的估

23、计。的估计。设（设（X1，X2，Xn）为来自总体为来自总体 X 的容量为的容量为 n 的样本，的样本，总体总体 X 的的分布类型已知分布类型已知，但参数，但参数 未知，未知，。（1）总体）总体 X 是离散型随机变量，其概率分布的形式为是离散型随机变量，其概率分布的形式为 P(X=x)=p(x;)，则样本（则样本（X1，X2，Xn）的概率分布的概率分布为为 ，。在在 固定时固定时，此式表示样本（，此式表示样本（X1，X2，Xn）取值取值（x1，x2，xn）的概率；的概率；反之反之，当样本值当样本值 (即试验结果即试验结果)（x1，x2，xn）给定时给定时，上式则可以看作是未知参数，上式则可以看作

24、是未知参数 的函数，记作的函数，记作 L()，并称并称 ，为为似然似然函数函数。对于不同的对于不同的 值，似然函数值，似然函数 L()有不同的函数值。而有不同的函数值。而似似然函数似然函数似 L()的值的大小，的值的大小，又表示又表示样样本（本（X1，X2，Xn）取）取值值（x1，x2，xn）的概率，即）的概率，即意味着样本值（意味着样本值（x1，x2，xn）出现的可能性的大小出现的可能性的大小。既然经过试验已经得到了样本值（既然经过试验已经得到了样本值（x1，x2，xn），），那那么就有理由认为此样本值（么就有理由认为此样本值（x1，x2，xn）出现的可能性是出现的可能性是最大的。最大的。也

25、就是说也就是说，此时似然函数的取值应该是最大的此时似然函数的取值应该是最大的。因此，因此，选择使似然函数选择使似然函数 L()达到最大值的那个达到最大值的那个 *作为作为未知参数未知参数 的估计的估计，即选择，即选择 *，使，使 。（2）总体）总体 X 是连续型随机变量，其密度函数为是连续型随机变量，其密度函数为 f(x;),则样本（则样本（X1，X2，Xn）的概率密度函数为的概率密度函数为 ，。在在 固定时，它表示样本（固定时，它表示样本（X1，X2，Xn）在（在（x1，x2，xn）处的密度，其值的大小与样本（处的密度，其值的大小与样本（X1，X2，Xn）落在点（落在点（x1，x2，xn）附

26、近附近的概率值的大小的概率值的大小成正比成正比；反之反之，当样本值（即试验结果）（，当样本值（即试验结果）（x1，x2，xn）给定时，给定时，它是未知参数它是未知参数 的函数，仍然记作的函数，仍然记作 L()，并称并称 ，为为似然函数似然函数。同样，应该同样，应该选择使似然函数选择使似然函数 L()达到最大值的那个达到最大值的那个 *作为未知参数作为未知参数 的估计的估计，即选择，即选择 *，使，使 。这种这种 “选择使似然函数选择使似然函数 L()达到最大值的那个达到最大值的那个 *作为作为未知参数未知参数 的估计的估计”的求点估计的方法，叫做的求点估计的方法，叫做极大似然估计法极大似然估计

27、法。注注：由于：由于 *通常随样本值（通常随样本值（x1，x2，xn）的不同而的不同而变化，因此变化，因此 *通常是样本值（通常是样本值（x1，x2，xn）的函数，记的函数，记作作 *=*(x1,x2,xn)。定义定义 5.4（P.154）若对任意给定的样本值若对任意给定的样本值（x1,x2,xn），），存在存在 *=*(x1,x2,xn)，使使 ,则称则称 *(x1,x2,xn)为参数为参数 的的极大似然估计值极大似然估计值，称相应，称相应的统计量的统计量 *(X1,X2,Xn)为参数为参数 的的极大似然估计量极大似然估计量。它们统称为参数它们统称为参数 的的极大似然估计极大似然估计，可简记

28、作，可简记作 M L E（Maximum Likelihood Estimate）。其中似然函数其中似然函数 ，。如果总体中含有如果总体中含有多个多个未知参数未知参数 1，2，r，那么似那么似然函数就是然函数就是多元函数多元函数 L(1,2,r)。若对任意给定的样若对任意给定的样本值（本值（x1，x2，xn），），存在存在 i*=i*(x1,x2,xn)，i=1，2，r，使使 ,则称则称 i*(x1,x2,xn)为参数为参数 i 的的极大似然估计极大似然估计（M L E），），i=1，2，r。极大似然估计的不变性极大似然估计的不变性（P.152）：）：如果如果 是参数是参数 的极大似然估计，的

29、极大似然估计，u=g()是是 的函的函数，数，且存在单值反函数且存在单值反函数 =g 1(u)，则则 就是就是 g()的的极大极大似然估计似然估计（此性质可以推广到多个参数的场合）。（此性质可以推广到多个参数的场合）。例如例如，若若 是未知参数是未知参数 的极大似然估计，的极大似然估计，u1=3，u2=2，则则 是是 u1=3 的极大似然估计；但是，的极大似然估计；但是，就就不不一定一定是是 u2 =2 的极大似然估计（因为函数的极大似然估计（因为函数 u2=2 不存在不存在 的单值的反函数）。的单值的反函数）。下面给出极大似然估计法的定义：下面给出极大似然估计法的定义：定义定义 以极大似然估

30、计（值或量）以极大似然估计（值或量）作为未知参数作为未知参数 的的估计，以估计，以 的函数的函数 作为未知参数作为未知参数 的的同一函数同一函数 g()的的估计的方法，称为估计的方法，称为极大似然估计法极大似然估计法。其中其中 g()存在存在单值反函单值反函数数。求极大似然估计求极大似然估计 （i=1，2，r）的的主要步骤主要步骤 写出似然函数写出似然函数 ,(1,2,r)；如果似然函数如果似然函数 L(1,2,r)是是某个某个未知参数未知参数 i 的的单调函数单调函数，则似然函数的，则似然函数的最大最大值点值点 i*一定一定在参数在参数 i 的参数空的参数空间的间的边界边界上达到，此时可以上

31、达到，此时可以直接求出直接求出 i*；如果似然函数如果似然函数 L(1,2,r)不是未知参数不是未知参数 i 的单的单调函数，调函数，i=1,2,r，求对数似然函数求对数似然函数 ln L(1,2,r);令令 ，i=1，2，r，得到似然得到似然方程组方程组，从中，从中解出解出所有所有驻点；驻点；从求出的所有驻点中，找出使似然函数从求出的所有驻点中，找出使似然函数 L(1,2,r)达到最大值的点达到最大值的点 i*，i=1，2，r；注注：当似然函数：当似然函数 L(1,2,r)关于某个关于某个 i(1 i r)的的驻点唯一驻点唯一时，则认为该驻点就是似然函数的最大值点时，则认为该驻点就是似然函数

32、的最大值点 i*（1 i r），），而而不必不必再做进一步的验证了。再做进一步的验证了。给出各参数的极大似然给出各参数的极大似然估计估计 M L E：极大似然估计极大似然估计值值 ，i=1，2，r；极大似然估计极大似然估计量量 ，i=1，2，r。例例5.9 设（设（X1，X2，Xn）为总体为总体 X 的一组样本，的一组样本，总体总体 X 密度函数为：密度函数为：（参数参数 未知，且未知，且 0），（），（1）试求未知参数）试求未知参数 的极大似然估计量；（的极大似然估计量；（2）检）检验其无偏性。验其无偏性。解（解（1）似然函数似然函数 ，0，两边取对数，得两边取对数，得 ，由由 ，得唯一驻点

33、，得唯一驻点 ，参数参数 的极大似然估计量为的极大似然估计量为 。（2）（X1，X2，Xn）为总体为总体 X 的一组样本，的一组样本，E Xi=E X，E Xi =E X ，i=1，2，n。又又 是是 的无偏估计量的无偏估计量。例例5.10 设总体设总体 X 在区间在区间 0，（0）上服从均匀）上服从均匀分布，求未知参数分布，求未知参数 的极大似然估计（量的极大似然估计（量/值）值）。解解 依题意，总体依题意，总体 X 的密度函数为的密度函数为 设（设（X1，X2，Xn）是取自总体是取自总体 X 的容量为的容量为 n 的样本，的样本，其样本值为（其样本值为（x1，x2，xn），），则似然函数为

34、则似然函数为 似然函数似然函数 L()关于未知参数关于未知参数 单调减少单调减少，且其最大值，且其最大值在在 的范围内达到。的范围内达到。当当 时，似然函数时，似然函数 L()达到最大值。达到最大值。于是，参数于是，参数 的极大似然估计的极大似然估计量量为为 ，极大，极大似然估计似然估计值值为为 。例例5.11 设总体设总体 X 的密度函数为的密度函数为（0），从总体），从总体 X中抽取一组样本中抽取一组样本(X1，X2，Xn)，样本值样本值为为(x1，x2，xn)，求总体求总体期望期望 的极大似然估计的极大似然估计量量。解解 （1）先求总体参数先求总体参数 的极大似然估计量的极大似然估计量

35、：似然函数似然函数 ，（0 x i 0。两边取对数，得两边取对数，得 ，由由 ，得，得唯一驻点唯一驻点 。参数参数 的极大似然估计的极大似然估计量量为为 。（2 2）再求总体期望）再求总体期望 的极大似然估计量的极大似然估计量 ：，此函数此函数存存在在 的单值反函数的单值反函数，总体期望总体期望 的极大似然估计量为的极大似然估计量为 .极大似然估计法有许多极大似然估计法有许多优良的性质优良的性质，因此它是一种很有用，因此它是一种很有用的估计方法。的估计方法。但是但是，在求极大似然估计时，在求极大似然估计时，必须知道总体的分必须知道总体的分布布，而且似然方程组的解有时也不容易求，因而使它在应用上

36、，而且似然方程组的解有时也不容易求，因而使它在应用上受到了一定的受到了一定的限制限制。二、二、矩估计矩估计 1、矩估计法的基本思想、矩估计法的基本思想 除极大似然估计法外，矩估计法也是求点估计常用的方法除极大似然估计法外，矩估计法也是求点估计常用的方法.矩估计法的矩估计法的基本思想基本思想是（是（P.157）：用相应的样本矩去估：用相应的样本矩去估计总体矩；用相应的样本矩的函数去估计总体矩的计总体矩；用相应的样本矩的函数去估计总体矩的相同相同函数。函数。例如，例如，设总体设总体 X e()，则则 。于是，总体均值的矩。于是，总体均值的矩估计量为估计量为 ，总体未知参数，总体未知参数 的矩估计量

37、为的矩估计量为 .总体总体 k（k 0）阶原点矩阶原点矩为：为：k=EXk（1=EX），），总体总体 k（k 0）阶中心矩阶中心矩为：为：k=E(X EX)k（1=0，2=DX）。样本样本（X1，X2，Xn）则则 样本样本 k（k 0）阶原点矩阶原点矩为：为：（A1=X），样本样本 k（k 0）阶中心矩阶中心矩为：为：（B2=S02）,其中其中 。利用矩估计法，就是用样本的利用矩估计法，就是用样本的 k 阶原点矩去估计总体的阶原点矩去估计总体的 k 阶原点矩；用样本的阶原点矩；用样本的 k 阶中心矩去估计阶中心矩去估计总体的总体的 k 阶中心矩，阶中心矩，即即 ，k=1，2，；，k=2，3，。

38、这种求点估计的方法称为这种求点估计的方法称为矩估计法矩估计法。用矩估计法确定的估。用矩估计法确定的估计量称为计量称为矩估计量矩估计量，相应的估计值称为，相应的估计值称为矩估计值矩估计值。矩估计量与。矩估计量与矩估计值统称为矩估计值统称为矩估计矩估计，简记为，简记为 M E（Moment Estimate）。）。在实际应用中在实际应用中，大部分情况下是求总体期望大部分情况下是求总体期望 EX 和方差和方差 DX 的矩估计量：的矩估计量：；，其中其中 为样本均值。为样本均值。矩估计法是一种古老的估计方法。其矩估计法是一种古老的估计方法。其特点特点是不要求已知总是不要求已知总体分布的类型，只要未知参

39、数可以表示成总体矩的函数，就能体分布的类型，只要未知参数可以表示成总体矩的函数，就能够求出未知参数的矩估计。够求出未知参数的矩估计。矩估计法的思路自然，且不一定需要知道总体分布的类型，矩估计法的思路自然，且不一定需要知道总体分布的类型，因而有着广泛的应用。因而有着广泛的应用。但是但是，当样本容量当样本容量 n 较大时较大时，所得到的矩估计值的，所得到的矩估计值的精度精度一一般不如极大似然估计值的精度高；般不如极大似然估计值的精度高；当总体分布的类型已知时当总体分布的类型已知时，采用矩估计法不能够充分利用总体分布所提供的信息，损失了采用矩估计法不能够充分利用总体分布所提供的信息，损失了有用的信息

40、。有用的信息。另外，矩估计有时还另外，矩估计有时还不具有不具有唯一性，唯一性，例如例如，设总体，设总体X P()，则则 EX=DX=。于是，未知参数于是，未知参数 的矩估计量为的矩估计量为 ，或，或 ，其中，其中 为样本均值。为样本均值。2、矩估计的求法、矩估计的求法 按照矩估计法的基本思想，求按照矩估计法的基本思想，求未知参数未知参数的矩估计的的矩估计的一般步一般步骤骤为（为（P.158）：（1）从总体矩入手，将待估参数从总体矩入手，将待估参数 表示为总体矩的函数，表示为总体矩的函数，即即 =g(1,2,l;1,2,s)；（2）用样本矩用样本矩 Ak，Bk（k=1，2，）分别替换函数分别替换

41、函数g g()中的总体矩中的总体矩 k，k.(3)得到参数得到参数 的矩估计（的矩估计（ME），即即 其中其中 是未知参数，（是未知参数，（X1，X2，Xn）是来自总是来自总体体 X 的样本，求参数的样本，求参数 的矩估计量。的矩估计量。解解 求矩估计量求矩估计量 找出参数找出参数 与总体矩（数学期望、方差等）之间的关系与总体矩（数学期望、方差等）之间的关系 E X=0 2+1 2 (1 )+2 2+3 (1 2 )=3 4 。求总体求总体期望期望 E X 的的矩估计量以及参数矩估计量以及参数 的矩估计量的矩估计量 例例5.14（续例（续例 5.8）设总体设总体 X 的概率的概率分布为分布为

42、求总体求总体期望期望 E X 的的矩估计量以及参数矩估计量以及参数 的矩估计量的矩估计量 又又 总体期望总体期望 E X 的矩估计量是的矩估计量是 ，其中，其中 未知参数未知参数 的矩估计量是的矩估计量是 ，其中其中 。例例5.15 设总体设总体 X 具有密度函数具有密度函数（其中（其中 为未知参数，且为未知参数，且 1），取自总体的样本为），取自总体的样本为（X1，X2，Xn），），求求 的矩估计量。的矩估计量。解解 首先首先找出参数找出参数 与总体矩（数学期望、方差等）之间与总体矩（数学期望、方差等）之间的关系的关系 ，再再求总体求总体期望期望 E X 的的矩估计量，矩估计量，最终最终得到

43、得到 的矩的矩估计量估计量 又又 ，.例例5.18*设总体设总体 X 服从服从 分布，其密度函数为分布，其密度函数为 ，其中参数，其中参数 ，未知，未知，(X1,X2,Xn）为取自总体为取自总体 X 的样本，求的样本，求 ，的矩估计量。的矩估计量。注注：此题含有两个未知参数此题含有两个未知参数 和和 ，需要求，需要求 EX 和和 EX2（或或 DX）；）；求解过程中需要用到求解过程中需要用到 函数的有关知识：函数的有关知识：；且有且有 (+1)=()。解解 由由 ，解得，解得 ，且有关系式且有关系式 =EX 。；有有 (+1)=()。又又 总体期望总体期望 EX 和方差和方差 DX 的矩估计量

44、分别为的矩估计量分别为 和和 ，其中，其中 。参数参数 和和 的矩估计量分别为的矩估计量分别为 和和 ，其中，其中 。作业 P159:1(1),(4).5.3 置信区间置信区间 点估计点估计就是用就是用数轴上的数轴上的一个点去估计总体的未知参数一个点去估计总体的未知参数 。可见，利用点估计是可见，利用点估计是不能够不能够直接提供估计误差的。直接提供估计误差的。在有些情况下，人们并在有些情况下，人们并不满足不满足于这种只找出未知参数于这种只找出未知参数 的的某一个某一个近似值近似值的做法，人们还的做法，人们还关心关心这种近似的这种近似的精度精度有多高，即有多高，即 需要指出用估计值需要指出用估计

45、值 去估计未知参数去估计未知参数 的误差范围有多大的误差范围有多大？同时还需要指出这个误差范围能以多大的概率包含未知同时还需要指出这个误差范围能以多大的概率包含未知参数参数？这些问题的解决需要引入另一类估计问题这些问题的解决需要引入另一类估计问题区间估计区间估计。在区间估计的理论中，被广泛接受的一种观点是在区间估计的理论中，被广泛接受的一种观点是置信区间置信区间，它是由奈曼（它是由奈曼（Neyman）于）于 1934 年提出的。年提出的。一、置信区间的概念一、置信区间的概念 定义定义 5.5（P.155）设设 为总体分布的未知参数，为总体分布的未知参数，,（X1，X2，Xn）为来自总体为来自总

46、体 X 的样本。对给定的数的样本。对给定的数 1 （0 1），如果存在），如果存在两个统计量两个统计量 (X1,X2,Xn)和和(X1,X2,Xn)，使得使得 P()=1 ，则称区间则称区间 I=（,）为参数为参数 的的置信度为置信度为 1 的置信区的置信区间间，(X1,X2,Xn)和和(X1,X2,Xn)分别称为参数分别称为参数 的置信度为的置信度为 1 的的置信下限置信下限和和置信上限置信上限，1 称为称为置信度置信度（置信系数、置信概率置信系数、置信概率），），是参数估计不准的概率。是参数估计不准的概率。注注：置信区间的两个端点置信区间的两个端点 (X1,X2,Xn)和和(X1,X2,X

47、n)不依赖于参数不依赖于参数 的随机变量，因而置信区间的随机变量，因而置信区间 I=（,）是一个是一个随机区间随机区间，由样本值来确定。这个随机区，由样本值来确定。这个随机区间是置信区间的一个实现间是置信区间的一个实现,它能够它能够套住套住参数参数 的概率就是置信的概率就是置信度度 1 ，套不住参数，套不住参数 的概率为的概率为 。置信度。置信度1 通常取为通常取为 0.90，0.95 和和 0.99。用频率来解释就是用频率来解释就是：如果重复试验了：如果重复试验了 100 次，得到样本次，得到样本（X1，X2，Xn）的的 100 个实现值，相应地可以得到个实现值，相应地可以得到 100 个置

48、信区间值（个置信区间值（,），则在这），则在这 100 个区间中，大约有个区间中，大约有 100(1 )个区间包含有未知参数个区间包含有未知参数 ，不包含未知参数，不包含未知参数 的区间的区间大约有大约有 100 个。个。如果令如果令 =0.05，在上述，在上述 100 个区间中，大个区间中，大约有约有 95 个区间包含有参数个区间包含有参数 ，大约有，大约有 5 个区间不包含有参数个区间不包含有参数 。当得到一组样本值（当得到一组样本值（x1，x2，xn）以后，置信区间以后，置信区间 I=（(x1,x2,xn),(x1,x2,xn)）就是一个确定的就是一个确定的普通区间了，其具体位置也就确定

49、下来了普通区间了，其具体位置也就确定下来了(实现实现)。在这个确定的。在这个确定的区间中，可能包含参数区间中，可能包含参数 ，也可能不包含参数，也可能不包含参数 。未知参数。未知参数 落入置信区间的可能性是置信度落入置信区间的可能性是置信度 1 。与与 的差的差 称为置信区间的称为置信区间的长度长度，它的大小反，它的大小反映了区间估计的估计映了区间估计的估计误差误差（精度精度）：）：区间区间越长越长，该区间包含参数，该区间包含参数 的可能性就越大（置信度的可能性就越大（置信度就就越高越高），估计的误差），估计的误差也就越也就越大大（估计精度（估计精度降低降低）；）；区间越短，该区间包含参数区间

50、越短，该区间包含参数 的可能性就越小（置信度的可能性就越小（置信度就就越低），估计误差越低），估计误差也就越也就越小（估计精度有所提高小（估计精度有所提高 ）。人们总是希望置信区间（人们总是希望置信区间（,）的长度越短越好）的长度越短越好（以缩小估计的误差，提高估计的精度），同时也希望置信区（以缩小估计的误差，提高估计的精度），同时也希望置信区间（间（,）中包含参数）中包含参数 的置信度的置信度 1 越高越好（以提越高越好（以提高估计的可靠性高估计的可靠性.二者是二者是相互矛盾相互矛盾的。的。当样本容量当样本容量 n 一定时一定时，置信度，置信度 1 越高越高，置信区间（，置信区间（,）的长度