点估计的几种方法.ppt

上一章介绍的抽样和抽样分布已为讨论统计推断上一章介绍的抽样和抽样分布已为讨论统计推断打下了必要的理论基础。何谓统计推断？就是利用打下了必要的理论基础。何谓统计推断？就是利用资资料提供的信息，做出尽可能精确和可靠的结论。严格料提供的信息，做出尽可能精确和可靠的结论。严格地说，就是从总体中抽取一个样本获得信息后，对地说，就是从总体中抽取一个样本获得信息后，对总体做出推断。由于信息的有限性和样本的随机性总体做出推断。由于信息的有限性和样本的随机性,做出的推断不可能绝对准确，总会有一定程度的不确做出的推断不可能绝对准确，总会有一定程度的不确定性，而所出现的不确定性可以用概率的大小来衡量。定性，而所出现的不确定性可以用概率的大小来衡量。于是，我们称伴有一定概率的推断为于是，我们称伴有一定概率的推断为统计推断统计推断（statistical inference）现在我们来介绍一类重要的统计推断问题现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数来估计总体的某些参数或者参数的某些函数.估计废品率估计废品率估计新生儿的平均体重估计新生儿的平均体重估计湖中鱼数估计湖中鱼数 估计平均降雨量估计平均降雨量6.1 点估计的几种方法6.2 点估计的评价标准6.3 最小方差无偏估计6.4 贝叶斯估计6.5 区间估计 一般常用一般常用 表示参数，参数表示参数，参数 所有可能取值组所有可能取值组成的集合称为成的集合称为参数空间，参数空间，常用常用 表示。参数估表示。参数估计问题就是根据样本对上述各种未知参数作出计问题就是根据样本对上述各种未知参数作出估计。估计。参数估计的形式有两种：参数估计的形式有两种：点估计与区间估计点估计与区间估计。设设 x1,x2,xn 是来自总体是来自总体 X 的一个样本，的一个样本，我们用一个统计量我们用一个统计量 的取值作的取值作为为 的估计值，的估计值，称为称为 的的点估计（量）点估计（量），简简称称估计估计。在这里如何构造统计量在这里如何构造统计量 并没有明并没有明确的规定，只要它满足一定的合理性即可。确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：这就涉及到两个问题：其一其一 是如何给出估计，即估计的是如何给出估计，即估计的方法问题；方法问题；其二其二 是如何对不同的估计进行评价，即估是如何对不同的估计进行评价，即估 计的计的好坏判断标准。好坏判断标准。常用的主要有如下常用的主要有如下两种：两种：矩估计法和最大似然估计法矩估计法和最大似然估计法.6.1 点估计的几种方法点估计的几种方法 替换原理和矩法估计 一、矩法估计 替换原理是指用样本矩及其函数去替换原理是指用样本矩及其函数去替换替换相应的相应的总体矩及其函数，譬如：总体矩及其函数，譬如：用样本均值估计总体均值用样本均值估计总体均值E(X)，即即 ；用样本方差估计总体方差用样本方差估计总体方差Var(X)，即即用样本的用样本的 p 分位数估计总体的分位数估计总体的 p 分位数，分位数，用样本中位数估计总体中位数用样本中位数估计总体中位数。对某型号的对某型号的20辆汽车记录其每加仑汽油的行驶里辆汽车记录其每加仑汽油的行驶里程程(km)，观测数据如下：观测数据如下：29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 矩法估计的实质是用经验分布函数去替换总矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是大数定律。体分布，其理论基础是大数定律。由此给出总体均值、方差和中位数的估计由此给出总体均值、方差和中位数的估计分别为分别为:28.695,0.9185 和和 28.6。二、概率函数二、概率函数P(x,)已知时未知参数的矩法估计已知时未知参数的矩法估计 设总体具有已知的概率函数设总体具有已知的概率函数 P(x,1,k)，x1,x2,xn 是样本，假定总体的是样本，假定总体的k阶原点矩阶原点矩 k k存在，若存在，若 1,k 能够表示成能够表示成 1,k 的函数的函数 j=j(1,k)，则可给出诸则可给出诸 j 的矩法估计为的矩法估计为 矩法的步骤：矩法的步骤：设总体设总体X的分布为的分布为F(x;1,2,k)，k个参数个参数1,2,k待待估计，估计，(X1,X2,Xn)是一个样本是一个样本。(1)计算总体分布的计算总体分布的i阶原点矩阶原点矩E(Xi)=i(1,2,k)，i=1,2,k，(计算到计算到k阶矩为止，阶矩为止，k个参数个参数)；(2)列方程列方程从中解出方程组的解，记为从中解出方程组的解，记为则则分别为参数分别为参数1,2,k的矩估计。的矩估计。例例 设总体服从指数分布，由于设总体服从指数分布，由于EX=1/，即即 =1/EX，故故 的矩法估计为的矩法估计为s 为样本标准差。这说明矩估计可能是不唯一的，为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。低阶矩给出未知参数的估计。另外，由于另外，由于Var(X)=1/2.因此，从替换原理来看，因此，从替换原理来看，的矩法估计也可取为的矩法估计也可取为例例 x1,x2,xn是是来来自自(a,b)上上的的均均匀匀分分布布U(a,b)的的样样本本，a与与b均均是是未未知知参参数数，求求a,b的矩估计。的矩估计。补例补例1 设总体设总体X的均值为的均值为，方差为方差为2，均未知。，均未知。(X1,X2,Xn)是总体的一个样本，求是总体的一个样本，求和和2的矩估计。的矩估计。解解:令令解得矩法估计量为解得矩法估计量为 极(最)大似然估计 定义定义 设总体的概率函数为设总体的概率函数为P(x;)，是参数是参数 可能取值的参数空间，可能取值的参数空间，x1,x2,xn 是样是样本，将样本的联合概率函数看成本，将样本的联合概率函数看成 的函数，的函数，用用L(;x1,x2,xn)表示，简记为表示，简记为L()，称为样本的称为样本的似然函数似然函数。有。有极大似然估计法的基本思想极大似然估计法的基本思想 一般说，事件一般说，事件A发生的概率与参数发生的概率与参数 有关，有关，取取值不同，则值不同，则P(A)也不同。因而应记也不同。因而应记事件事件A发生的概率发生的概率为为P(A|)。若若A发生了，则认为此时的发生了，则认为此时的 值应是在值应是在 中中使使P(A|)达到最大的那一个达到最大的那一个。这就是极大似然思想。这就是极大似然思想。使得取该样本值发生的可能性最大。使得取该样本值发生的可能性最大。由样本的具体取值，选择参数由样本的具体取值，选择参数的估计量的估计量如果某统计量如果某统计量 满足满足 则称则称 是是 的的极极(最最)大似然估计大似然估计，简记为简记为MLE（Maximum Likelihood Estimate）。求极大似然估计通常分如下两种情形：求极大似然估计通常分如下两种情形：1.1.总体总体X X 的取值范围与未知参数无关；的取值范围与未知参数无关；2.2.总体总体X X 的取值范围与未知参数有关。的取值范围与未知参数有关。求极大似然估计的步骤求极大似然估计的步骤设总体设总体X的分布中，有的分布中，有m个未知参数个未知参数1,2,m，它们，它们的取值范围的取值范围。(1)写出似然函数写出似然函数L的表达式的表达式如果如果X是离散型随机变量，分布律为是离散型随机变量，分布律为P(X=k)，则则如果如果X是连续型随机变量，密度函数为是连续型随机变量，密度函数为f(x)，则则(2)在在 内求出使得似然函数内求出使得似然函数L达到最大的参数的估计值达到最大的参数的估计值它们就是未知参数它们就是未知参数1,2,m的极大似然估计。的极大似然估计。一般地，一般地，总体总体X 的取值范围与未知参数无关的取值范围与未知参数无关,先先将似然函数取对数将似然函数取对数lnL，然后令然后令lnL关于关于1,2,m的的偏导数为偏导数为0，得方程组，得方程组从中解出从中解出例 设一个试验有三种可能结果，其发生概率分别为现做了n次试验，观测到三种结果发生的次数分别为 n1,n2 ,n3(n1+n2+n3=n)。求的最大似然估计。例例6.1.7 设设(X1,X2,Xn)是来自正态总体是来自正态总体XN(,2)的一的一个样本，个样本，,2未知，求未知，求,2的极大似然估计。的极大似然估计。解解 设设(x1,x2,xn)为样本为样本(X1,X2,Xn)的一个观察值，则的一个观察值，则似然函数为似然函数为解得解得所以所以,2的极大似然估计量分别为的极大似然估计量分别为思考：当思考：当已知已知时，时，虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。例 设 x1,x2,xn 是来自均匀总体 U(0,)的样本，试求 的极大似然估计。补例补例 设设XUa,b，a,b未知，未知，(X1,X2,Xn)是总体是总体X的一个的一个样本，求样本，求a,b的极大似然估计。的极大似然估计。解解 X的密度函数为的密度函数为设设(x1,x2,xn)为样本为样本(X1,X2,Xn)的一个观察值，则似然函数的一个观察值，则似然函数由于由于L(a,b)是是 b-a的单调减函数的单调减函数,所以所以b应尽可能小应尽可能小,a应尽可能应尽可能大大。所以。所以 极大似然估计有一个简单而有用的性质：如果 是 的极大似然估计，则对任一函数 g()，其极大似然估计为 。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。例 设 x1,x2 ,xn是来自正态总体N(,2)的样本，则和 2的极大似然估计为 ，于是由不变性可得如下参数的极大似然估计，它们是:标准差 的MLE是 ；概率 的MLE是 ；总体0.90分位数 x0.90=+u0.90 的MLE是 ，其中u0.90为标准正态分布的0.90分位数。