概率论与数理统计(叶慈南 刘锡平 科学出版社)第7章 参数估计教程.pdf

《概率论与数理统计(叶慈南 刘锡平 科学出版社)第7章 参数估计教程.pdf》由会员分享，可在线阅读，更多相关《概率论与数理统计(叶慈南 刘锡平 科学出版社)第7章 参数估计教程.pdf（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、17.1 求点估计的方法求点估计的方法7.2 点估计的评价标准点估计的评价标准7.3 区间估计区间估计参数估计Ch72总体总体样样本本统计量统计量描述描述作出推断作出推断随机抽样随机抽样3点估计点估计区间估计区间估计参数估参数估计计假设检验假设检验统计推断统计推断7.1 点估计点估计在参数估计问题中，假定总体分布在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个形式已知，未知的仅仅是一个或几个参数参数.41.65 1.67 1.68 1.78 1.69若估计为若估计为1.68，这是这是点估计点估计.这是这是区间估计区间估计.若估计若估计在区间在区间1.57,1.84内，内，假如我们

2、要估计某班男生的平均身高假如我们要估计某班男生的平均身高.从该总体选取容量为从该总体选取容量为5的样本的样本,样本值为样本值为5点估计点估计：设总体：设总体X的分布类型已知，的分布类型已知，但有未知参但有未知参数数，构造一个适当的统计量：，构造一个适当的统计量：),(1nXX L=称为参数称为参数的的估计量估计量 把样本值代入把样本值代入),(1nXX L=，得到的一个值：，得到的一个值：),(1nxx L=称为参数称为参数的的估计值估计值 注：注：由于由于),(1nxx L是实数域上的一个点，现用它来是实数域上的一个点，现用它来估计估计，故称这种估计为，故称这种估计为点估计点估计。6引例引例

3、 已知某已知某地地区区新新生生婴儿婴儿的体的体重重X),(2N,2未知随机抽随机抽查查100个个婴儿婴儿得得100个体个体重重数数据据10,7,6,6.5,5,5.2,呢呢?据此据此,我们我们应应如如何何估计估计和和而全部信息就而全部信息就由这由这100个数个数组成组成.7,)(=XE我们知我们知道道,服服从从正态正态分布分布,.),(2XvrN的由由大大数定数定律律,=PniiXnX11自然想自然想到把样本体到把样本体重重的平均值作为总体平均的平均值作为总体平均体体重重的一个估计的一个估计.22估计S类类似地似地，用样本体，用样本体重重的的方差方差.,估计X用样本体用样本体重重的均值的均值,

4、11=niiXnX=niiXXnS122)(11样本体样本体重重的平均值的平均值8=其它其它,010,)(1xxxf如：如：(1)设设)(PX，未知未知 X22)1()1(2kp123(未知未知)(未知未知)(2)(3)参数的参数的概念可以拓广概念可以拓广，还可以还可以是未知参数的是未知参数的函函数数、总体的数总体的数字特征及相关字特征及相关的的概率等概率等.9寻求估计量的方法寻求估计量的方法1.矩矩估计估计法法2.最大似然法最大似然法3.最小二乘法最小二乘法4.贝叶斯方法贝叶斯方法这这里里我们我们主主要要介绍前面两介绍前面两种种方法方法.10(一一)矩矩估计估计法法(简简称称“矩法矩法”)基

5、基本本思想思想:用样本用样本矩矩估计估计总体总体矩矩.理论依据理论依据:大大数定数定律律它是它是基基于一种于一种简单简单的的“替换替换”思想思想建立起建立起来的一种估计来的一种估计方法方法.英国英国统计统计学家学家 K.皮尔逊皮尔逊 最早提最早提出的出的.=nikikXnA11)(kkPXE=),.,(),.,(11rPrgAAg=依概率收敛性质依概率收敛性质:11待待估参数估参数),.,(1rg=，则则),.,(1rAAg=为为的的矩矩估计量估计量 其观察其观察值称为值称为的的矩矩估计值估计值 用用相应相应的样本的样本矩去矩去估计总体估计总体矩矩的估计的估计方法方法就就称为称为矩矩估计估计法

6、法.12X1,X2,Xn是取是取自自X的样本的样本,求求参数的参数的矩矩估计估计.解解:dxxxXE)1()(101+=21)1(110+=+=+dxx样本样本矩矩总体总体矩矩XX=112的的矩矩估计估计.为为数数学学期望期望是一是一阶阶原原点点矩矩例例p185设总体设总体X的的概率概率密度密度为为11112=解解得得:13例例p186设总体设总体X的均值的均值和方差和方差2)0(2都都存存在在,但但2,未知未知,又又设设nXX,1L是来是来自自X的的样本，样本，求求2,的的矩矩估计量。估计量。推推论论：无无论论X服服从从什么什么分布，总体分布，总体k阶阶中中心心矩矩的的矩矩估计量为样本估计量

7、为样本k阶阶中中心心矩矩即即由由矩法矩法总有：总有：kkkkBmA=,14例例 随机的抽随机的抽查查某某校校的的7名名学学生，生，测测得得他他们的们的裸眼视力裸眼视力分分别别为：为：1.0,1.2,0.6,1.2,0.9,1.5,2.0，则则总体均值总体均值及方差及方差2的的矩矩估计值分估计值分别别为为=，=2 15例例p187 设总体设总体 XU(a,b),X1,X2,Xn是是来来自自X 的样本的样本,(1)若若a,b未知，未知，求求参数参数 a,b 的的矩矩估计量估计量；(2)若已知若已知a=0,求求b的的矩矩估估计量。计量。16（一）矩估计法（一）矩估计法（二）最大似然估计法（二）最大似

8、然估计法基基本本思想思想：用：用样本样本矩矩估计估计总体总体矩矩基基本本思想思想：17最大似然最大似然估计估计法法(最大似然法最大似然法)它它首先首先是由是由德德国国数数学家学家高高斯斯在在1821年年提提出的出的,GaussFisher然而然而，这个，这个方法方法常归功常归功于于英国英国统计统计学家学家费希费希尔尔(Fisher).费希费希尔尔在在1922年年重新重新发发现现了了这一这一方法方法，并首先研究了并首先研究了这 种这 种方法方法的一的一些些性质性质.18最大似然法最大似然法的的基基本本思想思想最大似然法最大似然法的的基基本本思想思想看看一个一个简单简单例例子子：一一只野兔只野兔从

9、从前方前方窜过窜过.这一这一枪枪是是谁放谁放的的？某某位同位同学学与与一一位猎人位猎人一一起起外外出出打猎打猎.如如果果要要你你估计，估计，只听只听一一声枪响声枪响，野兔野兔应应声倒下声倒下.19问题问题：设总体：设总体X是是离散离散型的，型的，其其分布分布律律形式为形式为),2,1(;L=kxXPk 未知，未知，nxxx,21L是来是来自自总体总体X的一的一组组样本样本观观察察值，用值，用最大似然法最大似然法对对做做出估计。出估计。（1）若若只能只能取取1和和2（2）若若 20最大似然法最大似然法基基本本思想思想:选选择择一个参数一个参数使使得实得实验结果具验结果具有有最大概率最大概率.L(

10、)在在何何处处取得取得最大最大？21定定义义：设总体：设总体X的分布类型已知，但有未知的分布类型已知，但有未知参数参数，现有样本，现有样本观察观察值值nxxx,.,21，)(Lmax=)(L反映反映实实验结果验结果的的可可能能性大小性大小(Maximum Likelihood Estimation)称称为为的的最大似然最大似然估计估计（MLE）22求求最大似然最大似然估计的估计的步骤步骤求求最大似然最大似然估计的估计的步骤步骤(1)做似然函数做似然函数离散离散型：型：连续连续型：型：=)(L=niixf1);();,.,()(1nxxLLL、=niixXP1;=)(L23(2)求似然函数的最大

11、值点求似然函数的最大值点)(lnLa.列似然方程列似然方程b.先取先取对数对数，再列似然方程，再列似然方程0)(ln=dLd0)(=dLd某些场合若能断定最大值在内部，并且似然方某些场合若能断定最大值在内部，并且似然方程只有一解，则其解即为程只有一解，则其解即为的的 MLE.思思考考：1)为为何何要取要取对对数数？2)(ln L与与)(L是是否否在在同同一一处处取取得得最大最大值值？24例：例：设总体设总体X具具有分布有分布律律 其其中中（10）为未知参数。已知取得为未知参数。已知取得了了样本值：样本值：1,2,1321=xxx，试求试求的的最大最大似然似然估计值。估计值。X22)1()1(2

12、kp12325例例p191设设X1,X2,Xn是取是取自自总体总体X的一个样本的一个样本-1,例例p190设总体设总体X服服从从泊松泊松分布分布P(),(X1,X2,Xn)为来为来自自总体总体X的样本的样本.求求参数参数的的最大似然最大似然估计估计.26注：注：若总体分布中含有多个未知参数，则可若总体分布中含有多个未知参数，则可解方程组解方程组.,1,0ln,0mjMLELLjjjjL=的的得出得出或或例例p191 设设),(2NX，2,未知未知,nxx,1L是来是来自自X的一个样本值的一个样本值,求求2,的的最最大似然大似然估估计计.27最大似然法最大似然法基本思想基本思想选择一个参数使得实

13、验结果具选择一个参数使得实验结果具有最大概率有最大概率)(max)(LL=步步骤骤(1)做似然函数做似然函数(2)求最大值点求最大值点28第第二二次次捕捕出的有出的有记号记号的的鱼鱼数数X是是r.v.,X具具有有超超几几何何分布：分布：,=SNkSrNkrkXP为为了了估计估计湖湖中的中的鱼鱼数数N，第第一一次次捕捕上上r条鱼条鱼，做做上上记号后记号后放放回回.隔隔一一段时段时间间后后,再捕再捕出出S条鱼条鱼,结果发结果发现这现这S条鱼条鱼中有中有k条标条标有有记号记号.根根据据这个这个信息信息，如，如何何估计估计湖湖中的中的鱼鱼数数呢呢？最最后后，我们用，我们用最大似然法最大似然法估计估计湖

14、湖中的中的鱼鱼数数),min(0rSk 29应应取取使使L(k;N)达达到到最大最大的的N，作为作为N的的最大似最大似然然估计估计.但用但用对对N求求导导的的方法相方法相当当困难困难,我们我们考考虑比虑比值：值：1;=NkXPNkXP把上式把上式右端右端看看作作N的的函函数，数，记记作作L(k;N).=SNkSrNkrkXP)()(kSrNNrNSN+=经经过过简单简单的计的计算算知，这个知，这个比比值值大大于或于或小小于于1，kSrN 而而定定.由由301;=NkXPNkXP)()(kSrNNrNSN+=这这就就是是说说，当，当N增增大大时时，序列序列PX=k;N先先是上是上升升而而后后下下

15、降降;当当N为为小小于于的的最最大大整整数数时时,达达到到最大最大值值.故故N的的最大似然最大似然估计为估计为.kSrN=kSr=SNkSrNkrkXP317.2 点估计的点估计的评价标准评价标准评价评价一个估计量的一个估计量的好坏好坏，不不能能仅仅仅仅依据依据一一次试验次试验的的结果结果，而而必须必须由由多多次试验结果次试验结果来来衡衡量量.这是这是因因为估计量是样本的为估计量是样本的函函数，是随机数，是随机变变量量.因因此此，由，由不不同同的的观观测结果测结果，就就会会求求得得不不同同的参的参数估计值数估计值.因因此此一个一个好好的估计，的估计，应应在在多多次试验次试验中中体现出体现出优良

16、优良性性.32常常用的几用的几条标准条标准是：是：1无无偏偏性性2有有效效性性3相相合合性性这这里里我们我们重重点点介绍前面两介绍前面两个个标准标准.33估计量是估计量是r.v，对对于于不不同同的样本值的样本值会会得到得到不不同同的的估计值估计值.我们我们希望希望估计值在未知参数估计值在未知参数真真值值附近波附近波动动，而而它的它的期望期望值值等等于未知参数的于未知参数的真真值值.1无无偏偏性性=)(E则则称为的称为的无无偏偏估计量估计量.),(1nXX L设设是未知参数的估计量，若是未知参数的估计量，若定定义义：真真值值.无无偏偏性性是是对对估计量的一个估计量的一个常常见见而重而重要的要要的

17、要求求.,对对于于有有34例例 设总体设总体X的的k阶阶矩矩)(kkXE=存存在，在，则则无无论论总体总体服服从从什么什么分布，分布，=nikikXnA11是是k的的无无偏偏估计估计.X是是)(XE=的的无无偏偏估计估计 2S是是)(2XD=的的无无偏偏估计估计 注：注：问问:=niiXXnB122)(1是是否否为为)(2XD=的的无无偏偏估计估计？35例例 设设X服服从从泊松泊松分布分布P(),试试证证：)10()1(21)是来自总体是来自总体X的样的样本本.考查的以下几个点考查的以下几个点估计：估计：111,niiXn=1311(1)2niniXnXn=+211kiiXk=（kn），），试

18、证：试证：23,比比都有效都有效.1 都是都是的的无偏估计量，且无偏估计量，且123,4011111()()nniiiEE Xnn=21111()()kkiiiEE Xkk=1311(1)1(1)()()()2222nininnnEE XE Xnnnn=+=+=+=证明：证明：都是都是的的无偏估计量无偏估计量;123,41221221111()()nniiiVarVar Xnnn=222221111()()()kkiiiVarVar Xknkkk=2132211(1)()()()44nininVarVar XVar Xnn=+=+2222221(1)3444nnnnnn+=+=12()()Va

19、rVar1n1时，小于号成立。时，小于号成立。23,比比都有效都有效.1 42注：注：相相合合性性是是对对一个估计量的一个估计量的基基本要本要求求，是估计量，是估计量的的大大样本样本特性特性，要，要求求当样本容量当样本容量无无限增限增大大时时，与与能能够充够充分分接近接近.若若不不具具有有相相合合性性，意味着不意味着不论论将将样本容量样本容量 n 取得取得多多大大，都都不不能能将将估计得估计得足够准确足够准确，这样的估计量，这样的估计量是是不不可可取的。取的。3相相合合性性：随着样本容量的增大，估计量的随着样本容量的增大，估计量的值更加精确，更加接近真值值更加精确，更加接近真值定定义义：,)(

20、nP则则称为的称为的相相合合估计量估计量.设是的估计量，若设是的估计量，若对对于于43X是是)(XE=的的相相合合估计量估计量 22SB、是是)(2XD=的的相相合合估计量估计量 特特别别地地，222221221221=PPBnnSAABQ=nikiknikikXXnBXnA11)(11)(kkPXE=)(kPXEXE),.,(),.,(11rPrgAAg=44前面介绍前面介绍了了参数参数点估计点估计，给给出出了了寻寻求求估计量估计量最最常常用的用的矩法矩法和和最大似然法最大似然法,并并讨讨论论了了估计量的估计量的评评选选标准标准.参数参数点估计点估计是用一个是用一个确确定的值定的值去去估计未

21、知参数估计未知参数.但是但是,点估计值仅仅是未知参数的一个点估计值仅仅是未知参数的一个近近似似值，它值，它没没有有反映反映出这个出这个近近似似值的值的误误差差范围范围，使使用用起起来把来把握不握不大大。区间估计区间估计可以可以弥补弥补这个这个缺缺陷陷.7.3 区间估计区间估计45定定义义：设总体：设总体X的分布类型已知，但有未知参数的分布类型已知，但有未知参数,对对于于给给定定（01),若由样本若由样本X1,Xn确确定的定的两两个个统计量统计量使使21,121P则则称区间称区间为为 的的置置信信水水平平为为1的的置置信信区间区间),(2121,是是置置信信下下、上上限限；12 描述估计的描述估

22、计的精精度度 1-是是置置信信水水平，描述平，描述估计估计的的可信可信程程度度 的的真真实值实值的的真真实值实值置置信信区间区间置置信信区间区间置置信信下下限限置置信信下下限限置置信信上上限限置置信信上上限限46个左右个左右。真值的约有真值的约有个左右，不包含个左右，不包含真值的约有真值的约有个区间中包含个区间中包含次，则在得到的次，则在得到的这时重复抽样这时重复抽样例如：若置信水平例如：若置信水平595100100%.951=通通常常，采采用用95%的的置置信信水水平，有平，有时也时也取取99%或或90%注注:1、置置信信区间区间是一个随机区间是一个随机区间,它它能能以以足够足够大大的的概率

23、概率（1-）套住套住未知参数的未知参数的真真值。值。2、置置信信区间的区间的观观测测值值,是一个是一个普通普通区间区间,也也称称置置信信区区间。间。),(21471.1.方差已知时均值的区间估计方差已知时均值的区间估计方差已知时均值的区间估计方差已知时均值的区间估计设设),(2NX，2已 知已 知,未 知，样 本未 知，样 本nXX,1L，求求的的置置信信水水平为平为1置置信信区间区间.思思考考：为为什么什么取取两两侧侧对对称称？答答：在在置置信信水水平平相相同同的的前提前提下下，只只有在有在置置信信限限对对称的称的时时候候，置置信信区间区间才才最小最小，即即精精度度最最高高。注注:置置信信区

24、间区间不不唯唯一一),(2/12/1+unXunX)(2/1 unX记为记为（一）单个正态总体（一）单个正态总体48例例 已知已知幼幼儿儿身高身高服服从从正态正态分布，现从分布，现从5 6岁岁的的幼幼儿儿中随机中随机地地抽抽查查了了9人人，其其高高度度分分别别为：为：115,120,131,115,109,115,115,105,110cm;%957，置信水平为，置信水平为假设标准差假设标准差=的置信区间的置信区间。试求总体均值试求总体均值49区间估计区间估计的一的一般般求求法法),(21（1）寻寻求求枢轴枢轴量量);,(1nXXWL 除除外外不不含含其其他他未知参数未知参数 W分布分布确确定

25、定（2）选选择择两两点，点，使使=1bWaP 21bWa50枢轴枢轴量量仅仅含含有一个未知参数，但有一个未知参数，但其其分布已知的样分布已知的样本的本的函函数称为数称为枢轴枢轴量量如：设如：设X1,X2,Xn是取是取自正态自正态总体总体),(2N的样本的样本,2SX和分分别别为样本均值为样本均值和和样本样本方差方差,则则有有22211nii(X)(n)=已知，已知，21 t(TnXn)S=未知，未知，2N(0,1)XUn=已知，已知，212222111nii(n)S(X(n)X)=未知，未知，估计估计:估计估计2 2:51)1(2/1ntnSX置信区间置信区间:)1(/T=ntnSX 1)1(

26、2/1，=ntTp)1(2nt)1(021nt1-=+1)1()1(2/12/1nsntXnsntXp即得即得枢轴枢轴量量2.2.方差未知时均值的区间估计方差未知时均值的区间估计方差未知时均值的区间估计方差未知时均值的区间估计则则52例例 一一批电线长批电线长度度),(2NX,随机抽取随机抽取 6 根根 0.146 0.151 0.149 0.148 0.152 0.151 i)62106=ii)2未知未知 求求的的置置信信水水平为平为99的的置置信信区间。区间。53枢轴枢轴量量)1(1)S-(n222n)1(221n)1(22n)(xfx=1)1(1)S-(n)1(P2/21222/2nn=

27、1)1(1)S-(n)1(1)S-(nP2/2222/212nn则则可得可得13.3.均值未知时方差的区间估计均值未知时方差的区间估计均值未知时方差的区间估计均值未知时方差的区间估计54 )1()1(,)1()1(2/222/212nSnnSn2的置信区间的置信区间的置信区间的置信区间 )1()1(,)1()1(2/222/212nSnnSn=11P),(2111nXXXL=满足满足设是 一个设是 一个待待估参数，估参数，给给定定),10(若由样本若由样本X1,X2,Xn确确定的统计量定的统计量称是的称是的置置信信水水平为平为的的单单侧置侧置信信下下限限;11(三三)单侧置信限单侧置信限又又若

28、统计量若统计量满足满足),(2122nXXXL=12P称是的称是的置置信信水水平为平为的的单单侧置侧置信信上上限限.2157例例:的的单单侧侧区间估计区间估计（2未知未知）)1(/T=ntnSX)1(01nt1-枢轴枢轴量量=1)1(1ntnSXP(1)的的单单侧置侧置信信下下限限：)1(11=ntnSX58=1)1(/1ntnSXP即即=+1)1(1ntnSXP(2)的的单单侧置侧置信信上上限限：)1(12+=ntnSX)1(nt1-59设设灯泡寿命灯泡寿命服服从从正态正态分布分布.求求灯泡寿命灯泡寿命均均值的值的置置信信水水平为平为0.95的的单单侧置侧置信信下下限限.例例 从一从一批灯泡

29、批灯泡中随机抽取中随机抽取5只只作作寿命寿命试验试验，测测得得寿命寿命X（单单位位：小小时时）如如下下：1050，1100，1120，1250，128060一个一个正态正态总体均值总体均值、方差、方差的的置置信信区间区间与与单单侧置侧置信信限限p207置置信信区间区间待待估参数估参数枢轴枢轴量的分布量的分布其其它参数它参数单单侧置侧置信信限限22已知已知2未知未知未知未知)(2/1 unX)1()1(222nSn)1(/ntnSX)1,0(/NnX)1(2/1ntnSX)1()1(,)1()1(22/222/12nSnnSn+=12unX=11unX)1(12+=ntnSX)1(11=ntnSX)1()1(21221=nSn)1()1(2222=nSn