[统计]第7章-参数估计—第1节-点估计.ppt

《[统计]第7章-参数估计—第1节-点估计.ppt》由会员分享，可在线阅读，更多相关《[统计]第7章-参数估计—第1节-点估计.ppt（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第一节第一节 参数的点估计参数的点估计点估计概念点估计概念求估计量的方法求估计量的方法课堂练习课堂练习小结小结 布置作业布置作业 引言引言 上一讲，我们介绍了总体、样本、简上一讲，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概念，单随机样本、统计量和抽样分布的概念，介绍了统计中常用的三大分布，给出了几介绍了统计中常用的三大分布，给出了几个重要的抽样分布定理个重要的抽样分布定理.它们是进一步它们是进一步学习统计推断的基础学习统计推断的基础.总体总体样本样本统计量统计量描述描述作出推断作出推断研究统计量的性质和评价一个统计推断的研究统计量的性质和评价一个统计推断的优良性，完全取决于其优良

2、性，完全取决于其抽样分布抽样分布的性质的性质.随机抽样随机抽样 现在我们来介绍一类重要的统计推断问题现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息来估参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数计总体的某些参数或者参数的某些函数.参数估计参数估计估计废品率估计废品率估计新生儿的体重估计新生儿的体重估计湖中鱼数估计湖中鱼数 估计降雨量估计降雨量在参数估计问题在参数估计问题中，假定总体分中，假定总体分布形式已知，未布形式已知，未知的仅仅是一个知的仅仅是一个或几个参数或几个参数.这类问题称为这类问题称为参数估计参数估计.参数估计问题的一般

3、提法参数估计问题的一般提法X1,X2,Xn要依据该样本对参数要依据该样本对参数作出估计作出估计,或估计或估计的某个已知函数的某个已知函数 .现从该总体抽样，得样本现从该总体抽样，得样本 设有一个统计总体设有一个统计总体,总体的分布函数总体的分布函数为为F(x,)，其中，其中 为未知参数为未知参数(可以是向量可以是向量).参数估计参数估计点估计点估计区间估计区间估计（假定身高服从正态分布（假定身高服从正态分布 ）设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69 估计估计 为为1.68，这是这是点估计点估计.这是这是区间估计区间估计.估计估计 在区间在区间 1.57,1.8

4、4 内，内，例如我们要估计某队男生的平均身高例如我们要估计某队男生的平均身高.现从该总体选取容量为现从该总体选取容量为5的样本，我们的任务的样本，我们的任务是要根据选出的样本（是要根据选出的样本（5个数）求出总体均值个数）求出总体均值 的的估计估计.而全部信息就由这而全部信息就由这5个数组成个数组成.一、点估计概念一、点估计概念随机抽查随机抽查100个婴儿个婴儿 ,得得100个体重数据个体重数据 10,7,6,6.5,5,5.2,呢呢?据此据此,我们应如何估计我们应如何估计和和而全部信息就由这而全部信息就由这100个数组成个数组成.例例1 已知某地区新生婴儿的体重已知某地区新生婴儿的体重 ,未

5、知未知 为估计为估计 :我们需要构造出适当的样本的函数我们需要构造出适当的样本的函数 T(X1,X2,Xn)，每当有了样本，就代入该函数中算出一个值，用每当有了样本，就代入该函数中算出一个值，用来作为来作为 的估计值的估计值.把样本值代入把样本值代入T(X1,X2,Xn)中，中，估计值估计值.T(X1,X2,Xn)称为参数称为参数的的点估计量点估计量，得到得到 的一个的一个点点我们知道我们知道,若若 ,由大数定律由大数定律,自然想到把样本体重的平均值作为总体平均体重的一自然想到把样本体重的平均值作为总体平均体重的一个估计个估计.样本体重的平均值样本体重的平均值则则 .用样本体重的均值用样本体重

6、的均值 估计估计 .类似地，用样本体重的方差类似地，用样本体重的方差 估计估计 .使用什么样的统计量去估计使用什么样的统计量去估计？可以用样本均值可以用样本均值;也可以用样本中位数也可以用样本中位数;还可以用别的统计量还可以用别的统计量.问题是问题是:二、寻求估计量的方法二、寻求估计量的方法1.矩估计法矩估计法2.极大似然法极大似然法3.最小二乘法最小二乘法4.贝叶斯方法贝叶斯方法 这里我们主要介绍前面两种方法这里我们主要介绍前面两种方法.1.矩估计法矩估计法 矩估计法是英国统计学家矩估计法是英国统计学家K.皮尔逊皮尔逊最早提出来的最早提出来的.由辛钦定理由辛钦定理,若总体若总体 的数学期望的

7、数学期望 有限有限,则有则有其中其中 为连续函数为连续函数.这表明这表明,当样本容量很大时当样本容量很大时,在统计上在统计上,可以可以用用 用样本矩去估计总体矩用样本矩去估计总体矩.这一事实导出矩估计法这一事实导出矩估计法.定义定义 用样本原点矩估计相应的总体原点矩用样本原点矩估计相应的总体原点矩,又又用样本原点矩的连续函数估计相应的总体原点矩的用样本原点矩的连续函数估计相应的总体原点矩的连续函数连续函数,这种参数点估计法称为这种参数点估计法称为矩估计法矩估计法.理论依据理论依据:大数定律大数定律矩估计法的具体做法如下矩估计法的具体做法如下 设总体的分布函数中含有设总体的分布函数中含有k个未知

8、参数个未知参数 ,那么它的前那么它的前k阶矩阶矩 ,一般一般都是这都是这 k 个参数的函数个参数的函数,记为：记为：i=1,2,k从这从这 k 个方程中解出个方程中解出j=1,2,kj=1,2,k那么用诸那么用诸 的估计量的估计量 Ai 分别代替上式中的诸分别代替上式中的诸 ,即可得诸即可得诸 的的矩估计量矩估计量：矩估计量的观察值称为矩估计量的观察值称为矩估计值矩估计值.例例2 设总体设总体 X 在在 a,b 上服从均匀分布上服从均匀分布,a,b 未知未知.是来自是来自 X 的样本的样本,试求试求 a,b 的矩估计量的矩估计量.解解 即即 解得解得于是于是 a,b 的矩估计量为的矩估计量为

9、样本矩样本矩总体矩总体矩解解 例例3 设总体设总体 X 的均值的均值 和方差和方差 都存都存在在,未知未知.是来自是来自 X 的样本的样本,试求试求 的矩估计量的矩估计量.解得解得于是于是 的矩估计量为的矩估计量为 样本矩样本矩总体矩总体矩 矩法的优点矩法的优点是简单易行是简单易行,并不需要事先知道总体并不需要事先知道总体是什么分布是什么分布.缺缺点点是是，当当总总体体类类型型已已知知时时，没没有有充充分分利利用用分分布布提提供供的的信信息息.一一般般场场合合下下,矩矩估估计计量量不不具具有有唯唯一一性性.其主要原因在于建立矩法方程时，选取那些总体其主要原因在于建立矩法方程时，选取那些总体矩用

10、相应样本矩代替带有一定的随意性矩用相应样本矩代替带有一定的随意性.稍事休息稍事休息 2.最大似然法最大似然法 它它是是在在总总体体类类型型已已知知条条件件下下使使用用的的一一种种参参数数估估计方法计方法.它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的.GaussFisher 然而然而,这个方法常这个方法常归功于英国统计学家归功于英国统计学家费歇费歇.费歇费歇在在1922年重新发现了这年重新发现了这一方法，并首先研究了这种方法一方法，并首先研究了这种方法的一些性质的一些性质.最大似然法的基本思想最大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方

11、窜过一只野兔从前方窜过.是谁打中的呢？是谁打中的呢？某位同学与一位猎人一起外某位同学与一位猎人一起外出打猎出打猎.如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下.你就会想，只发一枪便打中你就会想，只发一枪便打中,猎人命中的概率猎人命中的概率一般大于这位同学命中的概率一般大于这位同学命中的概率.看来这一枪是猎人看来这一枪是猎人射中的射中的.这个例子所作的推断已经体现了极大似然法的这个例子所作的推断已经体现了极大似然法的基本思想基本思想.最大似然估计原理：最大似然估计原理：当给定样本当给定样本X1,X2,Xn时，定义时，定义似然函数似然函

12、数为：为：设设X1,X2,Xn是取自总体是取自总体X的一个样本，样本的一个样本，样本的联合密度的联合密度(连续型）或联合分布律连续型）或联合分布律 (离散型离散型)为为 f(x1,x2,xn;).f(x1,x2,xn;)这里这里 x1,x2,xn 是样本的观察值是样本的观察值.似然函数：似然函数：最大似然估计法最大似然估计法就是用使就是用使 达到最大值的达到最大值的 去估计去估计 .称称 为为 的的最大似然估计值最大似然估计值.看作参数看作参数 的函数，它可作为的函数，它可作为 将以多大可将以多大可能产生样本值能产生样本值 x1,x2,xn 的一种度量的一种度量.f(x1,x2,xn;)而相应

13、的而相应的统计量统计量称为称为 的的最大似然估计量最大似然估计量.两点说明：两点说明：1、求似然函数、求似然函数L()的最大值点，可以应用的最大值点，可以应用微积分中的技巧。由于微积分中的技巧。由于ln(x)是是 x 的增函数的增函数,lnL()与与L()在在 的同一值处达到它的最大值，假定的同一值处达到它的最大值，假定 是一实数，且是一实数，且lnL()是是 的一个可微函数。通过的一个可微函数。通过求解方程：求解方程：可以得到可以得到 的的MLE.若若 是向量，上述方程必须用方程组代替是向量，上述方程必须用方程组代替.2、用上述求导方法求参数的、用上述求导方法求参数的MLE有时行不有时行不通

14、，这时要用最大似然原则来求通，这时要用最大似然原则来求.下面举例说明如何求最大似然估计下面举例说明如何求最大似然估计L(p)=f(x1,x2,xn;p)例例5 设设X1,X2,Xn是取自总体是取自总体 XB(1,p)的一的一个样本，求参数个样本，求参数p的最大似然估计量的最大似然估计量.解：解：似然函数似然函数为为:对数似然函数对数似然函数为：为：对对p求导并令其为求导并令其为0，=0得得即为即为 p 的的最大似然估计值最大似然估计值.从而从而 p 的的最大似然估计量最大似然估计量为为 (4)在最大值点的表达式中在最大值点的表达式中,用样本值代入用样本值代入就得参数的就得参数的最大似然估计值最

15、大似然估计值.求最大似然估计求最大似然估计(MLE)的一般步骤是：的一般步骤是：(1)由总体分布导出样本的联合分布率由总体分布导出样本的联合分布率(或联或联合密度合密度);(2)把样本联合分布率把样本联合分布率(或联合密度或联合密度)中自变中自变 量看成已知常数量看成已知常数,而把参数而把参数 看作自变量看作自变量,得到得到似然似然 函数函数L();(3)求似然函数求似然函数L()的最大值点的最大值点(常常转化常常转化为求为求ln L()的最大值点的最大值点)，即，即 的的MLE;例例6 设总体设总体 X N(),未知未知.是来自是来自 X 的样本值的样本值,试求试求 的最大似然估计量的最大似

16、然估计量.似然函数为似然函数为 解解X 的概率密度为的概率密度为 于是于是令令解得解得的最大似然估计量的最大似然估计量为为解：似然函数为解：似然函数为例例7 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的最大似然估计的最大似然估计.i=1,2,n对数似然函数为对数似然函数为解：似然函数为解：似然函数为i=1,2,n=0 (2)由由(1)得得=0 (1)对对 分别求偏导并令其为分别求偏导并令其为0,对数似然函数为对数似然函数为用求导方法无法最终确定用求导方法无法最终确定用最大似然原则来求用最大似然原则来求.对对是是故使故使 达到最大的达到最大的 即即 的的M

17、LE 于是于是 取其它值时，取其它值时，即即 为为 的的MLE.且是且是 的增函数的增函数 第二次捕出的有记号的鱼数第二次捕出的有记号的鱼数X是是r.v,X具有超具有超几何分布：几何分布：为了估计湖中的鱼数为了估计湖中的鱼数N，第一次捕上第一次捕上 r 条鱼条鱼，做上记号后放回做上记号后放回.隔一段时间后隔一段时间后,再捕出再捕出 S 条鱼条鱼,结果发现这结果发现这S条鱼中有条鱼中有k条标有记号条标有记号.根据这个信息，根据这个信息，如何估计湖中的鱼数呢？如何估计湖中的鱼数呢？最后，我们用最大似然法估计湖中的鱼数最后，我们用最大似然法估计湖中的鱼数应取使应取使L(N;k)达到最大的达到最大的N

18、，作为作为N的极大似然估计的极大似然估计.但用对但用对N求导的方法相当困难求导的方法相当困难,我们考虑比值我们考虑比值：把上式右端看作把上式右端看作 N 的函数，记作的函数，记作 L(N;k).经过简单的计算知，这个比值大于或小于经过简单的计算知，这个比值大于或小于1，或或而定而定.由由经过简单的计算知，这个比值大于或小于经过简单的计算知，这个比值大于或小于 1，或或而定而定.由由 这就是说，当这就是说，当N增大时，序列增大时，序列P(X=k;N)先是上升先是上升而后下降而后下降;当当N为小于为小于 的最大整数时的最大整数时,达到达到最大值最大值.故故N的极大似然估计为的极大似然估计为三、三、

19、课堂练习课堂练习 例例1 设总体设总体X的概率密度为的概率密度为其中其中 是未知参数是未知参数,X1,X2,Xn 是取自是取自 X 的样本的样本,求参数求参数 的矩估计的矩估计.解解 样本矩样本矩总体矩总体矩解得解得的矩估计量为的矩估计量为故故解解 由密度函数知由密度函数知例例 2 设设X1,X2,Xn是取自总体是取自总体 X 的一个样本的一个样本其中其中 0,求求 的矩估计的矩估计.具有均值为具有均值为 的指数分布的指数分布即即E(X-)=D(X-)=E(X)=D(X)=故故解得解得也就是也就是 E(X)=D(X)=的矩估计量为的矩估计量为于是于是解解 似然函数似然函数为为对数似然函数为对数

20、似然函数为例例3 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本 求求 的的最大似然估计值最大似然估计值.其中其中 0,求导并令其为求导并令其为0=0从中解得从中解得即为即为 的的最大似然估计值最大似然估计值.对数似然函数为对数似然函数为 这一讲，我们介绍了参数点估计这一讲，我们介绍了参数点估计,给出了寻求给出了寻求估计量最常用的矩法和极大似然法估计量最常用的矩法和极大似然法.参数点估计是用一个确定的值去估计未知的参数点估计是用一个确定的值去估计未知的参数参数.看来似乎精确看来似乎精确，实际上把握不大，实际上把握不大.四、小结四、小结五、布置作业五、布置作业概率论与数理统计标准化作业概率论与数理统计标准化作业(六六)