上海海事大学 概率论 第七章 参数估计(1).ppt

《上海海事大学 概率论 第七章 参数估计(1).ppt》由会员分享，可在线阅读，更多相关《上海海事大学 概率论 第七章 参数估计(1).ppt（48页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 第七章第七章 参数估计参数估计在参数估计问题中，假定总体分在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几布形式已知，未知的仅仅是一个或几个个参数参数。例如：估计大学生的平均身高估计大学生的平均身高参数估计问题的一般提法参数估计问题的一般提法现从该总体抽样，得样本现从该总体抽样，得样本设有一个统计总体，总体的分布函数设有一个统计总体，总体的分布函数向量向量).为为 F(x,)，其中，其中 为未知参数为未知参数(可以是可以是（X1,X2,Xn）要依据该样本对参数要依据该样本对参数作出估计，或估计作出估计，或估计的某个已知函数的某个已知函数 。这类问题称为：。这类问题称为：参数估计参

2、数估计参数估计点估计区间估计例例1 已知某地区已知某地区大学生的身高大学生的身高 X随机抽查随机抽查100个大学生得个大学生得100个个身高数据。身高数据。呢呢?据此据此,我们应如何估计我们应如何估计和和1 点估计点估计 为估计为估计 ,我们需要构造出适当的样本我们需要构造出适当的样本的函数的函数T(X1,X2,Xn)，每当有了样本，就，每当有了样本，就代入该函数中算出一个值，用来作为代入该函数中算出一个值，用来作为 的的估计值估计值.T(X1,X2,Xn)称为参数称为参数的点估计量，的点估计量，把样本值代入把样本值代入T(X1,X2,Xn)中，中，得到得到 的一个点估计值的一个点估计值。请注

3、意，被估计的参数请注意，被估计的参数 是一个是一个未知常数，而估计量未知常数，而估计量 T(X1,X2,Xn)是一个随机变量，是样本的函数是一个随机变量，是样本的函数,当当样本取定后，它是个已知的数值样本取定后，它是个已知的数值,这这个数常称为个数常称为 的估计值的估计值。问题是问题是:使用什么样的统计量去估计使用什么样的统计量去估计？寻求估计量的方法：1.矩估计法矩估计法2.极大似然法极大似然法3.最小最小二二乘法乘法4.贝叶斯方法贝叶斯方法1.矩估计法矩估计法矩估计法矩估计法是英国统计学家是英国统计学家K.皮尔逊皮尔逊最早提出的基于一种简单的最早提出的基于一种简单的“替换替换”思思想建立起

4、来的一种估计方法想建立起来的一种估计方法.其基本思想是其基本思想是用样本矩估计总体矩用样本矩估计总体矩。记总体记总体k阶矩为阶矩为样本样本k阶矩为阶矩为记总体记总体k阶中心矩为阶中心矩为样本样本k阶中心矩为阶中心矩为用相应的样本矩去估计总体矩的估计方法就称为矩估计法。理论依据理论依据:大数定律大数定律一般地一般地,设总体设总体X f(x;),其中其中 ,求参数求参数的矩估计的一般步骤为的矩估计的一般步骤为:1.令令2.解解:其中其中3.得得最常用的是：最常用的是：!p151 例例2 设总体设总体X的概率密度为的概率密度为是未知参数是未知参数,其中其中X1,X2,Xn是取自是取自X的样本的样本,

5、求参数求参数 的矩估计的矩估计.解解:从从 中解得中解得 的矩估计的矩估计.即为即为得：得：由矩法由矩法,例例3 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的矩估计的矩估计.解解:？EX:例例1 矩法的矩法的优点优点是简单易行是简单易行,并不需要并不需要事先知道总体是什么分布事先知道总体是什么分布。缺点缺点是，当总体类型已知时，没有是，当总体类型已知时，没有 充分利用分布提供的信息充分利用分布提供的信息.一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性。例如例如:总体总体X ,A1,B2 都是都是 的矩估计。的矩估计。2.极大似然法极大似然

6、法在在总总体体类类型型已已知知条条件件下下使使用用的的一一种种参数估计方法参数估计方法。它首先是由德国数学家它首先是由德国数学家Gauss在在1821年提出的年提出的,Fisher在在1922年重新发现年重新发现了这一方法，并首先研究了这了这一方法，并首先研究了这 种方法的种方法的一些性质一些性质。极大似然法的基本思想：即，已发生的事件具有最大概率。极大似然原理 先看一个简单例子：先看一个简单例子：在军训时，某位同学与一位教官同在军训时，某位同学与一位教官同时射击，而在靶纸上只留下一个弹孔。时射击，而在靶纸上只留下一个弹孔。如果要你如果要你推测推测，是谁打中的呢，是谁打中的呢？你会如何想呢？你

7、会如何想呢?若若X 为为离散型离散型总体：总体：已发生的事件为：已发生的事件为：其概率为：其概率为：我们的任务是：我们的任务是：若若X 为为连续型连续型总体：总体：已发生的事件为：已发生的事件为：其概率为：其概率为：我们的任务是：我们的任务是：称称 为为似然函数似然函数 称满足称满足 的的 为为 的极大似然估计值。的极大似然估计值。称称 为为 的极大似然估计的极大似然估计量（量（MLE）.例例4 设总体设总体 X b(1,p),X1,Xn是一个样是一个样本，求参数本，求参数 p 的极大似然估计的极大似然估计.解：解：X01P1-pp1.3.2.4.5.例例5设总体设总体其中其中 0,求求 的极

8、大似然估计的极大似然估计.解：解：1.!2.3.4.5.1)在总体分布中，把概率函数在总体分布中，把概率函数(或密度或密度)中自中自变量看成已知常数变量看成已知常数,而把参数而把参数 看作自变看作自变量导出量导出似然函数似然函数 L();求极大似然估计（求极大似然估计（MLE）的一般步骤：的一般步骤：2)求似然函数求似然函数L()的最大值点的最大值点(常常转化为常常转化为求求ln L()的最大值点的最大值点)，即，即 的的MLE;3)在最大值点的表达式中在最大值点的表达式中,用样本代入就得用样本代入就得参数参数 的极大似然估计量的极大似然估计量两点说明1、求似然函数求似然函数L()的最大值点，

9、通过求的最大值点，通过求 解似然方程：解似然方程：得到得到 的的MLE。若若 是向量，上述方程必须用似然方程是向量，上述方程必须用似然方程组代替组代替。2、用上述求导方法求参数的用上述求导方法求参数的MLE有时行不通，这时要用极大似然原理有时行不通，这时要用极大似然原理来求来求。解：解：例例6 设总体设总体 其中参数其中参数 未知，使用极大似然估计法求未知，使用极大似然估计法求 的估计的估计量。量。例例7 其中其中 0,求求 的极大似然估计。的极大似然估计。解：解：i=1,2,ni=1,2,n(1)(2)由由(1)得得?!是是 的的增函数增函数故使故使 达到最大的达到最大的 即即 的的MLE，极大似然估计的一个性质极大似然估计的一个性质:设设 的函数的函数 g=g()是是 上的实值上的实值函数函数,且有唯一反函数且有唯一反函数。如果。如果 是是 的极大的极大似然估计，则似然估计，则 g()也是也是 g()的极大似然的极大似然估计。估计。例例8 一罐中装有白球和黑球，有放回地抽取一罐中装有白球和黑球，有放回地抽取一个容量为一个容量为n 的样本，其中有的样本，其中有 k 个白球，求个白球，求罐中黑球与白球之比罐中黑球与白球之比 R 的极大似然估计的极大似然估计.解解:显然显然 Xb(1,p)，由例由例 4