求点估计量的方法.ppt

《求点估计量的方法.ppt》由会员分享，可在线阅读，更多相关《求点估计量的方法.ppt（43页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、求点估计量的方法现在学习的是第1页，共43页注：注：统计学的模型仅仅是对现实的近似，没有任统计学的模型仅仅是对现实的近似，没有任何模型是何模型是“正确正确”的，也无法证明任何模型是的，也无法证明任何模型是正确的。只能够说，在某些可能有争议的准则正确的。只能够说，在某些可能有争议的准则之下，某些模型比另外一些要更适合一些。之下，某些模型比另外一些要更适合一些。吴喜之吴喜之统计学：从数据到结论统计学：从数据到结论现在学习的是第2页，共43页求解步骤：求解步骤：问题是什么问题是什么解决问题的基本思路解决问题的基本思路理论支持及推导理论支持及推导解决的具体步骤解决的具体步骤实例分析实例分析现在学习的是

2、第3页，共43页第三章第三章 参数估计参数估计第一节第一节 求点估计量的方法求点估计量的方法第二节第二节 估计量的评选标准估计量的评选标准第三节第三节 区间估计区间估计现在学习的是第4页，共43页参数的类型：参数的类型：参数是刻画总体某方面概率特性的数量参数是刻画总体某方面概率特性的数量.参数的类型有参数的类型有1 1、分布中所含的未知参数分布中所含的未知参数例如，例如，X N(,2),若若 ,2 未知未知,通过构造统计量通过构造统计量,给出它们的给出它们的估计值估计值或或取值范围取值范围就是参数估计的内容就是参数估计的内容.区区 间间 估估 计计点点 估估 计计现在学习的是第5页，共43页2

3、 2、分布中所含的未知参数分布中所含的未知参数的函数的函数 g()例如：例如：X N(,2),其中其中 ,2 未知，假设未知，假设 X 是血液检验的是血液检验的结果，感兴趣的是检验值不超过结果，感兴趣的是检验值不超过 a 的人数的比例，即要估计的人数的比例，即要估计即为即为 ,的函数。的函数。3 3、分布的各种特征数分布的各种特征数例如：例如：EX，VarX 等。等。现在学习的是第6页，共43页 参数估计问题是利用从总体抽样得到的样本参数估计问题是利用从总体抽样得到的样本,通通过过估计量估计量来估计上述各种参数。来估计上述各种参数。估计量估计量就是估计总体就是估计总体参数的统计量参数的统计量.

4、现在学习的是第7页，共43页第一节第一节 求点估计量的方法求点估计量的方法一、一、矩法矩法二、二、极大似然法极大似然法现在学习的是第8页，共43页一、矩法估计一、矩法估计1、矩法估计（、矩法估计（Moment Estimation)理论基础：大数定律（频率趋向于概率）理论基础：大数定律（频率趋向于概率）相互独立相互独立，设随机变量序列设随机变量序列它们它们服从相同的分布，且具有有限的数学期望：服从相同的分布，且具有有限的数学期望：则则现在学习的是第9页，共43页 则则 独立同分布独立同分布,且有期望：且有期望：则由大数定律，则由大数定律，设设是来自总体是来自总体 X 的容量的容量为为 n 的样

5、本的样本,q 矩估计法矩估计法 指导思想指导思想用样本用样本 k 阶矩作为总体阶矩作为总体 k 阶矩的估计量阶矩的估计量,建立含有待建立含有待估参数的方程估参数的方程,从而解出待估参数。从而解出待估参数。现在学习的是第10页，共43页设待估计的参数为设待估计的参数为总体的总体的 r（rk）阶矩存在，记为阶矩存在，记为样本样本 X1,X2,Xn 的的 r 阶矩为阶矩为令令 含未知参数含未知参数 1,2,k 的方程组的方程组具体步骤具体步骤现在学习的是第11页，共43页解方程组解方程组,得得 k 个统计量：个统计量：未知参数未知参数 1,k 的的矩估计量矩估计量代入一组样本观测值得代入一组样本观测

6、值得 k 个数个数:未知参数未知参数 1,k 的的矩估计值矩估计值现在学习的是第12页，共43页例例 设总体设总体 X Exp(),X1,X2,Xn 为总体的样本为总体的样本,求求 的矩的矩法估计量法估计量.解解注注 能用低阶矩处理的就不用高阶矩能用低阶矩处理的就不用高阶矩。令故现在学习的是第13页，共43页例例 设总体设总体 X U(a,b),a,b 未知未知,求参数求参数 a,b 的矩的矩法估计量法估计量.解解 令令 现在学习的是第14页，共43页于是于是 a,b 的矩估计量为的矩估计量为 现在学习的是第15页，共43页解解 例例3 设总体设总体 X 的均值的均值 和方差和方差 都存在都存

7、在,未知未知.X1,X2,Xn 是来自是来自 X 的样本的样本,试求试求 的矩的矩估计量估计量.令令现在学习的是第16页，共43页注：注：该例表明无论总体该例表明无论总体 X 服从什么分布，只要总体服从什么分布，只要总体的二阶矩存在，则的二阶矩存在，则样本均值样本均值就是总体均值的矩估计，就是总体均值的矩估计，样本的二阶中心矩样本的二阶中心矩就是总体方差的矩估计就是总体方差的矩估计.现在学习的是第17页，共43页矩估计三部曲矩估计三部曲求解总体矩求解总体矩（一般来说，有几个参数就求几阶矩，（一般来说，有几个参数就求几阶矩，得到的一定是参数的函数）得到的一定是参数的函数）用样本矩代替总体矩建立方

8、程（组）用样本矩代替总体矩建立方程（组）求解方程（组）求解方程（组）现在学习的是第18页，共43页优点优点是简单易行是简单易行,并不需要事先知道总体的分布形式并不需要事先知道总体的分布形式.缺缺点点（1）要要求求总总体体相相应应原原点点矩矩必必须须存存在在，对对于于不不存存在在原原点矩的总体如点矩的总体如Cauchy分布，则不能用矩估计。分布，则不能用矩估计。（2）当当总总体体类类型型已已知知时时，没没有有充充分分利利用用分分布布提提供供的的信信息息，可以作为其它方法的初始值可以作为其它方法的初始值.矩法的优缺点：矩法的优缺点：现在学习的是第19页，共43页一只野兔从前方窜过。一只野兔从前方窜

9、过。是谁打中的呢？是谁打中的呢？引例引例：某位同学与一位猎某位同学与一位猎人一起外出打猎。人一起外出打猎。如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听两声枪响，野兔应声倒下。只听两声枪响，野兔应声倒下。二二.极大似然估计极大似然估计（Maximum Likelihood Estimation)现在学习的是第20页，共43页 在一次随机试验中某一事件已经发生，则认为在一次随机试验中某一事件已经发生，则认为试验条件有利于该事件的发生，即在此条件下该事试验条件有利于该事件的发生，即在此条件下该事件发生的概率最大。件发生的概率最大。-极大似然原理极大似然原理 常理来看，只发一枪便打中，猎

10、人命中的概率要大于这位常理来看，只发一枪便打中，猎人命中的概率要大于这位同学命中的概率。看来这一枪是猎人射中的。同学命中的概率。看来这一枪是猎人射中的。这个例子所作的推断体现了极大似然估计的基本思想：这个例子所作的推断体现了极大似然估计的基本思想：现在学习的是第21页，共43页 下例说明如何求极下例说明如何求极大似然估计大似然估计：例例.设设 X1,X2,Xn 是取自总体是取自总体 Xb(1,p)的一个样本，利的一个样本，利用极大似然原理求参数用极大似然原理求参数 p(可以是产品的不合格率可以是产品的不合格率)的估计的估计.似然函数似然函数解：抽取一个样本解：抽取一个样本，得到观测值，得到观测

11、值 x1,x2,xn，则其发生的则其发生的概率为概率为现在学习的是第22页，共43页显显然然 p 的不同取值，对应的观测值发生的概率不同，由的不同取值，对应的观测值发生的概率不同，由极大似然原理，应选择使得极大似然原理，应选择使得P(X1=x1,Xn=xn)最大的最大的 p 值，值，即为即为 p 的的极大似然估计值极大似然估计值.现在学习的是第23页，共43页对数似然函数对数似然函数为：为：要求似然函数要求似然函数 L(p)的最大值点，可以应用微积的最大值点，可以应用微积分中的技巧。通过求解下面的方程求得分中的技巧。通过求解下面的方程求得.现在学习的是第24页，共43页对对 p 求导并令其为求

12、导并令其为0，=0得得即为即为 p 的的极大似然估计值极大似然估计值.现在学习的是第25页，共43页一般一般,设总体设总体 X 为离散型随机变量为离散型随机变量,其分布律为其分布律为则样本则样本(X1,X2,Xn)的概率分布为的概率分布为或或称称 L()为样本的为样本的似然函数；似然函数；似然函数反映了样本取到观察值似然函数反映了样本取到观察值 的概率的概率现在学习的是第26页，共43页设设 X 为连续型随机变量为连续型随机变量,其密度函数为其密度函数为 p(x;)，则样本则样本(X1,X2,Xn)的联合密度为的联合密度为或或称称 L()为样本的为样本的似然函数似然函数.似然函数反映了样本取到

13、观察值似然函数反映了样本取到观察值 的概率的概率现在学习的是第27页，共43页称这样得到的称这样得到的 为参数为参数 的的极大似然估计值；极大似然估计值；称统计量称统计量为参数为参数 的的极大似然估计量极大似然估计量.选择适当的选择适当的 =,使使 取最大值取最大值,即即L()现在学习的是第28页，共43页注注1：求求 MLE 时，只须在时，只须在支撑支撑上考虑上考虑.x:p(x;)0 叫做支撑叫做支撑.注注2:若若是是 k 维维向量向量,则则构造构造 k 个个统计统计量分量分别为别为相相应应参数分量的参数分量的MLE.现在学习的是第29页，共43页求求MLE的方法：的方法：1、微分法、微分法

14、若若 lnL()是是 的一个可微函数，通过求解方程：的一个可微函数，通过求解方程：可以得到可以得到 的的MLE.若若 是向量，上述方程必须用方程组代替是向量，上述方程必须用方程组代替.现在学习的是第30页，共43页可得未知参数的极大似然估计值可得未知参数的极大似然估计值然后然后,再求得极大似然估计量再求得极大似然估计量.L是是 的可微函数的可微函数,解对数似然方程组解对数似然方程组若若现在学习的是第31页，共43页例例.设总体设总体 X 具有分布律具有分布律X123pk其中其中(01)为未知参数。已知取得了样本值为未知参数。已知取得了样本值x1=1，x2=2，x31，试求，试求的矩估计值和极大

15、似然估计值。的矩估计值和极大似然估计值。现在学习的是第32页，共43页例例 设总体设总体 X N(),未知未知.是来自是来自 X 的样本值的样本值,试求试求 的极大似然估计量的极大似然估计量.似然函数为似然函数为 解：解：X 的概率密度为的概率密度为 于是于是现在学习的是第33页，共43页令令现在学习的是第34页，共43页注注:对于正态总体对于正态总体,2 2 的矩估的矩估计计与与MLE是相同的是相同的.但但对对于其于其它很多分布它很多分布,它它们们并不一并不一样样.,2 的极大似然估计量分别为的极大似然估计量分别为现在学习的是第35页，共43页2、用定义直接求、用定义直接求当用上述求导方法求

16、参数的当用上述求导方法求参数的 MLE 有时行不通有时行不通(如似然如似然函数不可微函数不可微)，这时要用极大似然原理，这时要用极大似然原理(即定义即定义)来求来求.现在学习的是第36页，共43页例例 设设 X1,X2,Xn 是取自总体是取自总体 XU(0,)的一个样本的一个样本求求的极大似然估计和矩估计的极大似然估计和矩估计.用求导方法无法最终确定用求导方法无法最终确定用定义直接来求用定义直接来求.解解:当当 x1,x2,xn 为样本值时为样本值时，似然函数为似然函数为现在学习的是第37页，共43页 故故的极大似然估计值为的极大似然估计值为另一方面另一方面,由于由于EX=/2,故故矩估计为矩

17、估计为两者不同两者不同!要使要使L()达到最大，达到最大，应最小，但它小不过应最小，但它小不过x(n)，现在学习的是第38页，共43页例例 设设X U(,+1),X1,X2,Xn 是是 X 的一个样本值的一个样本值,求求 的极大似然估计的极大似然估计.注注:这里这里的极大似然估计不只唯一的极大似然估计不只唯一,可任取可任取(x(n)-1,x(1)之间的任一个值之间的任一个值.现在学习的是第39页，共43页直直接接从从函函数数形形式式出出发发极极大大似似然然估估计计的的具具体体步步骤骤：密密度度函函数数区区间间含含有有参参数数现在学习的是第40页，共43页优点优点是充分利用总体分布的信息是充分利用总体分布的信息.缺点缺点是是很多情况下似然方程难以求解。很多情况下似然方程难以求解。极大似然法的优缺点：极大似然法的优缺点：现在学习的是第41页，共43页极大似然估计的性质极大似然估计的性质-不变性不变性.例例 设总体设总体 X N(),未知未知.是来自是来自 X 的样本值的样本值,则则 的极大似然估计为的极大似然估计为:现在学习的是第42页，共43页于是由极大似然估计的不变性于是由极大似然估计的不变性,可得可得标准差标准差 的极大似然估计是的极大似然估计是概率概率 的极大似然估计是的极大似然估计是现在学习的是第43页，共43页