点估计和估计量的求法.ppt

《点估计和估计量的求法.ppt》由会员分享，可在线阅读，更多相关《点估计和估计量的求法.ppt（44页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、点估点估计和估和估计量的求量的求法法现在学习的是第1页，共44页 引言引言 上一章，我们介绍了总体、样本、简单上一章，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概念，介绍随机样本、统计量和抽样分布的概念，介绍了统计中常用的三大分布，它们是进一步学了统计中常用的三大分布，它们是进一步学习统计推断的基础习统计推断的基础.1点估计和估计量的求法点估计和估计量的求法现在学习的是第2页，共44页 总体总体样本样本统计量统计量描述描述作出推断作出推断 研究统计量的性质和评价一研究统计量的性质和评价一个统计推断的优良性，完全取决个统计推断的优良性，完全取决于其于其抽样分布抽样分布的性质的性质.随

2、机抽样随机抽样现在学习的是第3页，共44页 现在我们来介绍一类重要的统计推断问题现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息来参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数估计总体的某些参数或者参数的某些函数.参数估计参数估计估计废品率估计废品率估计新生儿的体重估计新生儿的体重估计湖中鱼数估计湖中鱼数 估计降雨量估计降雨量 在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个参数.现在学习的是第4页，共44页这类问题称为这类问题称为参数估计参数估计.1.1 什么是参数估计？什么是参数估计？X1,X2,Xn要依据该样本对参数

3、要依据该样本对参数作出估计，或估计作出估计，或估计的某个已知函数的某个已知函数 .现从该总体抽样，得样本现从该总体抽样，得样本设有一个统计总体，总体的分布函数设有一个统计总体，总体的分布函数向量向量).为为 F(x,)，其中，其中 为未知参数为未知参数(可以是可以是点估计点估计区间估计区间估计现在学习的是第5页，共44页 为估计为估计 ,我们需要构造出适当的样本我们需要构造出适当的样本的函数的函数T(X1,X2,Xn)，每当有了样本，就，每当有了样本，就代入该函数中算出一个值，用来作为代入该函数中算出一个值，用来作为 的的估计值估计值.把样本值代入把样本值代入T(X1,X2,Xn)中，得到中，

4、得到的一个点估计值的一个点估计值.T(X1,X2,Xn)称为参数称为参数的点估计量，的点估计量，现在学习的是第6页，共44页 请注意，被估计的参数 是一个未知常数，而估计量 T(X1,X2,Xn)是一个随机变量，是样本的函数,当样本取定后，它是个已知的数值,这个数常称为 的估计值.现在学习的是第7页，共44页使用什么样的统计量去估计使用什么样的统计量去估计？可以用样本均值可以用样本均值;也可以用样本中位数也可以用样本中位数;还可以用别的统计量还可以用别的统计量.问题是问题是:现在学习的是第8页，共44页1.2 矩估计法矩估计法 其基本思想是其基本思想是用样本矩估计总体矩用样本矩估计总体矩.理论

5、依据理论依据:或格利汶科定理（见教材第或格利汶科定理（见教材第9页）页）它是基于一种简单的它是基于一种简单的“替换替换”思想建立起来的一种估计方法思想建立起来的一种估计方法.是英国统计学家是英国统计学家K.皮尔逊皮尔逊最早提出的最早提出的.大数定律大数定律现在学习的是第9页，共44页记总体记总体k阶矩为阶矩为样本样本k阶矩为阶矩为 用相应的样本矩去估计总体矩的估计方法就用相应的样本矩去估计总体矩的估计方法就称为矩估计法称为矩估计法.记总体记总体k阶中心矩为阶中心矩为样本样本k阶中心矩为阶中心矩为现在学习的是第10页，共44页 设总体的分布函数中含有设总体的分布函数中含有k个未知参数个未知参数

6、都是这都是这k个参数的函数个参数的函数,记为：记为：,那么它的前那么它的前k阶矩阶矩一般一般i=1,2,k从这从这k个方程中解出个方程中解出j=1,2,k那么用诸那么用诸 的估计量的估计量 Ai分别代替上式分别代替上式中的诸中的诸 ,即可得诸即可得诸 的矩估计量的矩估计量：j=1,2,k现在学习的是第11页，共44页解解:由矩法由矩法,样本矩总体矩从中解得从中解得的矩估计的矩估计.即为即为数学期望是一阶原点矩 例例1 设总体设总体X的概率密度为的概率密度为是未知参数是未知参数,其中其中X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计.现在学习的是第12页，共44页解解

7、:由密度函数知由密度函数知 例例2 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的矩估计的矩估计.具有均值为具有均值为 的指数分布的指数分布故故 E(X-)=D(X-)=即即 E(X)=D(X)=现在学习的是第13页，共44页解得解得令令用样本矩估计总体矩即即 E(X)=D(X)=现在学习的是第14页，共44页解：解：现在学习的是第15页，共44页 矩法的优点是简单易行矩法的优点是简单易行,并不需要事先知并不需要事先知道总体是什么分布道总体是什么分布.缺点是，当总体类型已知时，没有缺点是，当总体类型已知时，没有 充分利用分布提供的信息充分利用分布提供的信息

8、.一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性.其主要原因在于建立矩法方程时，选其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定取那些总体矩用相应样本矩代替带有一定的随意性的随意性.现在学习的是第16页，共44页 1.3 最大似然估计法（或极大似然估计法）最大似然估计法（或极大似然估计法）是是在在总总体体类类型型已已知知条条件件下下使使用用的的一一种种参参数估计方法数估计方法.它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的,GaussFisher然而，这个方法常归功于然而，这个方法常归功于英国统计学家英国统计学家费歇费歇.费歇

9、费歇在在1922年重新发现了年重新发现了 这一方法，并首先研究了这这一方法，并首先研究了这 种方法的一些性质种方法的一些性质.现在学习的是第17页，共44页 最大似然法的基本思想最大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过.是谁打中的呢？是谁打中的呢？某位同学与一位猎人一起外某位同学与一位猎人一起外出打猎出打猎.如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下.现在学习的是第18页，共44页 下下面面我我们们再再看看一一个个例例子子,进进一一步步体体会会极极大大似似然法的基本思想然法的基

10、本思想.你就会想，只发一枪便打中你就会想，只发一枪便打中,猎人命中的猎人命中的概率一般大于这位同学命中的概率概率一般大于这位同学命中的概率.看来这看来这一枪是猎人射中的一枪是猎人射中的.这个例子所作的推断已经体现了极大似然法这个例子所作的推断已经体现了极大似然法的基本思想的基本思想.现在学习的是第19页，共44页 例例4 设设XB(1,p),p未知未知.设想我们事先知道设想我们事先知道p只有两种可能只有两种可能:问问:应如何估计应如何估计p?p=0.7 或或 p=0.3如今重复试验如今重复试验3次次,得结果得结果:0,0,0由概率论的知识由概率论的知识,3次试验中出现次试验中出现“1”的次数的

11、次数k=0,1,2,3现在学习的是第20页，共44页 将计算结果列表如下：将计算结果列表如下：应如何估计应如何估计p?p=0.7 或或 p=0.3k=0,1,2,3p值值P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.189 0.027出现估计出现出现出现估计估计估计0.3430.4410.4410.343现在学习的是第21页，共44页如果有如果有p1,p2,pm可供选择可供选择,又如何合理地又如何合理地选选p呢呢?从中选取使从中选取使Qi 最大的最大的pi 作为作为p的估计的估计.i=1,2,m则估计参数

12、则估计参数p为为时时Qi 最大最大,比方说比方说,当当 若重复进行试验若重复进行试验n次次,结果结果“1”出现出现k次次(0 k n),我们计算一切可能的我们计算一切可能的 P(Y=k;pi)=Qi，i=1,2,m现在学习的是第22页，共44页 如果只知道如果只知道0p1,并且实测记录是并且实测记录是 Y=k(0 k n),又应如何估计又应如何估计p呢呢?注意到注意到是是p的函数的函数,可用求导的方法找到使可用求导的方法找到使f(p)达到达到极大值的极大值的p.但因但因f(p)与与lnf(p)达到极大值的自变量相同达到极大值的自变量相同,故故问题可转化为求问题可转化为求lnf(p)的极大值点的

13、极大值点.=f(p)现在学习的是第23页，共44页将将ln f(p)对对p求导并令其为求导并令其为0,这时这时,对一切对一切0p1,均有均有从中解得从中解得=0便得便得 p(n-k)=k(1-p)现在学习的是第24页，共44页 以上这种以上这种选择一个参数使得实验结果选择一个参数使得实验结果具有最大概率具有最大概率的思想就是极大似然法的基的思想就是极大似然法的基本思想本思想.这时这时,对一切对一切0p0,现在学习的是第33页，共44页求导并令其为求导并令其为0=0从中解得从中解得即为即为 的最大似然估计量的最大似然估计量.对数似然函数为对数似然函数为现在学习的是第34页，共44页解：解：似然函

14、数为似然函数为 例例7 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的极大似然估计的极大似然估计.i=1,2,n现在学习的是第35页，共44页对数似然函数为对数似然函数为解：解：似然函数为似然函数为i=1,2,n现在学习的是第36页，共44页=0 (2)由由(1)得得=0 (1)对对 分别求偏导并令其为分别求偏导并令其为0,对数似然函数为对数似然函数为用求导方法无法最终确定用求导方法无法最终确定用极大似然原则来求用极大似然原则来求.现在学习的是第37页，共44页是是对对故使故使 达到最大的达到最大的 即即 的最大似的最大似然估计量，然估计量，于是于是 取其

15、它值时，取其它值时，即即 为为 的最大似然估计量的最大似然估计量.且是且是 的增函数的增函数由于由于现在学习的是第38页，共44页极大似然估计的一个性质极大似然估计的一个性质可证明极大似然估计具有下述性质：可证明极大似然估计具有下述性质：设设 的函数的函数g=g()是是 上的实值函数上的实值函数,且有唯一反函数且有唯一反函数.如果如果 是是 的的MLE，则，则g()也是也是g()的极大似然估计的极大似然估计.现在学习的是第39页，共44页 例例8 一罐中装有白球和黑球，有放回地抽取一个一罐中装有白球和黑球，有放回地抽取一个容量为容量为n的样本，其中有的样本，其中有 k 个白球，求罐中黑球与白个

16、白球，求罐中黑球与白球之比球之比 R 的极大似然估计的极大似然估计.解解:设设X1,X2,Xn为所取样本，为所取样本，则则X1,X2,Xn是取自是取自B(1,p)的样本，的样本，p是每次抽是每次抽取时取到白球的概率，取时取到白球的概率，p未知未知.先求先求p的最大似然估计量：的最大似然估计量：现在学习的是第40页，共44页p的最大似然估计量为的最大似然估计量为 在前面例在前面例4中中,我们已求得我们已求得由前述极大似然估计的性质不难求得由前述极大似然估计的性质不难求得的最大似然估计量是的最大似然估计量是现在学习的是第41页，共44页第二次捕出的有记号的鱼数第二次捕出的有记号的鱼数X是是r.v,

17、X具有超几具有超几何分布：何分布：为了估计湖中的鱼数为了估计湖中的鱼数N，第一次捕上，第一次捕上r条鱼，条鱼，做上记号后放回做上记号后放回.隔一段时间后隔一段时间后,再捕出再捕出S条鱼条鱼,结果发现这结果发现这S条鱼中有条鱼中有k条标有记号条标有记号.根据这个信息，如何估计湖中的鱼数呢？根据这个信息，如何估计湖中的鱼数呢？最后，我们用极大似然法估计湖中的鱼数最后，我们用极大似然法估计湖中的鱼数现在学习的是第42页，共44页应取使应取使L(N;k)达到最大的达到最大的N，作为作为N的极大似然的极大似然估计估计.但用对但用对N求导的方法相当困难求导的方法相当困难,我们考虑比值：我们考虑比值：把上式右端看作把上式右端看作N的函数，记作的函数，记作L(N;k).经过简单的计算知，这个比值大于或小于经过简单的计算知，这个比值大于或小于1，或或而定而定.由由现在学习的是第43页，共44页经过简单的计算知，这个比值大于或小于经过简单的计算知，这个比值大于或小于1，或或而定而定.由由 这就是说，当N增大时，序列P(X=k;N)先是上升而后下降;当N为小于 的最大整数时,达到最大值.故N的极大似然估计为现在学习的是第44页，共44页