7.1 参数点估计.ppt

《7.1 参数点估计.ppt》由会员分享，可在线阅读，更多相关《7.1 参数点估计.ppt（74页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、课件制作：应用数学系概率统计课程组概率统计课程组概率论与数理统计概率论与数理统计参数估计参数估计参数估参数估计问题计问题假设检假设检验问题验问题点点 估估 计计区间估区间估 计计统统计计推推断断7-2什么是参数估计？什么是参数估计？参数是刻画总体某方面的概率特性的数量参数是刻画总体某方面的概率特性的数量.当这个数量是未知的时候，从总体抽出一个当这个数量是未知的时候，从总体抽出一个样本，用某种方法对这个未知参数进行估计样本，用某种方法对这个未知参数进行估计就是参数估计就是参数估计.例如，例如，X N(,2),点估计点估计区间估计区间估计若若,2未知，通过构造样本的函数未知，通过构造样本的函数,给

2、出它给出它们的估计值或取值范围就是参数估计的内容们的估计值或取值范围就是参数估计的内容.参数估计的类型参数估计的类型点估计点估计(point Estimation)估计未知参数的值估计未知参数的值区间估计区间估计(interval Estimation)估计未知参数的估计未知参数的取值范围，使得这个范围包含未知参数真值的取值范围，使得这个范围包含未知参数真值的概率为给定的值概率为给定的值.点估计方法点估计方法点估计的思想方法点估计的思想方法设总体X 的分布函数的形式已知，但它含有一个或多个未知参数：1,2,k设 X1,X2,Xn为总体的一个样本构造 k 个统计量：随机变量7-5当测得一组样本值

3、当测得一组样本值(x1,x2,xn)时，代入上述时，代入上述统计量，即可得到统计量，即可得到 k 个数：个数：数值数值称数称数为未知参数为未知参数的的估计值估计值aa如何构造统计量？如何构造统计量？如何评价估计量的好坏？如何评价估计量的好坏？对应的统计量对应的统计量为未知参数为未知参数的的估计量估计量7-6三种常用的点估计方法三种常用的点估计方法q 频率替换法频率替换法(Frequency substitution)利用事件利用事件A 在在 n 次试验中发生频率次试验中发生频率作为事件作为事件A 发生的概率发生的概率 p 的估计量的估计量7-7例例1 设总体设总体X N(,2),在对其作在对其

4、作28 次独立次独立 观察中观察中,事件事件“X 4”出现了出现了21 次次,试用频率替试用频率替换法求参数换法求参数 的估计值的估计值.解解 由由查表得查表得于是于是 的估计值为的估计值为7-8q 矩法矩法(Method of moment)方法方法用用样本样本的的 k 阶矩作为阶矩作为总体总体的的 k 阶矩的阶矩的 估计量估计量,建立含有待估计参数的方程，建立含有待估计参数的方程，从而可解出待估计参数从而可解出待估计参数7-9一般地，不论总体服从什么分布，总体期望一般地，不论总体服从什么分布，总体期望 与方差与方差 2 存在，则它们的矩估计量分别为存在，则它们的矩估计量分别为7-10事实上

5、，按矩法原理，令事实上，按矩法原理，令7-11设待估计的参数为设待估计的参数为设总体的设总体的 r 阶矩存在，记为阶矩存在，记为设设 X1,X2,Xn为一样本，样本的为一样本，样本的 r 阶矩为阶矩为令令 含未知参数含未知参数 1,2,k 的方程组的方程组解方程组，得解方程组，得 k 个统计量：个统计量：未知参数未知参数 1,2,k 的的矩估计量矩估计量未知参数未知参数 1,2,k 的的矩估计值矩估计值代入一组样本值得代入一组样本值得k个数个数:例例2 设总体设总体 X N(,2),X1,X2,Xn为总体的为总体的 样本样本,求求 ,2 的矩法估计量。的矩法估计量。解解例例3 设总体设总体 X

6、 E(),X1,X2,Xn为总体的样本为总体的样本,求求 的矩法估计量。的矩法估计量。解解令令故故例例4 设从某灯泡厂某天生产的一大批灯泡中设从某灯泡厂某天生产的一大批灯泡中 随机地抽取了随机地抽取了10只灯泡，测得其寿命为只灯泡，测得其寿命为 (单位：小时单位：小时)：1050,1100,1080,1120,1200 1250,1040,1130,1300,1200 试用矩法估计该厂这天生产的灯泡的平均试用矩法估计该厂这天生产的灯泡的平均 寿命及寿命分布的标准差寿命及寿命分布的标准差.解解 例例5 设总体设总体 X U(a,b),a,b 未知，求未知，求 a,b 的的 矩法估计量矩法估计量.

7、解解 由于由于令令解得解得7-16q 点估计的极大似然估计法点估计的极大似然估计法(maximum likelihood)思想方法思想方法：一次试验就出现的一次试验就出现的 事件有较大的概率事件有较大的概率 例如例如:有两个外形相同的箱子有两个外形相同的箱子,都装有都装有100个球个球 一号箱一号箱 99个白球，个白球，1个红球个红球 一号箱一号箱 1个白球，个白球，99个红球个红球现从两箱中任取一箱，并从箱中任取一球，现从两箱中任取一箱，并从箱中任取一球，结果所取得的球是白球。结果所取得的球是白球。答答：极有可能是极有可能是第一箱第一箱.问问 所取的球来自哪一箱？所取的球来自哪一箱？Exam

8、ple:Example:设有甲乙两个口袋，袋中各装有个同样大设有甲乙两个口袋，袋中各装有个同样大小的球，球上分别涂有白色（小的球，球上分别涂有白色（W)W)或黑色或黑色(B)(B)，已知在，已知在甲袋中黑球数为，乙袋中黑球数为甲袋中黑球数为，乙袋中黑球数为（）现任取一袋，再从中任取一球，发现是黑球，（）现任取一袋，再从中任取一球，发现是黑球，试问该球是取自哪一袋？试问该球是取自哪一袋？（）（）现任取一袋，再从中有返回地任取三球，发现现任取一袋，再从中有返回地任取三球，发现有一个是黑球，试问该球是取自哪一袋？有一个是黑球，试问该球是取自哪一袋？解：（）设设p p为抽到黑球的概率，从甲袋中抽一球为

9、抽到黑球的概率，从甲袋中抽一球是黑球的概率为是黑球的概率为p(p(甲），从甲袋中抽甲），从甲袋中抽一球是黑球的概率为一球是黑球的概率为p(p(乙）由于乙）由于p p(乙）乙）p(p(甲），这便意味着此球来自乙袋的甲），这便意味着此球来自乙袋的可能性比来自甲袋的可能性大因此我们会判可能性比来自甲袋的可能性大因此我们会判断该球断该球象象是来自乙袋是来自乙袋（）设设X X是抽取三个球中黑球的个数，又设是抽取三个球中黑球的个数，又设p p为袋为袋中黑球所占的比例，则中黑球所占的比例，则XB(3,p),XB(3,p),即即在在X X时，不同时，不同p p值对应的概率分别为：值对应的概率分别为：由于由于p

10、(p(甲）甲）p(p(乙），因此我们会判断该球乙），因此我们会判断该球象象是来自是来自甲袋甲袋 基本思想基本思想:如：甲.乙两人比较射击技术,分别射击目标一次,甲中而乙未中,则可以认为:甲射击技术优于乙射击技术.实际问题(医生看病、公安人员破案、技术人员进行质量检验等)尽管千差万别,但他们具有一个共同的规律,即在获得了观察资料之后,给参数选取一个数值,使得前面的使得前面的观察结果出现的可能性最大观察结果出现的可能性最大.最大似然估计就是通过样本值 来求得总体的分布参数,使得 取值为 的概率最大.极大似然估计的基本思想极大似然估计的基本思想简单历史 The method of maximum l

11、ikelihood was first proposed by the German mathematician C.F.Gauss in 1821.However,the approach is uaually credited to the English statistician R.A.Fisher who rediscovered the idea in his 1922 paper“On the mathematical foundations of theoretical statistics”and first investigated t h e p r o p e r t

12、i e s o f t h e m e t h o d.例1：英语六级未通过率假设某理工大学的学生在毕业时尚未通过六级的比率为p，现从中随机抽取100人调查其档案，发现其中有10人六级没过，试用极大似然法估计总体参数p。例例1：英语六级未通过率英语六级未通过率解：若六级通过用解：若六级通过用“0”表示，未通过用表示，未通过用“1”表表示，则总体示，则总体X 的分布为的分布为 则样本观察值的联合分布（则样本观察值的联合分布（似然函数似然函数）为）为两边取对数得对数似然函数为：两边取对数得对数似然函数为：解得：解得：一般情形一般情形 设总体设总体 X 服从服从0-1分布，且分布，且P(X=1)=p

13、,用极大似然法求用极大似然法求 p 的估计值。的估计值。解解X 的概率分布可以写成的概率分布可以写成设设 X1,X2,Xn为总体为总体 X 的样本的样本,设设 x1,x2,xn为总体为总体 X 的样本值的样本值,则则7-18对于不同的对于不同的 p,L(p)不同，见右下图不同，见右下图现经过一次试验，现经过一次试验，发生了，发生了，事件事件则则 p 的取值应使这个事件发生的取值应使这个事件发生的概率最大。的概率最大。在容许的范围内选择在容许的范围内选择 p，使使L(p)最大最大 注意到，注意到，ln L(p)是是 L 的单调增函数，故的单调增函数，故 若某若某个个p 使使ln L(p)最大，则

14、这个最大，则这个p 必使必使L(p)最大。最大。所以所以为所求为所求 p 的估计值的估计值.一般地，设一般地，设X 为离散型随机变量，其分布律为为离散型随机变量，其分布律为 X1,X2,Xn为总体为总体 X 的样本的样本,x1,x2,xn为总体为总体 X 的样本值的样本值,则则X1,X2,Xn的概率分布为的概率分布为7-21或或称称L()为样本的为样本的似然函数似然函数则称这样得到的则称这样得到的 为参数为参数 的的极大似然估计值极大似然估计值称统计量称统计量为参数为参数 的的极大似然估计量极大似然估计量7-22 选择适当的选择适当的 =,使使 取最大值，即取最大值，即L()当给定一组样本值时

15、，当给定一组样本值时，就是参数就是参数 的函数的函数,极大似然估计法的思想就是：极大似然估计法的思想就是：L()若随机变量若随机变量X 连续连续,取取 f(xi,)为为Xi 的密度函的密度函数数似然函数为似然函数为7-23注注1 1注注2 2未知参数个数可以不止一个未知参数个数可以不止一个,如如 1,2,k 设设X 的密度函数的密度函数(或概率分布或概率分布)为为则定义似然函数为则定义似然函数为若若关于关于 1,2,k 可微，可微，为为似然方程组似然方程组若对于某组给定的样本值若对于某组给定的样本值x1,x2,xn，参数参数 使得似然函数取得最大值，即使得似然函数取得最大值，即则称则称为为 1

16、,2,k 的的极大似然估计值极大似然估计值则称则称7-24显然，显然，称统计量称统计量为为 1,2,k 的的极大似然估计量极大似然估计量7-25例例2 设总体设总体 X N(,2),x1,x2,xn 是是 X 的的 一组样本值，求一组样本值，求 ,2 的极大似然估计的极大似然估计.解解7-26 ,2 的极大似然估计量分别为的极大似然估计量分别为似然似然方程方程组为组为7-27EXERCISES 例例 3 设有一批产品设有一批产品,根据以往的经验知道它的根据以往的经验知道它的产品率产品率 p 可能是可能是 0.1 或或 0.3.生产这批产品的厂家生产这批产品的厂家认为该批产品质量很好认为该批产品

17、质量很好,次品率大约为次品率大约为 0.1,而收而收购产品的商业部门认为产品质量有问题购产品的商业部门认为产品质量有问题,次品率次品率可能为可能为 0.3.现从这批产品中随机抽取现从这批产品中随机抽取 15 件件,发现发现有有 5 件次品件次品.问问:生产厂家与收购部门谁的估计生产厂家与收购部门谁的估计更可靠些更可靠些?解解 求未知参数的极大似然估计值求未知参数的极大似然估计值(量量)的的方法方法1）写出似然函数写出似然函数L2）求出）求出,使得使得7-28可求得未知参数的极大似然估计值可求得未知参数的极大似然估计值然后然后,再求得极大似然估计量再求得极大似然估计量.7-29 L 是是 的可微

18、函数的可微函数,解似然方程组解似然方程组若若 L 不是不是 的可微函数的可微函数,需用其它需用其它方法方法(回到原始的定义回到原始的定义）求极大似然估计值）求极大似然估计值.请看下例：请看下例：若若例例4 设设 X U(a,b),x1,x2,xn 是是 X 的一个样本的一个样本,求求 a,b 的极大似然估计值与极大似然估计量的极大似然估计值与极大似然估计量.解解 X 的密度函数为的密度函数为似然函数为似然函数为7-30似然函数只有当似然函数只有当 a xi b,i=1,2,n 时才能时才能获得最大值获得最大值,且且 a 越大越大,b 越小越小,L 越大越大.令令xmin=min x1,x2,x

19、nxmax=max x1,x2,xn取取则对满足则对满足的一切的一切 a 1(1)不是不是 D(X)的无偏估计量的无偏估计量;(2)是是 D(X)的无偏估计量的无偏估计量.证证 前已证前已证.证明证明因而因而故故 证毕证毕.例例3 设设是总体是总体 X 的一个样本的一个样本,X B(n,p)n 1,求求 p 2 的无偏估计量的无偏估计量.解解 由于样本矩是总体矩的无偏估计量以及由于样本矩是总体矩的无偏估计量以及数学期望的线性性质数学期望的线性性质,只要将未知参数表示成只要将未知参数表示成总体矩的线性函数总体矩的线性函数,然后用样本矩作为总体矩然后用样本矩作为总体矩的估计量的估计量,这样得到的未

20、知参数的估计量即为这样得到的未知参数的估计量即为无偏估计量无偏估计量.令令因此因此,p 2 的无偏估计量为的无偏估计量为故故例例4 设总体设总体 X 的密度函数为的密度函数为为常数为常数为为 X 的一个样本的一个样本证明证明与与都是都是的无偏的无偏估计量估计量证证 故故是是 的无偏估计量的无偏估计量.令令即即故故 nZ 是是 的无偏估计量的无偏估计量.思考思考 题题 设总体设总体 X N(,2),为为 X 的一个样本的一个样本求常数求常数 k,使使为为 的无偏估计量的无偏估计量解解注意到注意到是是 X1,X2,Xn 的的线性函数线性函数,故Ex.(2003年数学一考研试题十二题)设总体X的概率

21、密度为 其中 0 是未知参数。从总体X中抽取简单随机样本(1)求总体X的分布函数F(x)；(2)求统计量 的分布函数 ；(3)(3)如果 作为 的估计量，讨论它是否具有无偏性。问题：若参数 的无偏估计量不只一个，如何选取更好的无偏估计量？都是总体参数都是总体参数 的无偏估计量的无偏估计量,且且则称则称比比更有效更有效.定义定义 设设有效性有效性所以所以,比比更有效更有效.是是 的无偏估计量的无偏估计量,问哪个估计量更有效？问哪个估计量更有效？与与由前面例由前面例4 可知可知,都都为常数为常数例例6 设设 密度函数为密度函数为为为 X 的一个样本的一个样本,解解 ，例例7 设总体设总体期望为期望

22、为 E(X)=,方差方差 D(X)=2 为总体为总体X 的一个样本的一个样本常数常数证明证明是是 的无偏估计量的无偏估计量(2)证明证明比比更有效更有效证证:(1)(2)而结论结论算术均值比加权均值更有效.=+=njijiniiniicccc1122121例如例如 X N(,2),(X 1,X 2)是一样本是一样本.都是都是 的的无偏估计量无偏估计量由由例例7(2)知知最有效最有效.定义定义 设设 是总体参数是总体参数 的的则称则称是总体参数是总体参数 的一致的一致(或相合或相合)估计量估计量.估计量估计量.若对于任意的若对于任意的 ,当当n 时时,依概依概一致性一致性率收敛于率收敛于 ,即即

23、一致性估计量仅在样本容量一致性估计量仅在样本容量 n 足够大时足够大时,才显示其优越性才显示其优越性.关于一致性的两个常用结论关于一致性的两个常用结论1.样本样本 k 阶矩是总体阶矩是总体 k 阶矩的一致性估计量阶矩的一致性估计量.2.设设 是是 的无偏估计的无偏估计量量,且且 ,则则 是是 的一致估计量的一致估计量.由大数定律证明由大数定律证明用切贝雪夫不用切贝雪夫不 等式证明等式证明矩法得到的估计量一般为一致估计量矩法得到的估计量一般为一致估计量在一定条件下在一定条件下,极大似然估计具有一致性极大似然估计具有一致性例例9为常数为常数则则 是是 的无偏、有效、一致估计量的无偏、有效、一致估计量.证证 由例由例8 知知 是是 的无偏、有效估计量的无偏、有效估计量.所以所以 是是 的一致估计量的一致估计量,证毕证毕.