最小方差无偏估计和有效估计课件.ppt

《最小方差无偏估计和有效估计课件.ppt》由会员分享，可在线阅读，更多相关《最小方差无偏估计和有效估计课件.ppt（30页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于最小方差无偏估计和有效估计1第1页，此课件共30页哦2一、最小方差无偏估计一、最小方差无偏估计 由定义由定义2.4知，最小方差无偏估计（知，最小方差无偏估计（MVUE）是在无偏估计类）是在无偏估计类中，使均方误差达到最小的估计量，即在均方误差最小意义下的最中，使均方误差达到最小的估计量，即在均方误差最小意义下的最优估计。它是在应用中，人们希望寻求的一种估计量。优估计。它是在应用中，人们希望寻求的一种估计量。第2页，此课件共30页哦3证证 明明 设设)(1X 是是 的的 任任 一一 无无 偏偏 估估 计计，记记)()()(1XXXL ，则则)(XL为为 0 的的无无偏偏估估计计，由由于于 )

2、()()()(2 )()()()()(1XEXXELXLEXDXDLXXLDXD )()()(XDXDXDL ，故故)(X 是是 的的 MVUE。第3页，此课件共30页哦4证明证明 设设)(XL满足满足0)(XEL，则有，则有 上上式式关关于于 求求导导，得得 0)(21exp)(1221dxxxLniinii ，第4页，此课件共30页哦5故故有有 0)(XXLE，所以所以X是是 的的 MVUE。0)(21exp)(12221dxxxLniinii 第5页，此课件共30页哦6利利用用21212)()()(xnxxxniinii，可可得得 0)(21exp)(12221dxxxxLniinii

3、,故有故有 0)(2 nSXLE 所以所以2 nS是是2 的的 MVUE。第6页，此课件共30页哦7 定理定理2.7给出了最小方差无偏估计的一种判别方法，但由给出了最小方差无偏估计的一种判别方法，但由上例可见，该判别法使用并不方便，而且还只是一个充分条上例可见，该判别法使用并不方便，而且还只是一个充分条件。为了寻求更好的方法，需要借助充分统计量甚至充分完件。为了寻求更好的方法，需要借助充分统计量甚至充分完备统计量的概念。备统计量的概念。第7页，此课件共30页哦8定理定理2.8的说明的说明：如果无偏估计不是充分统计量如果无偏估计不是充分统计量的函数，则将之对充分统计量求条件期望可以的函数，则将之

4、对充分统计量求条件期望可以得到一个新的无偏估计，该估计的方差比原来得到一个新的无偏估计，该估计的方差比原来的估计的方差要小，从而降低了无偏估计的方的估计的方差要小，从而降低了无偏估计的方差。差。换言之，考虑换言之，考虑的估计问题只需要在基于的估计问题只需要在基于充分统计量的函数中进行即可，充分统计量的函数中进行即可，该说法对所有该说法对所有的统计推断问题都是正确的，这便是所谓的的统计推断问题都是正确的，这便是所谓的充充分性原则分性原则。第8页，此课件共30页哦9第9页，此课件共30页哦10第10页，此课件共30页哦11且且 11)|(DTED，22)|(DTED。第11页，此课件共30页哦12

5、第12页，此课件共30页哦13(|)E XTX，222(|)nnE STS。分分别别是是和和2惟惟一一的的最最小小方方差差无无偏偏估估计计。第13页，此课件共30页哦14解解 样本的联合分布为样本的联合分布为 12111,0,()()0,nnniiix xxLf x其他(1)()(0,)()1,0(),0,nnnxxIx其他 第14页，此课件共30页哦15其中其中(1)x、()nx为最小、最大次序统计量的取值，为最小、最大次序统计量的取值，(0,)()Ix为为示性函数，即示性函数，即(0,)1 0()0 ,xIx其他 第15页，此课件共30页哦16易易验验证证该该分分布布族族是是完完备备的的，

6、因因而而()nX是是的的充充分分完完备备统统计计量量。又因又因()0,1nnnnnEXx dxn()()()11|nnnnnEXXXnn 是是的最小方差无偏估计。的最小方差无偏估计。第16页，此课件共30页哦17 2.要直接验证某个估计量是最小方差无偏估计量要直接验证某个估计量是最小方差无偏估计量是困难的是困难的.若能求出无偏估计中方差的下界若能求出无偏估计中方差的下界,而且又而且又能说明参数能说明参数 的的一切无偏估计中一切无偏估计中存在某个估计存在某个估计 的的方差能达到这个下界方差能达到这个下界，那么，那么 就是就是 的最小方差无的最小方差无偏估计偏估计.下面给出一个判别准则：下面给出一

7、个判别准则：1.最小方差无偏估计提供了一种优良的估计，然而最小方差无偏估计提供了一种优良的估计，然而一个更深入的问题是：无偏估计的方差是否可以任意一个更深入的问题是：无偏估计的方差是否可以任意小？如果不可以，那么它的下界是多少？这个下界等小？如果不可以，那么它的下界是多少？这个下界等否达到？否达到？第17页，此课件共30页哦定理定理2.10 (Cramer-Rao不等式不等式)设设X1,X2,Xn是是从密度函数为从密度函数为 的总体抽取的样本的总体抽取的样本,是是 的一个无偏估计的一个无偏估计,若若集合集合 与与 无关无关;对对 积分与微分可交换且积分与微分可交换且 存在，即存在，即(3)(1

8、)(;)f x1(,)nTXX()g:(;)0Ax f x(;)f x()g111()()(,)(;)nniniE TgT xxf xdxdx 22ln(;)0ln(;)(;),f xEf Xf xdx则有则有第18页，此课件共30页哦2()(),()gD TnI()g()I其中其中常称常称为为Fisher信息量信息量.特别当特别当 ,有有1()()D TnI()I常用的另一个表达式常用的另一个表达式22()ln(;)IEf X()D T常称为常称为C-R不等式不等式.2()ln(;)IEf X第19页，此课件共30页哦 费希尔信息量是数理统计学中一个基本概念，很多费希尔信息量是数理统计学中一

9、个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希计的渐近方差，无偏估计的方差的下界等都与费希尔信息量尔信息量I()有关。有关。I()的种种性质显示，的种种性质显示，“I()越越大大”可被解释为总体分布中包含未知参数可被解释为总体分布中包含未知参数 的信息越多。的信息越多。第20页，此课件共30页哦例例2.22 设总体服从泊松分布设总体服从泊松分布 ，X1,X2,Xn 是来自总是来自总体的一个样本，试求参数体的一个样本，试求参数 的无偏估计的下界？的无偏估计的下界？()P解解:(1):(1)写出密

10、度函数写出密度函数 (2)(2)求密度函数对数、再求导求密度函数对数、再求导 (3)(3)计算计算fisherfisher信息量信息量 (4)(4)代入代入C-RC-R不等式求方差下界不等式求方差下界第21页，此课件共30页哦1.写出密度函数写出密度函数，求对数，求对数2.计算计算fiser信息量信息量3.代入代入C-R不等式不等式求方差下界求方差下界第22页，此课件共30页哦例例2.23 设设 X1,X2,Xn 是取自总体是取自总体 X 的一个样本的一个样本,求求 的无偏估计的方差下界的无偏估计的方差下界.解解:(1)写出密度函数写出密度函数 (2)求密度函数对数、再求导求密度函数对数、再求

11、导 (3)计算计算 (4)代入代入C-R不等式求方差下界不等式求方差下界 最后寻找无偏估计中满足方差下界的估计量最后寻找无偏估计中满足方差下界的估计量.2(,)N 2,()I2(;,)f x 2()I第23页，此课件共30页哦1.写出密度函数写出密度函数2.求密度函数对数求密度函数对数3.计算计算fiser信息量信息量4.代入代入C-R不等式不等式求方差下界求方差下界第24页，此课件共30页哦2.求密度求密度函数对数函数对数的导数的导数3.计算计算fiser信信息量息量4.代入代入C-R不等式求不等式求方差下界方差下界5.计算最小方差无计算最小方差无偏估计的方差偏估计的方差第25页，此课件共3

12、0页哦262、有效估计、有效估计1)定义定义2.8 P57的有效估计量的有效估计量为为则称则称即即下界下界的方差达到的方差达到的一个无偏估计量的一个无偏估计量若若 )(1)(,nIDCR 的的效效率率为为称称的的任任意意一一个个无无偏偏估估计计量量若若 )()(1)(,DnIe 的的有有效效估估计计是是时时且且从从而而 ,1)(,1)(0 ee的的渐渐近近有有效效估估计计是是则则称称的的效效率率满满足足的的无无偏偏估估计计量量若若 1)(lim en第26页，此课件共30页哦 例例2.24 设设 X1,X2,Xn 是取自总体是取自总体 XB(N,p)的一个样的一个样本，验证本，验证 是参数是参数P的有效估计量的有效估计量.1NX1.写出概率函数写出概率函数,再求对数再求对数2.计算计算fiser信信息量息量3.代入代入C-R不等式不等式求方差下界求方差下界第27页，此课件共30页哦4.计算无偏估计的计算无偏估计的方差方差5.计算效率计算效率第28页，此课件共30页哦可能不是无偏估计可能不是无偏估计第29页，此课件共30页哦感谢大家观看感谢大家观看第30页，此课件共30页哦