最小方差无偏估计.ppt
最小方差无偏估计现在学习的是第1页，共18页 以下定理说明：好的无偏估计都是充分统计量的函数。定理6.3.2 设总体概率函数是 p(x,)，x1,x2,xn 是其样本，T=T(x1,x2,xn)是的充分统计量，则 对的任一无偏估计 ，令 ，则 也是 的无偏估计，且 1(,)nxx(|)ETVar()Var()现在学习的是第2页，共18页 定理6.3.2说明：如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期 望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可，该说法对所有的统计推断问题 都是正确的，这便是所谓的充分性原则。现在学习的是第3页，共18页例6.3.1 设 x1,x2,xn 是来自b(1,p)的样本，则 是p 的充分统计量。为估计 =p2，可令 由于 ，所以 是 的无偏估计。这个只使用了两个观测值的估计并不好.下面我们用Rao-Blackwell定理对之加以改进：求 关于充分统计量 的条件期望，得Tnx12111,10 xx，其它112()(1,1)EP xxp p 111niiTx12(1)(|)/2(1)nnt tETtttn n 现在学习的是第4页，共18页6.3.2 最小方差无偏估计 定义6.3.1 对参数估计问题，设 是 的一个无 偏估计，如果对另外任意一个 的无偏估计，在参数空间上都有 则称 是 的一致最小方差无偏估计，简记为 UMVUE。如果UMVUE存在，则它一定是充分 统计量的函数。Var()Var()现在学习的是第5页，共18页 定理6.3.3 设 x=(x1,x2,xn)是来自某总体的一个样本，是 的一个无偏估计，如果对任意一个满足E(x)=0的(x)，都有 则 是 的UMVUE。()xVar().Cov(,)0,关于UMVUE，有如下一个判断准则。现在学习的是第6页，共18页 例6.3.2 设 x1,x2,xn 是来自指数分布Exp(1/)的样本，则T=x1+xn 是的充分统计量，而 是的无偏估计。设=(x1,x2 ,xn)是0的任一无偏估计，则 两端对求导得 这说明 ，从而 由定理6.3.3，它是的UMVUE。/xTn()/1100(,)0inxxnnxxedxdx()/11200(,)0inxxnnnxxxedxdx()0E xCov(,)()()()0 xE xE xE现在学习的是第7页，共18页6.3.3 Cramer-Rao不等式 定义6.3.2 设总体的概率函数 P(x,),满足下列条件：(1)参数空间是直线上的一个开区间；(2)支撑 S=x:P(x,)0与 无关；(3)导数 对一切都存在；(4)对P(x,)，积分与微分运算可交换次序；(5)期望 存在；则称 为总体分布的费希尔(Fisher)信息量。(;)p x2ln(;)Ep x2()ln(;)IEp x现在学习的是第8页，共18页 费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I()有关。I()的种种性质显示，“I()越大”可被解释为总体分布中包含未知参数 的信息越多。现在学习的是第9页，共18页例6.3.3 设总体为泊松分布P()分布，则 于是ln(;)lnln(!)p xxxln(;)1xp x21()XIE现在学习的是第10页，共18页例6.3.4 设总体为指数分布，其密度函数为 可以验证定义6.3.2的条件满足，且 于是1(;)exp,0,0 xp xx221ln(;)xxp x 2242Var()1()xxIE现在学习的是第11页，共18页定理6.3.4（Cramer-Rao不等式）设定义6.3.2的条件满足，x1,x2,xn 是来自该总体的样本，T=T(x1,x2,xn)是g()的任 一个无偏估计，存在，且对一切，微分可在积分号下进行，则有 ()()gg2Var()()()TgnI现在学习的是第12页，共18页 上式称为克拉美-罗（C-R）不等式;g()2/(nI()称为g()的无偏估计的方差 的C-R下界，简称g()的C-R下界。l 特别，对 的无偏估计 ,有 ;1Var()()nI 如果等号成立，则称 T=T(x1,xn)是 g()的有效估计，有效估计一定是UMVUE。现在学习的是第13页，共18页例6.3.5 设总体分布列为p(x,)=x(1-)1-x,x=0,1，它满足定义6.3.2的所有条件，可以算得该分布的费希尔信息量为 ，若 x1,x2,xn 是该总体的样本，则 的C-R下界为(nI()-1=(1-)/n。因为 是 的无偏估计，且其方差等于(1-)/n，达到C-R 下界，所以 是 的有效估计，它也是 的UMVUE。1()(1)Ixx现在学习的是第14页，共18页例6.3.6 设总体为指数分布Exp(1/)，它满足定义6.3.2的所有条件，例6.3.4中已经算出该分布的费希尔信息量为I()=-2，若x1,x2,xn 是样本，则的C-R下界为(nI()-1=2/n。而 是的无偏估计，且其方差等于2/n，达到了C-R下界，所以，是的有效估计，它也是的UMVUE。xx现在学习的是第15页，共18页能达到C-R下界的无偏估计不多:例6.3.7 设总体为N(0,2)，满足定义6.3.2的条件，且费希尔信息量为 ，令 ,则 的C-R下界为 ,而 的UMVUE为 其方差大于C-R下界。这表明所有 的无偏估计的方差都大于其C-R下界。241()2I22()g2222()()2gnIn21(/2)12(1)/2)niinnxnn现在学习的是第16页，共18页费希尔信息量的主要作用体现在极大似然估计。定理6.3.5 设总体X有密度函数 p(x;)，为非退化区间，假定 (1)对任意的x，偏导数 ，和 对所有都存在；(2),有 ，其中函数F1(x),F2(x),F3(x)可积.ln p22ln p33ln p2312323ln(),(),()pppF xFxFx现在学习的是第17页，共18页 (3),若 x1,x2,xn 是来自该总体的样本，则存在未知参数 的极大似然估计 ，且 具有相合性和渐近正态性:1,()nNnI2ln0()(;)pIp xdx1(,)nnnxxn现在学习的是第18页，共18页
