数理统计第七章 参数估计.pptx

《数理统计第七章 参数估计.pptx》由会员分享，可在线阅读，更多相关《数理统计第七章 参数估计.pptx（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、7.1 点估计一、参数估计的概念 定义 设X1，Xn是总体X的一个样本，其概率函数为f(x;),。其中为未知参数,为参数空间,f(x;)可表示分布律或密度函数.若统计量g(X1,Xn)可作为的一个估计，则称其为的一个估计量，记为第1页/共63页若x1，xn是样本的一个观测值，则称 由于g(x1，xn)是实数域上的一个点，现用它来估计，故称这种估计为点估计。点估计的经典方法是矩估计法与极大似然估计法。第2页/共63页二、矩估计法(简称“矩法”)定义 用样本矩作为总体同阶矩的估计，从而解出未知参数的方法称为矩估计法或矩法。的矩估计可记为 应满足方程：k的取值取决于f(x;)中未知参数的维数。若维数

2、为1，即仅有一个参数，则可在第一个方程中让k取1；若维数为2，则可让k取1和2，解联立方程即可得或余类推。矩估计第3页/共63页第4页/共63页第5页/共63页第6页/共63页三、极大似然估计法1、极大似然思想 你从河海大学校本部去火车站赶火车，25分钟后列车就要开了，你是坐公共汽车去还是坐出租车去？答案是坐出租车去。这是因为坐出租车在25分钟内赶到火车站的把握大。一般说，事件A与参数有关，取值不同，则P(A)也不同。若A发生了，则认为此时的值就是的估计值。这就是极大似然思想。第7页/共63页 例5 设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率p

3、。解 易知p的值无非是1/4或3/4。现从袋中有放回地任取3只球，用X表示其中的黑球数，则Xb(3,p)，要估计p的值。对p的不同取值，X取k=0,1,2,3的概率可列表如下:X X 0 1 2 3 0 1 2 3 (p p=1/4)27/64 27/64 9/64 1/64=1/4)27/64 27/64 9/64 1/64 (p p=3/4)1/64 9/64 27/64 27/64=3/4)1/64 9/64 27/64 27/64第8页/共63页故根据极大似然思想即知2、似然函数与极大似然估计为该总体的为该总体的似然函数。它实际上代表样本取其观测值时的概率。第9页/共63页定义 3、极

4、大似然估计的推求(1)解似然方程法第10页/共63页称为未知参数的似然方程。若该方程有解，则其解就是(2)直接法 由似然方程解不出的似然估计时，可由定义通过分析直接推求。第11页/共63页第12页/共63页第13页/共63页注解：若概率函数中含有多个未知参数，比如则可解方程组 若碰到用似然方程解不出MLE，则可用直接法推求.若u=g(x)的反函数单值,则u=g()的MLE为第14页/共63页7.2 估计量的评选标准一、均方误差为 的均方误差。易知事实上，则称随机误差系统误差第15页/共63页二、无偏性 易知，样本均值和样本方差分别是总体均值和总体方差的无偏估计。事实上，第16页/共63页第17

5、页/共63页三、有效性 易知，样本X1,Xn的加权平均值都是EX的无偏估计。但当i=1/n时，其方差最小。1.最小方差无偏估计事实上，由柯西不等式可知：对任意实向量a,b,都有第18页/共63页定义 设 为的一个无偏估计，若对的任何无偏估计都有则称 为的最小方差无偏估计(MVUE)。故 显然，根据均方误差准则，最小方差无偏估计是无偏估计类中最好的估计。那么，如何寻求最小方差无偏估计呢？究竟方差小到什么程度才可达到最小值呢？第19页/共63页 罗克拉美不等式给出了无偏估计的方差下界。2.罗克拉美(Rao-Cramer)不等式 定理7.2.1 设总体X为连续型随机变量，密度函数为f(x;),为未知

6、参数，X1,Xn为来自该总体得一个样本。T(X1,Xn)为可估计函数g()的无偏估计量。如果满足下列正则条件：第20页/共63页(3)g()存在，且有则有特别，当g()=时，上式可简化为性质 若则第21页/共63页3.有效估计.差界的无偏估计量的有效估计量或达到方为则称称为无偏估计 的有效率。.)()(1,),(,221222221有效估计量的却是已知而的有效估计量是不的有效估计量是则设例=niiiidnXnSSXNXX L第22页/共63页四、一致性的一致性估计量。是则称的估计量，若是设 ，)X,(X Pn1=L例3 设m已知，0 p 1，试求出并讨论其一致性。第23页/共63页第24页/共

7、63页7.3 充分性与完备性一、充分性设T(X1,Xn)是统计量其中f(x;)是总体的概率函数，是 T(x1,xn)的概率函数依赖于，h(x1,xn)非负且不依赖于.则称T(X1,Xn)是的充分统计量。试求出已知，例1 设iidnppp1BX,10),(X 1L的充分统计量。定义若第25页/共63页是 p 的充分统计量。第26页/共63页定理 费歇尔 奈曼(Fisher-Neyman)因子分解定理其中f(x;)是总体的概率函数,g是 T(x1,xn)的函数依赖于,h(x1,xn)非负且不依赖于.T(X1,Xn)是的充分统计量的充分必要条件是试求是 p 的充分统计量。令第27页/共63页故由因子

8、分解定理知，是的充分统计量。注意：充分统计量不唯一。事实上，以上例题中，也是的充分统计量。的充分统计量.令即知，是的充分统计量。第28页/共63页即总体有密度于是样本的联合密度函数为由于诸xi0,所以上式可改写成故,若取则可知X(n)是 的充分统计量。第29页/共63页 既然充分统计量集中了样本中关于未知参数 的全部信息,那么我们有理由相信充分统计量的单值函数也包含了 的全部信息。可以证明，若 T 为 的充分统计量，函数 u(t)具单值反函数，则u(T)也是 的充分统计量。定理 罗 布莱克韦尔(Rao-Blackwell)定理 设T(X1,Xn)是的充分统计量，S(X1,Xn)是g()的无偏估

9、计量，且对，D(S),令T*=E(S|T),则对 有且除PS=T*=1外，上述不等式中严格不等号成立。p241 该定理告诉我们，MVUE一定是充分无偏估计。因此，MVUE只需在充分无偏估计类中寻找即可。第30页/共63页二、完备性 显然若某个参数的充分无偏统计量是唯一(a.e.意义下)的，那么这个充分无偏统计量就是该参数的MVUE.什么时候充分无偏统计量是唯一的呢？完备性能回答这个问题。定义 统计量T 称为是完备统计量，若对任意的定义在T的值域上的实函数h,只要E h(T)=0就有h(T)=0几乎处处成立。即P h(T)=0=1.定理 设T是一个充分完备统计量，S是 g()的无偏估计量,且对,

10、D(S),则T*=E(S|T)是 g()的唯一的最小方差无偏估计(MVUE).p242第31页/共63页三、指数族定义 若样本联合概率函数具有形式其中C(),bj(),j=1,k 为仅依赖于 的函数，h(x1,xn),Tj(x1,xn),j=1,k 为仅与x1,xn有关的函数.则称总体X 的分布为 k 参数指数族分布。指数族分布是极为广泛的一类分布，它包含了大部分的常用分布，如二项分布、泊松分布、正态分布、指数分布等。(7.3.3)第32页/共63页 定理 设总体X 的分布为 k 参数指数族分布,X1,Xn为来自总体X 的样本,其联合概率函数具有(7.3.3)的形式,则 k维统计量T=(T1,

11、Tk)是 的充分统计量.又若*=b1(),bk():作为Rk的子集有内点，则 T 也是完备的。证略由例可知,的充分完备统计量.由于的单值函数，事实上故分别是,2 的MVUE.第33页/共63页7.4 区间估计一、概念i=1，2，为两个统计量，给定：0 1，若有 P1 2=1 ，则称1 为置信度，(1，2)为 的置信区间，1 为置信下限，2为置信上限。(1，2)也称为 的区间估计。i=i(X1,Xn),第34页/共63页二、置信区间 100组观测值对应100个置信区间，每一个置信区间可能包含 的真值，也可能不包含 的真值。若给定，则表示100个这样的区间里，大约有95个包含 的真值。对样本X1,

12、Xn的每一组观测值，比如说我们均可由给定的置信度1,求得一个置信区间第35页/共63页 用置信度为1的置信区间(1,2)去估计未知参数,显然1是越大越好,它反映区间估计的可靠性，而21 则是越小越好，它反映区间估计的精度。本课程主要讨论正态总体参数的置信区间问题。三、主元(枢轴量)推求未知参数 的置信区间首先要构造“主元”。仅含待估参数，分布已知，且其分布与未知参数无关的随机变量称为主元或枢轴量。令主元落在由分位点组成的区间里的概率为置信度，解出未知参数即可得到所求的置信区间。第36页/共63页7.5 正态总体参数的区间估计正态总体参数的区间估计一、单正态总体均值的置信区一、单正态总体均值的置

13、信区间间1、2已知第37页/共63页注：在推求的置性区间的过程中，我们发现的置性区间是不唯一的，事实上，由 (1-)1-查表、计算即得 的置信度为1 的置信区间 也可解得 的随机置信区间。(置信度为1)第38页/共63页是 的长度最短的置性区间。以后，在各种情况下，推求置性区间的思路与这里类似。其中0 1是未知参数,X1,Xn是来自总体X的一个容量为n 的简单随机样本,分别用矩估计法和极大似然估计法求 的估计量.2.设总体X的概率密度为X1,Xn是来自总体X的简单随机样本 (1)求 的矩估计量 ;(2)求出D().第58页/共63页3.2000(一)十三6 设某种元件的使用寿命X的概率密度为其

14、中 0是未知参数,又设x1,xn是X的一组样本观测值,求 的极大似然估计值.4.2000(三)十一8 假设是来自总体X简单随机样本,已知Y=lnX服从正态分布N(,1).(1)求X的数学期望EX(记EX为b);(2)求的置信度为的置信区间;(3)利用上述结果求b的置信度为的置信区间.第59页/共63页5.2001(一)十二7 设总体X N(,2),(0).从该总体中抽取简单随机样本X1,X2n,(n2),其样本均值为,求统计量,的数学期望E(Y).6.2002(一)十二7 设总体X X 0 1 2 3P 2 2(1)2 12其中(0 1/2)是未知参数,利用总体X 的如下样本值:3,1,3,0

15、,3,1,2,3求 的矩估计值和极大似然估计值.第60页/共63页7.2003(一)十二8 设总体X的概率密度为其中 0是未知参数,而X1,Xn是X的简单随机样本,记(1)求总体X的分布函数F(x);(2)求统计量(3)如果用 作为 的估计量,讨论它的无偏性.的分布函数第61页/共63页8.设X的分布函数为其中0,1是未知参数,X1,Xn是X的简单随机样本,求 (I)=1时,的矩估计量;(II)=1时,的极大似然估计量;(III)=2时,的极大似然估计量.9 设总体X 服从U0,未知,X1,Xn是X 的一个样本.(1)则 都是 的无偏估计;(2)上述两个估计中哪个方差较小？(3)试证 是 的最小方差无偏估计。第62页/共63页感谢您的观看！第63页/共63页