第六章-参数估计课件.ppt

《第六章-参数估计课件.ppt》由会员分享，可在线阅读，更多相关《第六章-参数估计课件.ppt（105页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第1 1页页第六章 参数估计 6.1 点估计的几种方法6.2 点估计的评价标准6.3 最小方差无偏估计6.4 贝叶斯估计6.5 区间估计 第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第2 2页页一般常用 表示参数，参数 所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。参数估计的形式有两种：点估计与区间估计。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第3 3页

2、页设 x1,x2,xn 是来自总体 X 的一个样本，我们用一个统计量 的取值作为 的估计值，称为 的点估计（量），简称估计。在这里如何构造统计量 并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：其一 是如何给出估计，即估计的方法问题；其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第4 4页页6.1 点估计的几种方法 6.1.1 替换原理和矩法估计 一、矩法估计 替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如：用样本均值估计总体均值E(X)，即 ；用样本方差估计

3、总体方差Var(X)，即用样本的 p 分位数估计总体的 p 分位数，用样本中位数估计总体中位数。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第5 5页页例6.1.1 对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下：29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有 由此给出总体均值、方差和中位数的估计分别为:28.695,0.9185 和 28.6。矩法估计的实质是用经

4、验分布函数去替换总体分布，其理论基础是格里纹科定理。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第6 6页页二、概率函数二、概率函数P P(x x,)已知时未知参数的矩法估计已知时未知参数的矩法估计 设总体具有已知的概率函数 P(x,1,k)，x1,x2,xn 是样本，假定总体的k阶原点矩k存在，若 1,k 能够表示成 1,k 的函数 j=j(1,k)，则可给出诸 j 的矩法估计为 其中第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第7 7页页例6.1.2 设总体服从指数分布，由于EX=1/，即=1/

5、EX，故 的矩法估计为 另外，由于Var(X)=1/2，其反函数为 因此，从替换原理来看，的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第8 8页页例6.1.3 x1,x2,xn是来自(a,b)上的均匀分布U(a,b)的样本，a与b均是未知参数，这里k=2，由于 不难推出 由此即可得到a,b的矩估计：第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第9 9页页6.1.2

6、极(最)大似然估计 定义6.1.1 设总体的概率函数为P(x;)，是参数 可能取值的参数空间，x1,x2,xn 是样本，将样本的联合概率函数看成 的函数，用L(;x1,x2,xn)表示，简记为L()，称为样本的似然函数。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第1010页页 如果某统计量 满足 则称 是 的极(最)大似然估计，简记为MLE（Maximum Likelihood Estimate）。人们通常更习惯于由对数似然函数lnL()出发寻找 的极大似然估计。当L()是可微函数时，求导是求极大似然估计最常用的方法，对lnL()求导更加简单些

7、。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第1111页页例6.1.6 设一个试验有三种可能结果，其发生概率分别为 现做了n次试验，观测到三种结果发生的次数分别为 n1,n2 ,n3(n1+n2+n3=n)，则似然函数为 其对数似然函数为第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第1212页页将之关于 求导，并令其为0得到似然方程解之，得由于所以 是极大值点。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第1313页页例6.1.7 对正态总体N(,2

8、)，=(,2)是二维参数，设有样本 x1,x2,xn，则似然函数及其对数分别为 第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第1414页页 将 lnL(,2)分别关于两个分量求偏导并令其为0,即得到似然方程组 (6.1.9)(6.1.10)第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第1515页页 解此方程组，由(6.1.9)可得 的极大似然估计为 将之代入(6.1.10)，得出 2的极大似然估计 利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。第六章第六章 参数估计参数估计白城师

9、范学院白城师范学院2/13/20232/13/2023第第1616页页 虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。例6.1.8 设 x1,x2,xn 是来自均匀总体 U(0,)的样本，试求 的极大似然估计。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第1717页页 解 似然函数 要使L()达到最大，首先一点是示性函数取值应该为1，其次是1/n尽可能大。由于1/n是 的单调减函数，所以 的取值应尽可能小，但示性函数为1决定了 不能小于x(n)，由此给出 的极大似然估计：。第六章第六章 参数估计参数估计白城师范学院白

10、城师范学院2/13/20232/13/2023第第1818页页 极大似然估计有一个简单而有用的性质：如果 是 的极大似然估计，则对任一函数 g()，其极大似然估计为 。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第1919页页 例6.1.9 设 x1,x2 ,xn是来自正态总体N(,2)的样本，则和 2的极大似然估计为 ，于是由不变性可得如下参数的极大似然估计，它们是:标准差 的MLE是 ；第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/202

11、32/13/2023第第2020页页概率 的MLE是 ；总体0.90分位数 x0.90=+u0.90 的MLE是 ，其中u0.90为标准正态分布的0.90分位数。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第2121页页6.2 点估计的评价标准 6.2.1 相合性 我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。但如果我们有足够的观测值，根据格里纹科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严

12、格定义如下。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第2222页页定义6.2.1 设 为未知参数，是 的一个估计量，n 是样本容量，若对任何一个0，有 (6.2.1)则称 为 参数的相合估计。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第2323页页 相合性被认为是对估计的一个最基本要求,如果一个估计量,在样本量不断增大时，它都不能把被估参数估计到任意指定的精度,那么这个估计是很值得怀疑的。通常,不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由定义来证.第六章第六章

13、 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第2424页页 若把依赖于样本量n的估计量 看作一个随机变量序列,相合性就是 依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第2525页页在判断估计的相合性时下述两个定理是很有用的。定理6.2.1 设 是 的一个估计量，若 则 是 的相合估计，定理6.2.2 若 分别是 1,k 的相合估 计，=g(1,k)是 1,k 的连续函数，则 是 的相合估计。第六章第六章 参数估计参数估计白城师范学院白城师范

14、学院2/13/20232/13/2023第第2626页页例6.2.2 设 x1,x2,xn 是来自均匀总体U(0,)的样本，证明 的极大似然估计是相合估计。证明：在例6.1.7中我们已经给出 的极大似然估计是 x(n)。由次序统计量的分布，我们知道 x(n)的分布密度函数为 p(y)=nyn-1/n,y 1，比 有效。这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第3333页页例6.2.7 均匀总体U(0,)中 的极大似然估计是x(n)，由于 ，所以x(n)不是 的无偏估计，而是 的渐近无

15、偏估计。经过修偏后可以得到 的一个无偏估计：。且 另一方面，由矩法我们可以得到 的另一个无偏估计 ，且 由此，当n1时，比 有效。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第3434页页6.2.4 均方误差 无偏估计不一定比有偏估计更优。评价一个点估计的好坏一般可以用：点估计值 与参数真值 的距离平方的期望，这就是下式给出的均方误差 均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第3535页页 注意到 ，因此(1)若 是 的无偏估计

16、，则 ，这说明用方差考察无偏估计有效性是合理的。(2)当 不是 的无偏估计时，就要看其均方 误差 。下面的例子说明：在均方误差的含义下有些有偏 估计优于无偏估计。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第3636页页例6.2.8 对均匀总体U(0,)，由 的极大似然估计得到的无偏估计是 ，它的均方误差 现我们考虑的形如 的估计，其均方差为 用求导的方法不难求出当 时上述均方误差达到最小，且其均方误差 所以在均方误差的标准下，有偏估计 优于无偏估计 。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第

17、3737页页6.3 最小方差无偏估计 6.3.1 Rao-Blackwell定理 以下定理说明：好的无偏估计都是充分统计量的函数。定理6.3.2 设总体概率函数是 p(x,)，x1,x2,xn 是其样本，T=T(x1,x2,xn)是 的充分统计量，则 对 的任一无偏估计 ，令 ，则 也是 的无偏估计，且 第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第3838页页 定理6.3.2说明：如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期 望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，

18、考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可，该说法对所有的统计推断问题 都是正确的，这便是所谓的充分性原则。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第3939页页例6.3.1 设 x1,x2,xn 是来自b(1,p)的样本，则 是p 的充分统计量。为估计 =p2，可令 由于 ，所以 是 的无偏估计。这个只使用了两个观测值的估计并不好.下面我们用Rao-Blackwell定理对之加以改进：求 关于充分统计量 的条件期望，得第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第4040页页6

19、.3.2 最小方差无偏估计 定义6.3.1 对参数估计问题，设 是 的一个无 偏估计，如果对另外任意一个 的无偏估计，在参数空间上都有 则称 是 的一致最小方差无偏估计，简记为 UMVUE。如果UMVUE存在，则它一定是充分 统计量的函数。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第4141页页 定理6.3.3 设 x=(x1,x2,xn)是来自某总体的一个样本，是 的一个无偏估计，如果对任意一个满足E(x)=0的(x)，都有 则 是 的UMVUE。关于UMVUE，有如下一个判断准则。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/1

20、3/20232/13/2023第第4242页页 例6.3.2 设 x1,x2,xn 是来自指数分布Exp(1/)的样本，则T=x1+xn 是 的充分统计量，而 是 的无偏估计。设=(x1,x2 ,xn)是0的任一无偏估计，则 两端对 求导得 这说明 ，从而 ，由定理6.3.3，它是 的UMVUE。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第4343页页6.3.3 Cramer-Rao不等式 定义6.3.2 设总体的概率函数 P(x,),满足下列条件：(1)参数空间是直线上的一个开区间；(2)支撑 S=x:P(x,)0与 无关；(3)导数 对一切

21、 都存在；(4)对P(x,)，积分与微分运算可交换次序；(5)期望 存在；则称 为总体分布的费希尔(Fisher)信息量。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第4444页页 费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I()有关。I()的种种性质显示，“I()越大”可被解释为总体分布中包含未知参数 的信息越多。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第4545页页例6.3.3 设总体为泊松分布

22、P()分布，则 于是第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第4646页页例6.3.4 设总体为指数分布，其密度函数为 可以验证定义6.3.2的条件满足，且 于是第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第4747页页定理6.3.4（Cramer-Rao不等式）设定义6.3.2的条件满足，x1,x2,xn 是来自该总体的样本，T=T(x1,x2,xn)是g()的任 一个无偏估计，存在，且对 中一切 ，微分可在积分号下进行，则有 第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/2

23、0232/13/2023第第4848页页 上式称为克拉美-罗（C-R）不等式;g()2/(nI()称为g()的无偏估计的方差 的C-R下界，简称g()的C-R下界。特别，对 的无偏估计 ,有 ;如果等号成立，则称 T=T(x1,xn)是 g()的有效估计，有效估计一定是UMVUE。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第4949页页例6.3.5 设总体分布列为p(x,)=x(1-)1-x,x=0,1，它满足定义6.3.2的所有条件，可以算得该分布的费希尔信息量为 ，若 x1,x2,xn 是该总体的样本，则 的C-R下界为(nI()-1=(1

24、-)/n。因为 是 的无偏估计，且其方差等于 (1-)/n，达到C-R 下界，所以 是 的有效估计，它也是 的UMVUE。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第5050页页例6.3.6 设总体为指数分布Exp(1/)，它满足定义6.3.2的所有条件，例6.3.4中已经算出该分布的费希尔信息量为I()=-2，若x1,x2,xn 是样本，则 的C-R下界为(nI()-1=2/n。而 是 的无偏估计，且其方差等于 2/n，达到了C-R下界，所以，是 的有效估计，它也是 的UMVUE。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13

25、/20232/13/2023第第5151页页能达到C-R下界的无偏估计不多:例6.3.7 设总体为N(0,2)，满足定义6.3.2的条件，且费希尔信息量为 ，令 ,则 的C-R下界为 ,而 的UMVUE为 其方差大于C-R下界。这表明所有 的无偏估计的方差都大于其C-R下界。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第5252页页费费希尔信息量的希尔信息量的主要作用主要作用体现在极大似然估计。体现在极大似然估计。定理6.3.5 设总体X有密度函数 p(x;)，为非退化区间，假定 (1)对任意的x，偏导数 ，和 对所有 都存在；(2),有 ，其中

26、函数F1(x),F2(x),F3(x)可积.第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第5353页页 (3),若 x1,x2,xn 是来自该总体的样本，则存在未知参数 的极大似然估计 ，且 具有相合性和渐近正态性:第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第5454页页6.4 贝叶斯估计 6.4.1 统计推断的基础 经典学派的观点：统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总体信息和样本信息；贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先

27、验信息。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第5555页页（1）总体信息:总体分布提供的信息。（2）样本信息:抽取样本所得观测值提供的信息。（3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第5656页页 基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。

28、它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第5757页页 贝叶斯学派的基本观点：任一未知量 都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量 新的分布后验分布；任何关于 的统计推断都应该基于 的后验分

29、布进行。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第5858页页6.4.2 贝叶斯公式的密度函数形式 总体依赖于参数 的概率函数在贝叶斯统计中记为P(x|)，它表示在随机变量取某个给定值时总体的条件概率函数；根据参数 的先验信息可确定先验分布()；从贝叶斯观点看，样本 x1,x2,xn 的产生分两步进行:首先从先验分布()产生一个样本 0，然后从P(x|0)中产生一组样本。这时样本的联合条件概率函数为 ，这个分布综合了总体信息和样本信息；第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第5959页页

30、0 是未知的，它是按先验分布()产生的。为把先验信息综合进去，不能只考虑 0，对的其它值发生的可能性也要加以考虑，故要用()进行综合。这样一来，样本x1,xn和参数 的联合分布为:h(x1,x2 ,xn,)=p(x1,x2 ,xn )()，这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第6060页页在没有样本信息时，人们只能依据先验分布对 作出推断。在有了样本观察值 x1,x2,xn 之后，则应依据 h(x1,x2,xn,)对 作出推断。由于 h(x1,x2,xn,)=(x1,x2

31、,xn)m(x1,x2,xn)，其中 是x1,x2,xn 的边际概率函数，它与 无关，不含 的任何信息。因此能用来对 作出推断的仅是条件分布(x1,x2,xn)，它的计算公式是 第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第6161页页 这个条件分布称为 的后验分布后验分布，它集中了总体、样本和先验中有关 的一切信息。后验分布(x1,x2,xn)的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布()作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/1

32、3/2023第第6262页页6.4.3 贝叶斯估计 基于后验分布(x1,x2,xn)对 所作的贝叶斯估计有多种，常用有如下三种：使用后验分布的密度函数最大值作为 的点估计，称为最大后验估计；使用后验分布的中位数作为 的点估计，称为后验中位数估计；使用后验分布的均值作为 的点估计，称为后验期望估计。用得最多的是后验期望估计，它一般也简称为贝叶斯估计，记为 。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第6363页页例6.4.2 设某事件A在一次试验中发生的概率为 ，为估计 ，对试验进行了n次独立观测，其中事件A发生了X次，显然 X b(n,)，即

33、假若我们在试验前对事件A没有什么了解，从而对其发生的概率 也没有任何信息。在这种场合，贝叶斯本人建议采用“同等无知”的原则使用区间（0,1）上的均匀分布U(0,1)作为 的先验分布，因为它取（0,1）上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第6464页页 由此即可利用贝叶斯公式求出 的后验分布。具体如下：先写出X和 的联合分布 然后求X的边际分布 最后求出 的后验分布 最后的结果说明 X Be(x+1,n-x+1)，其后验期望估计为 (6.4.4)第六章第六章 参数估计参数估计白城师

34、范学院白城师范学院2/13/20232/13/2023第第6565页页某些场合，贝叶斯估计要比极大似然估计更合理一点。比如:“抽检3个全是合格品”与“抽检10个全是合格品”，后者的质量比前者更信得过。这种差别在不合格品率的极大似然估计中反映不出来（两者都为0），而用贝叶斯估计两者分别是 0.2 和 0.83。由此可以看到，在这些极端情况下，贝叶斯估计比极大似然估计更符合人们的理念。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第6666页页例6.4.3 设x1,x2,xn是来自正态分布N(,02)的一个样本，其中02已知，未知，假设 的先验分布亦为

35、正态分布N(,2)，其中先验均值和先验方差 2均已知，试求 的贝叶斯估计。解：样本x的分布和 的先验分布分别为第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第6767页页由此可以写出x与 的联合分布其中 ，。若记则有第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第6868页页 注意到A,B,C均与 无关，由此容易算得样本的边际密度函数 应用贝叶斯公式即可得到后验分布 这说明在样本给定后，的后验分布为 N(B/A,1/A)，即 第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/1

36、3/2023第第6969页页 后验均值即为其贝叶斯估计：它是样本均值 与先验均值 的加权平均。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第7070页页6.4.4 共轭先验分布 若后验分布(x)与()属于同一个分布族，则称该分布族是 的共轭先验分布(族)。二项分布b(n,)中的成功概率 的共轭先验分布是贝塔分布Be(a,b)；泊松分布P()中的均值 的共轭先验分布是伽玛分布Ga(,)；在方差已知时，正态均值 的共轭先验分布是正态分布N(,2);在均值已知时，正态方差 2的共轭先验分布是倒伽玛分布IGa(,)。第六章第六章 参数估计参数估计白城师范

37、学院白城师范学院2/13/20232/13/2023第第7171页页6.5 区间估计 6.5.1 区间估计的概念 定义6.5.1 设 是总体的一个参数，其参数空间为，x1,x2,xn是来自该总体的样本，对给定的一个(0 1)，若有两个统计量 和 ，若对任意的 ，有 （6.5.1）第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第7272页页 则称随机区间 为 的置信水平为1-的置信区间，或简称 是 的1-置信区间.和 分别称为 的（双侧）置信下限和置信上限.这里置信水平1-的含义是指在大量使用该置信区间时，至少有100(1-)%的区间含有。第六章第六

38、章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第7373页页例6.5.1 设x1,x2,x10是来自N(,2)的样本，则 的置信水平为1-的置信区间为 其中，,s 分别为样本均值和样本标准差。这个置信区间的由来将在6.5.3节中说明，这里用它来说明置信区间的含义。若取=0.10，则t0.95(9)=1.8331，上式化为第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第7474页页 现假定=15,2=4，则我们可以用随机模拟方法由N(15,4)产生一个容量为10的样本，如下即是这样一个样本：14.85 13.01

39、13.50 14.93 16.97 13.80 17.9533 13.37 16.29 12.38 由该样本可以算得 从而得到 的一个区间估计为 该区间包含 的真值-15。现重复这样的方法 100次，可以得到100个样本，也就得到100个区 间，我们将这100个区间画在图6.5.1上。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第7575页页 由图6.5.1可以看出，这100个区间中有91个包含参数真值15，另外9个不包含参数真值。图6.5.1 的置信水平为0.90的置信区间 第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/202

40、32/13/2023第第7676页页 取=0.50，我们也可以给出100个这样的区间，见图6.5.2。可以看出，这100个区间中有50个包含参数真值15，另外50个不包含参数真值。图6.5.2 的置信水平为0.50的置信区间 第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第7777页页定义6.5.2 沿用定义6.5.1的记号，如对给定的(0 1)，对任意的，有 （6.5.2）称 为 的1-同等置信区间。同等置信区间是把给定的置信水平1-用足了。常在总体为连续分布场合下可以实现。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/2023

41、2/13/2023第第7878页页定义 若对给定的(0 1)和任意的，有 ，则称 为 的置信水平为1-的（单侧）置信下限。假如等号对一切成立，则称 为 的1-同等置信下限。若对给定的(0 1)和任意的，有 ,则称 为 的置信水平为1-的（单侧）置信上限。若等号对一切成立，则称 为1-同等置信上限。单侧置信限是置信区间的特殊情形。因此，寻求置信区间的方法可以用来寻找单侧置信限。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第7979页页6.5.2 枢轴量法 构造未知参数 的置信区间的最常用的方法是枢轴量法，其步骤可以概括为如下三步：1.设法构造一个样

42、本和 的函数 G=G(x1,x2,xn,)使得G的分布不依赖于未知参数。一般称具有这种性质的G为枢轴量。2.适当地选择两个常数c,d，使对给定的(0 1)有P(cGd)=1-3.假如能将cG d 进行不等式等价变形化为 则 ，是 的1-同等置信区间。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第8080页页关于置信区间的构造有两点说明：满足置信度要求的c与d通常不唯一。若有可能，应选平均长度 达到最短的c与d，这在G的分布为对称分布场合通常容易实现。实际中，选平均长度 尽可能短的c与d，这往往很难实现，因此，常这样选择 c与d，使得两个尾部概率各

43、为/2，即P(Gd)=/2，这样的置信区间称为等尾置信区间。这是在G的分布为偏态分布场合常采用的方法。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第8181页页例6.5.2 设x1,x2,xn是来自均匀总体U(0,)的一个样本，试对给定的(0 1)给出 的1-同等置信区间。解:（1）取x(n)作为枢轴量，其密度函数为p(y;)=nyn，0y 1；（2）x(n)/的分布函数为F(y)=yn,0y 1，故P(cx(n)/d)=d n-cn，因此我们可以适当地选择c和d满足d n-cn=1-第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13

44、/20232/13/2023第第8282页页（3）利用不等式变形可容易地给出 的1-同等置信区间为x(n)/d，x(n)/c，该区间的平均长度为 。不难看出，在0cd1及dn-cn=1-的条件下，当d=1,c=时，取得最小值，这说明 是 的置信水平1-为最短置信区间。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第8383页页6.5.3 单个正态总体参数的置信区间 一、一、已知时已知时 的置信区间的置信区间 在这种情况下，枢轴量可选为 ，c和d应满足P(cGd)=(d)-(c)=1-，经过不等式变形可得 该区间长度为 。当d=-c=u1-/2时，d

45、-c达到最小，由此给出了的同等置信区间为 ，。（6.5.8）这是一个以 为中心，半径为 的对称区间，常将之表示为 。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第8484页页例6.5.3 用天平秤某物体的重量9次，得平均值为 （克），已知天平秤量结果为正态分布，其标准差为0.1克。试求该物体重量的0.95置信区间。解：此处1-=0.95，=0.05，查表知u0.975=1.96，于是该物体重量 的0.95置信区间为 ，从而该物体重量的0.95置信区间为 15.3347，15.4653。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13

46、/20232/13/2023第第8585页页例6.5.4 设总体为正态分布N(,1)，为得到 的置信水平为0.95的置信区间长度不超过1.2，样本容量应为多大？解：由题设条件知 的0.95置信区间为 其区间长度为 ，它仅依赖于样本容量n而与样本具体取值无关。现要求 ，立即有n(2/1.2)2u21-/2.现1-=0.95，故u1-/2=1.96，从而n(5/3)2 1.962=10.6711。即样本容量至少为11时才能使得 的置信水平为0.95的置信区间长度不超过1.2。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第8686页页二、2未知时 的置

47、信区间 这时可用t 统计量，因为 ，因此 t 可以用来作为枢轴量。完全类似于上一小节，可得到 的1-置信区间为 此处 是 2的无偏估计。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第8787页页例6.5.5 假设轮胎的寿命服从正态分布。为估计某种轮胎的平均寿命，现随机地抽12只轮胎试用，测得它们的寿命（单位：万公里）如下：4.68 4.85 4.32 4.85 4.61 5.025.20 4.60 4.58 4.72 4.38 4.70 此处正态总体标准差未知，可使用t分布求均值的置信区间。经计算有 =4.7092，s2=0.0615。取=0.0

48、5，查表知t0.975(11)=2.2010，于是平均寿命的0.95置信区间为（单位：万公里）第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第8888页页 在实际问题中，由于轮胎的寿命越长越好，因此可以只求平均寿命的置信下限，也即构造单边的置信下限。由于 由不等式变形可知 的1-置信下限为 将t0.95(11)=1.7959代入计算可得平均寿命 的0.95置信下限为4.5806（万公里）。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第8989页页三、2的置信区间 取枢轴量 ，由于 2分布是偏态分布，寻

49、找平均长度最短区间很难实现，一般都用等尾置信区间：采用 2的两个分位数 2/2(n-1)和21-/2(n-1)，在 2分布两侧各截面积为/2的部分，使得 由此给出 2的1-置信区间为 第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第9090页页例6.5.6 某厂生产的零件重量服从正态分布N(,2)，现从该厂生产的零件中抽取9个，测得其重量为（单位：克）45.3 45.4 45.1 45.3 45.5 45.7 45.4 45.3 45.6 试求总体标准差 的0.95置信区间。解：由数据可算得 s2=0.0325，(n-1)s2=80325=0.26

50、.查表知 2 0.025(8)=2.1797，20.975(8)=17.5345，代入可得 2的0.95置信区间为 从而 的0.95置信区间为:0.1218，0.3454。第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第9191页页 在样本容量充分大时，可以用渐近分布来构造近似的置信区间。一个典型的例子是关于比例p 的置信区间。6.5.4 大样本置信区间 第六章第六章 参数估计参数估计白城师范学院白城师范学院2/13/20232/13/2023第第9292页页 设x1,xn是来自b(1,p)的样本,有 对给定，通过变形，可得到置信区间为 其中记=u