概率论与数理统计课件(中国矿业大学)第七章 2012.ppt

《概率论与数理统计课件(中国矿业大学)第七章 2012.ppt》由会员分享，可在线阅读，更多相关《概率论与数理统计课件(中国矿业大学)第七章 2012.ppt（99页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第七章参数估计参数估计二二、估计量的评选标准、估计量的评选标准一一、点估计、点估计 三三、区间估计、区间估计 四四、正态总体均值与方差的区间估计、正态总体均值与方差的区间估计 统计推断的统计推断的 基本问题基本问题估计问题估计问题假设检验问题假设检验问题点估计点估计区间估计区间估计矩估计法矩估计法最大似然估计法最大似然估计法 参数估计是参数估计是统计推断统计推断的基本问题之一的基本问题之一参数估计要解决的问题参数估计要解决的问题:总体分布函数的形式为已知总体分布函数的形式为已知,估计其一个或多个估计其一个或多个未知参数未知参数（如何估计？）（如何估计？）点点 估估 计计 第七章 第一节第一节二

2、二、矩估计法、矩估计法一一、点估计问题的一般提法、点估计问题的一般提法三三、最大似然估计法、最大似然估计法点估计的思想方法点估计的思想方法 设总体设总体X 的分布函数的形式已知的分布函数的形式已知,但含有但含有一个或多个未知参数：一个或多个未知参数：1,2,k设设 X1,X2,Xn为总体的一个样本为总体的一个样本构造构造 k 个统计量：个统计量：随机变量 当测得样本值当测得样本值(x1,x2,xn)时时,代入上述代入上述统计量，即可得到统计量，即可得到 k 个数：个数：数数 值值称数称数为未知参数为未知参数的的估计值估计值如何构造统计量？如何构造统计量？如何评价估计量的好坏？如何评价估计量的好

3、坏？对应统计量对应统计量 为未知参数为未知参数的的估计量估计量问问题题对未知参数估计的两种方法对未知参数估计的两种方法:矩估计法、矩估计法、二二、矩估计法、矩估计法 矩估计法矩估计法是是用样本矩估计总体矩。用样本矩估计总体矩。英国统计学家英国统计学家K.皮尔逊皮尔逊最早最早提出的。提出的。最大似然估计法。最大似然估计法。命题：命题：若总体若总体X 的的 k 阶矩阶矩存在，则存在，则证明证明 因为样本因为样本相互独立且与总相互独立且与总体体X 服从相同的分布。则服从相同的分布。则也相互也相互独立且与独立且与服从相同的分布。服从相同的分布。由辛钦定理由辛钦定理即即(1)若若X为为离散型随机变量离散

4、型随机变量，设其分布律为，设其分布律为令令，其中其中为样本，为样本，为样本值，为样本值，解出解出基本思想：令基本思想：令例例1设总体设总体X的分布律为的分布律为其中参数其中参数未知，现有一组样本值未知，现有一组样本值1,1,1,2,2,1,3,解解 令令 其中其中所以所以的矩估计值为的矩估计值为2,2,1,2,2,3,1,1,2，试求，试求的矩估计的矩估计值值。(2)若若X为为连续型随机变量连续型随机变量，设概率密度为，设概率密度为令令，其中其中为样本，为样本，为样本值，为样本值，解出解出例例2 2设总体设总体为为X的的一个样一个样本，求本，求的的矩估计量。矩估计量。解解 令令其中其中所以所以

5、的矩估计量为的矩估计量为例例3 3设总体设总体X 的概率密度为的概率密度为解解 且且是未知参数是未知参数,其中其中X1,X2,Xn是取自是取自X 的样本的样本,求参数求参数的矩估计量的矩估计量.令令，则则从而从而的矩估计量的矩估计量为为X 的一个样本，求的一个样本，求的的矩估计量。矩估计量。例例4 4设总体设总体解解 令令例例5 设设 为为X 的一个样本，求的一个样本，求X 的数的数的的矩估计量。矩估计量。学期望学期望解解 令令其中其中则则解得数学期望解得数学期望的矩估计量分别为的矩估计量分别为总结：任何分布的均值和方差的矩估计量的表总结：任何分布的均值和方差的矩估计量的表达式都不变。达式都不

6、变。例例6设总体设总体一个样本，求一个样本，求的的矩估计量。矩估计量。为为X 的的解解 由由 所以由上例可得所以由上例可得三、最大似然估计法三、最大似然估计法 这这是是在在总总体体类类型型已已知知条条件件下下使使用用的一种参数估计方法的一种参数估计方法 .它首先是由德国数学家它首先是由德国数学家高斯高斯在在18211821年提出的年提出的 ,GaussGaussFisherFisher 然而，这个方法常归功于英国统然而，这个方法常归功于英国统计学家计学家费歇费歇 。费歇费歇在在19221922年重新发现了这一年重新发现了这一方法，并首先研究了这种方法的方法，并首先研究了这种方法的一些性质一些性

7、质 .q 最大似然估计法最大似然估计法例如例如:有两外形相同的箱子有两外形相同的箱子,各装各装100个球个球 甲箱甲箱 99个白球个白球 1 个红球个红球 乙箱乙箱 1 个白球个白球 99个红球个红球现从两箱中任取一箱现从两箱中任取一箱,并从箱中任取一球并从箱中任取一球,结果所取得的球是白球结果所取得的球是白球.答答:甲箱甲箱.问问:所取的球来自哪一箱？所取的球来自哪一箱？最大似然法的基本思想：最大似然法的基本思想：是谁打中的呢？是谁打中的呢？推测推测 在某次抽样中，某事件发生了，可以认在某次抽样中，某事件发生了，可以认为该事件发生的概率最大。为该事件发生的概率最大。q 最大似然估计法最大似然

8、估计法统计原理：统计原理：一次试验就出现的事件有最大的概率一次试验就出现的事件有最大的概率 分布律为分布律为，其中其中未知。未知。为为X 的样本，的样本，为为X 的样本值，的样本值，X 为离散型为离散型称为称为似然函数似然函数。当当时，称统计量时，称统计量为为的的最大似然估计量最大似然估计量；为为的的最大似然估计值最大似然估计值；表示取到样本值表示取到样本值 的概率的概率具体算法：具体算法：令令两边取对数两边取对数令令 注意到，注意到，ln L()是是 L 的单调增函数的单调增函数,故若故若某个某个 使使ln L()最大最大,则这个则这个 必使必使L()最大。最大。例例1 1 设总体设总体 X

9、 服从服从0-1分布分布,且且P(X=1)=p,用最用最大似然估计法求大似然估计法求 p 的估计值的估计值.解解 总体总体 X 的概率分布为的概率分布为 设设 x1,x2,xn为总体样本为总体样本X1,X2,Xn的样的样本值本值,则则对于不同的对于不同的 p,L(p)不同不同,见右下图见右下图现经过一次试验，现经过一次试验，发生了，发生了，事件事件则则 p 的取值应使这个事件发生的取值应使这个事件发生的概率最大的概率最大.在容许范围内选择在容许范围内选择 p，使，使L(p)最大。最大。所以所以为所求为所求 p 的估计值的估计值.解解例例2设设 X1,X2,Xn 是是取自总体取自总体 X 的的一

10、个样一个样本本,，求参数，求参数的的最大似然估计量。最大似然估计量。似然函数为似然函数为:即取即取的的最大值。最大值。X 为为连续型连续型思想：思想：随机点随机点落在点落在点的的邻域内的概率近似地为邻域内的概率近似地为Xi 的概率密度为的概率密度为，其中其中未知。未知。所以似然函数为所以似然函数为求极大值求极大值或或得得例例3 3设设 X1,X2,Xn 是是取自总体取自总体 X 的的一个样一个样本本,，求参数，求参数的的最大似然估计值。最大似然估计值。解解似然函数似然函数当当令令所以所以例例4设设 X1,X2,Xn 是是取自总体取自总体 X 的的一个样一个样本本,，求参数，求参数的最大似然估计

11、值。的最大似然估计值。解解令令所以所以的最大似然估计值为的最大似然估计值为例例5设设 X1,X2,Xn 是是取自总体取自总体 X 的的一个样一个样本本,，求参数，求参数 a,b 的最大似然估计值。的最大似然估计值。解解似然函数似然函数所以所以所以所以则要使得则要使得取最大值取最大值注：特殊的似然函数通过求导得不到其最大，注：特殊的似然函数通过求导得不到其最大，需要用其它的方法。需要用其它的方法。例例设设 X1,X2,Xn 是是取自总体取自总体 X 的的一个样一个样本本,求求 参数参数 和和的矩估计量；的矩估计量；参数参数 和和的最大似然估计量。的最大似然估计量。解解 令令所以所以解得参数解得参

12、数和和的矩估计量为的矩估计量为 设设x1,x2,xn是是X1,X2,Xn的的样本值，则样本值，则似然函数为似然函数为其中其中当当时时令令第二个似然方程求不出第二个似然方程求不出的估计值，观察的估计值，观察，表明表明L是是的严格递增函数，又的严格递增函数，又，故，故所以当所以当时时L 取到最大值取到最大值从而参数从而参数和和的最大似然估计值分别为的最大似然估计值分别为则参数则参数和和的最大似然估计量分别为的最大似然估计量分别为估计量的评选标准估计量的评选标准第二节第二节 对于同一个未知参数对于同一个未知参数,不同的方法得到的不同的方法得到的估计量可能不同估计量可能不同,于是提出问题于是提出问题应

13、该选用哪一种估计量应该选用哪一种估计量?用何标准来评价一个估计量的好坏用何标准来评价一个估计量的好坏?常用常用标准标准(1)无偏性无偏性(3)一致性一致性(2)有效性有效性定义定义1 设设 是未知参数是未知参数的估计量的估计量存在，且对任意的存在，且对任意的，有，有 则称则称为为的的无偏估计无偏估计。无偏性的实际意义是指没有系统偏差无偏性的实际意义是指没有系统偏差一一 、无偏性、无偏性我们不可能要求每一次由样本得到的估计值与真我们不可能要求每一次由样本得到的估计值与真值都相等，但可以要求这些估计值的期望与真值相等。值都相等，但可以要求这些估计值的期望与真值相等。定义的合理性定义的合理性例例1

14、设设 是取自总体是取自总体 X 的一个样本，的一个样本，X 的的 k 阶矩阶矩存在，试证明存在，试证明不论总体服从什么分布，不论总体服从什么分布，k阶样本矩阶样本矩Ak是是k的的无偏估计。无偏估计。证明证明则则所以所以 k 阶样本矩阶样本矩无偏估计。无偏估计。注意注意:无论无论X 服从什么分布服从什么分布,只要它的数学期望只要它的数学期望存在，存在，总是总是的的无偏估计量。无偏估计量。例例2设总体设总体 X 的的则则都存在，且都存在，且的的估计量估计量都都未知未知,是是无偏的吗无偏的吗?证明证明注意注意不是不是的的无偏估计，无偏估计，而而所以所以是是的的无偏估计无偏估计（不论总体服从什么分布）

15、（不论总体服从什么分布）所以一般都取所以一般都取是是的的估计量。估计量。所以所以不是不是的的无偏估计量。无偏估计量。例例3设 X1,X2,Xn 是取自总体 X 的一个样本,求k 使为的无偏估计.求l 使为的无偏估计.解解 故当时结论成立.由于 求l 使为的无偏估计.故当时结论成立,一个未知数可以有不同的无偏估计量。一个未知数可以有不同的无偏估计量。解解例例4的大小来决定二者谁更优。的大小来决定二者谁更优。和和一个参数往往有不止一个无偏估计一个参数往往有不止一个无偏估计,若若 和和都是参数都是参数 的无偏估计量，的无偏估计量，我们通过可以比较我们通过可以比较由于由于二、有效性二、有效性定义定义2

16、 设设都是参数都是参数的无偏估计量，若有的无偏估计量，若有则称则称 有效有效。例例5设设 X1,X2,Xn 是是取自总体取自总体 X 的的一个样一个样本本,验证验证都是都是的的无偏估计无偏估计.问那个估计量最有效问那个估计量最有效?解解 设设由于由于都是总体均值都是总体均值的无偏的无偏估计量估计量;故故因为因为所以所以更更有效有效例例5 5 设总体设总体 X 的密度函数为的密度函数为为常数为常数为为X 的一个样本的一个样本证明证明与与都是都是的无偏的无偏估计量估计量证证 故故是是 的无偏估计量的无偏估计量.令即故n Z 是 的无偏估计量.定义定义3 设设若对于任意若对于任意,当当则称则称 的一

17、致（或相合）估计量的一致（或相合）估计量。为参数为参数的估计量，的估计量，（了解）（了解）一致性估计量仅在样本容量一致性估计量仅在样本容量n足够足够大时大时,才显示其优越性才显示其优越性.一、一、置信区间置信区间二、正态总体均值的区二、正态总体均值的区 间估计间估计第三节第三节区间估计区间估计 引言引言引言引言 参数点估计参数点估计.它是用样本算得的一个值去估计它是用样本算得的一个值去估计未知参数未知参数.(1)(1)估计值是否为待估参数的真实值？估计值是否为待估参数的真实值？(2)(2)估计值与参数真实值的偏离程度（误差范围）估计值与参数真实值的偏离程度（误差范围）是多少？是多少？若我们能给

18、出一个若我们能给出一个区间区间，并且能以比较，并且能以比较高的高的把握把握相信该区间包含真实参数值，这样相信该区间包含真实参数值，这样对真实值的估计就有把握多了对真实值的估计就有把握多了.参数真实值参数真实值（）一、一、置信区间定义置信区间定义满足满足设设 是是 一个待估参数，给定一个待估参数，给定X1,X2,Xn确定的两个统计量确定的两个统计量若由样本若由样本和和 分别称为分别称为置信下限置信下限和和置信上限置信上限.则称区间则称区间 是是 的置信水平（置信度的置信水平（置信度)为为 的的置信区间置信区间.a a 称显著性水平，通常取值为称显著性水平，通常取值为0.1，0.05，0.01等等

19、.注：定义的两点说明注：定义的两点说明1a a 是置信度（置信水平）是置信度（置信水平）反映了区间估计反映了区间估计的可靠程度的可靠程度.()()()（1 1）随机区间）随机区间 以以 的概率包含着的概率包含着待估参数待估参数 的真实值的真实值.我们重复抽样我们重复抽样100次次,则在得到的则在得到的100个区间中包含个区间中包含真值真值的有的有95个左右个左右,不包含不包含真值的有真值的有5个个左右。左右。即即置信度为置信度为例如例如 若若通常通常,采用采用95%的置信度的置信度,有时也取有时也取99%或或90%.希望精确度与置信度均高希望精确度与置信度均高,但二者是但二者是矛盾矛盾的的.在

20、实际应用中广泛接受的在实际应用中广泛接受的原则原则是：是：保证可靠程度的前提下保证可靠程度的前提下,尽量提高精确度尽量提高精确度.精确度精确度置信度置信度 （2 2）随机区间）随机区间 的长度的长度 是随机变是随机变量，置信区间的平均长度量，置信区间的平均长度 反映了区间反映了区间估计的精确程度估计的精确程度.由由解出等价的解出等价的不等式不等式是是的置信度为的置信度为的置信区间。的置信区间。对于给定的置信水平对于给定的置信水平，找，找 a,b 使得使得具体的计算方法具体的计算方法 由样本由样本寻找一个样本函数寻找一个样本函数，其中只含有一个未知参数，其中只含有一个未知参数 N(0,1)明确问

21、题明确问题,是求什么是求什么参数的置信区间参数的置信区间?置信水平是多少？置信水平是多少？寻找未知参寻找未知参数的一个良数的一个良好估计好估计.选选 的点估计为的点估计为 ,解解 寻找一个待估参数和寻找一个待估参数和统计量的函数统计量的函数，要求，要求其分布为已知其分布为已知.有了分布，就可以求出有了分布，就可以求出U取值于任意区间的概率取值于任意区间的概率.二二 、正态总体均值区间估计、正态总体均值区间估计设设为为总体总体的的一个样本，一个样本，置信度置信度下，来确定下，来确定的的置信区间置信区间 已知方差已知方差，估计均值估计均值对给定的置信水平对给定的置信水平寻找寻找 a,b，使得，使得

22、若若 ，例如，例如我们得到我们得到均值均值 的置信水平为的置信水平为0.95的置信区间为的置信区间为区间长度区间长度即即显然这个区间比前面一个要长一些显然这个区间比前面一个要长一些.由由区间长度区间长度我们得到我们得到均值均值 的置信水平为的置信水平为0.95的置信区间为的置信区间为我们总是希望置信区间尽可能短我们总是希望置信区间尽可能短.类似地，我们可得到若干个不同的置信区间类似地，我们可得到若干个不同的置信区间.注：在概率密度为单峰且对称的情形，当注：在概率密度为单峰且对称的情形，当a=-b时求得的置信时求得的置信区间的长度为最短区间的长度为最短.简记为简记为所以所以 的置信水平为的置信水

23、平为 的置信区间为的置信区间为区间估计方法总结：区间估计方法总结：（1）寻找参数）寻找参数 的一个良好的点估计的一个良好的点估计（2）寻找一个待估参数）寻找一个待估参数 和估计量和估计量 T 的函数的函数 且其分布为已知且其分布为已知.并且不能含有任何其它未知参数。并且不能含有任何其它未知参数。（3）对于给定的置信水平）对于给定的置信水平 ，根据，根据 的分的分布，确定常数布，确定常数a,b，使得，使得 于是于是 就是就是 的置信度为的置信度为 的置信区间的置信区间.（4）对对“”作等价变形，得到作等价变形，得到 如下形式如下形式:已知幼儿身高服从正态分布，现从已知幼儿身高服从正态分布，现从5

24、6岁的幼岁的幼儿中随机地抽查了儿中随机地抽查了9人，其高度分别为：人，其高度分别为：115,120131,115,109,115,115,105,110 cm；假设标准差假设标准差置信度为置信度为95%;试求总体均值试求总体均值的置信区间。的置信区间。解解 已知已知由由样本值算得：样本值算得：查查正态分布表得正态分布表得，由此得置信区间，由此得置信区间例例1 1而而选取样本函数：选取样本函数：对于给定的对于给定的查查 t 分布表，得临界值分布表，得临界值使使由前面分析知道，选取对称区间，区间长度最短。由前面分析知道，选取对称区间，区间长度最短。可用样本方差：可用样本方差：方差方差未知，估计均值

25、未知，估计均值因为因为 是是 的无偏估计。的无偏估计。即即由由t 分布表可以查出分布表可以查出所以所以置信水平为置信水平为1-的置信区间为的置信区间为简记为简记为用仪器测量温度用仪器测量温度,重复测量重复测量7 7次次,测得温度分测得温度分别为：别为：115,120,131,115,109,115,115；设温度设温度 在在置信度为置信度为95%时时,试求温度真值试求温度真值所在范围。所在范围。例例2 2查查表得表得已知已知由由样本值算得：样本值算得：解解 设设是温度的真值是温度的真值，X 是测量值是测量值得区间：得区间：对对某种型号飞机的飞行速度进行某种型号飞机的飞行速度进行15次试验次试验

26、,测测 得最大飞行速度得最大飞行速度(单位单位:米米/秒秒)为为420.3,425.8,423.1,418.7,438.3,434.0,412.3,431.5最大飞行速度服从正态分布最大飞行速度服从正态分布.求飞机最大飞行速度求飞机最大飞行速度 422.2,417.2,425.6413.5,441.3,423.0,428.2,根据长期经验根据长期经验,可以认为可以认为的期望值的置信水平为的期望值的置信水平为 0.95 的置信区间。的置信区间。例例3解解 以以X 表示该飞机的最大飞行速度表示该飞机的最大飞行速度,则则 查表得查表得由于总体方差由于总体方差未知未知,因此因此的的置信水平为置信水平为

27、0.95的的置信区间为置信区间为:由由 方差方差的的置信区间置信区间（均值（均值未知）未知）设设为为总体总体的的一个样本一个样本我们知道我们知道是是的的无偏估计无偏估计并且样本函数：并且样本函数：找使概率对称的区间找使概率对称的区间由于由于分布不对称性，分布不对称性，即即由由分布表的构造分布表的构造置信区间置信区间即即标准差标准差的的一个置信水平为一个置信水平为的置信区间的置信区间注意：注意：在密度函数不对称时，如在密度函数不对称时，如习惯上仍取对称的分位点，但其置信区间的长度习惯上仍取对称的分位点，但其置信区间的长度并不最短。并不最短。例例4 某自动车床加工零件，抽查某自动车床加工零件，抽查

28、16个测得长个测得长加工零件长度的方差。加工零件长度的方差。解解 先求先求2 2的估计值的估计值度（毫米）度（毫米），怎样估计该车床，怎样估计该车床查表查表所求所求2的置信度为的置信度为0.95的置信区间的置信区间例例5 假设总体假设总体信区间。信区间。的样本为的样本为，求，求未知，未知，X的的置信度为置信度为95%的置的置解解 的的置信区间为置信区间为 2的置信区间为的置信区间为所以所以2的置信区间为的置信区间为三三、两个正态总体均值与方差的区间估计、两个正态总体均值与方差的区间估计设设为为总体总体的的一个样本一个样本的的置信区间置信区间为为总体总体的的一个样本一个样本,X与与Y相互独立。相

29、互独立。均为已知均为已知,且且是是的的一个无偏估计，一个无偏估计，因为因为X与与Y 相互独立相互独立,所以所以所以所以的置信水平为的置信水平为1-的置信区间为的置信区间为未知未知所以所以的置信水平为的置信水平为1-的置信区间为的置信区间为的的置信区间置信区间所以所以的置信水平为的置信水平为1-的置信区间为的置信区间为甲甲140140 137137 136136 140140 145145 148148 140140 135135 144144 141141乙乙135135 118118 115115 140140 128128 131131 130130 115115 121121 12512

30、5例例7 7 甲、乙两种稻种分别种在甲、乙两种稻种分别种在1010块试验田中块试验田中,每每块田中甲、乙稻种各种一半。假设两种稻种产量块田中甲、乙稻种各种一半。假设两种稻种产量X、Y 服从正态分布，且方差相等服从正态分布，且方差相等.10.10块田中的块田中的产量如下表产量如下表 (单位：公斤单位：公斤)，求，求两稻种产量的期两稻种产量的期望差望差 1 2 的置信区间的置信区间(=0.05=0.05).).解解 设设XN(1,12),YN(2,22),12=22=2 ，要估计要估计 1 2，取统计量取统计量由样本表可计算得由样本表可计算得 查查t t分布表得：分布表得：t t0.0250.025(18)=(18)=2.10092.1009 两稻种产量期望差的置信度为两稻种产量期望差的置信度为95%95%的置信区间为的置信区间为