第七章__参数估计.doc

《第七章__参数估计.doc》由会员分享，可在线阅读，更多相关《第七章__参数估计.doc（16页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第七章 参 数 估 计【授课对象】理工类本科三年级【授课时数】8学时【授课方法】课堂讲授与提问相结合【基本要求】1、理解参数估计的概念，熟练掌握点估计的矩估计法和极大似然估计法；2、掌握估计量好坏的三个评选标准；3、理解理解区间估计的概念，熟练掌握单个正态总体的均值和方差的置信区间；知道两个正态总体的均值差和方差比的区间估计。【本章重点】参数估计的矩估计法和极大似然估计法；区间估计的概念【本章难点】估计的矩估计法和极大似然估计法；区间估计的概念【授课内容及学时分配】7.0 前 言上一章，我们讲了数理统计的基本概念，从这一章开始，我们研究数理统计的重要内容之一即统计推断。所谓统计推断，就是根据从

2、总体中抽取得的一个简单随机样本对总体进行分析和推断。即由样本来推断总体，或者由部分推断总体。这就是数理统计学的核心内容。它的基本问题包括两大类问题，一类是估计理论；另一类是假设检验。而估计理论又分为参数估计与非参数估计，参数估计又分为点估计和区间估计两种，这里我们主要研究参数估计这一部分数理统计的内容：7.1 参数估计的概念统计推断的目的，是由样本推断出总体的具体分布，一般来说，要想得到总体的精确分布。是十分困难的，由第六章知道：只有在样本容量n充分大时，经验分布函数（以概率1），但在实际问题中，并不容许n很大。而由第五章的中心极限定理，可以断定在某些条件下的分布为正态分布，也就是说，首先根据

3、样本值，对总体分布的类型作出判断和假设，从而得到总体的分布类型，其中含有一个或几个未知参数；其次，对另外一些并不关心其分布类型的统计推断问题，只关心总体的某些数字特征，如期望、方差等，通常把这些数字特征也称为参数。这时，抽样的目的就是为了解出这些未知的参数。Eg1：设某总体，试由样本来估计参数。Eg2：设某总体，试由样本来估计参数。在上述二例中，参数的取值虽未知，但根据参数的性质和实际问题，可以确定出参数的取值范围，把参数的取值范围称为参数空间，记为如：eg1：= eg2：=1.Df.所谓参数估计，是指从样本中提取有关总体的信息，即构造样本的函数统计量，然后用样本值代入，求出统计量的值，用该值

4、来作为参数的估计。此时，把统计量称为参数的估计量，把称为参数的估计值。2.类型：包括1) 所谓点估计，是指对总体分布中的参数，根据样本及样本值，构造一统计量，若将作为的估计值，则称为的点估计量，简称点估计。记为=2) 区间估计：指对总体中的一维参数，构造两个统计量：=使得待估参数以较大的概率落在，内，此时，称，为的区间估计。7.2 点估计量的求法0、引言：关于点估计的一般提法是：点估计量的求解方法很多，这里主要介绍矩估计法和极大似然估计法，除了这两种方法之外，还有Bayes方法和最小二乘法等。一、参数的矩估计法：（K.Pearson提出）矩估计法是一种古老的估计方法。大家知道，矩是描写随机变量

5、的最简单的数字特征。样本来自于总体，从前面可以看到样本矩在一定程度上也反映了总体矩的特征，因而自然想到用样本矩作为总体矩的估计。Df1:假设总体的分布函数为，其中为待估参数，是来自的一个样本，假设总体的各阶矩总是存在的，一般说来，它们都是的函数，据基本极限定理，样本矩：依概率收敛于总体矩；相应的，样本矩的连续函数也依概率收敛于总体矩的连续函数，因此，可以用样本矩作为相应的总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量，把这种估计方法称为矩估计法。具体作法是：令，这是一个包含个未知数的联立方程组。一般来说，我们可以从中解出的一组解，然后用这个方程组的解分别作为的估计量，这

6、种估计量称为矩估计量，矩估计量的观察值称为矩估计值。Eg3：设总体的均值及方差都存在但均未知，且有0，又设是来自总体的一个样本，试求，的矩估计量。解：因为 令 所以得 上述结果表明：总体均值与方差的矩估计量的表达式不会因总体的分布不同而异；同时，我们又注意到，总体均值是用样本均值来估计的，而总体方差（即总体的二阶中心矩）却不是用样本方差来估计的，而是用样本二阶中心矩来估计。那么，能否用来估计呢？能的话，与哪个更好？下节课将再作详细讨论。这样看来，虽然矩估计法计算简单，不管总体服从什么分布，都能求出总体矩的估计量，但它仍然存在着一定的缺陷：对于一个参数，可能会有多种估计量。比如下面的例子：Eg4

7、：设，未知，是的一个样本，求。， 所以 由以上可看出，显然是两个不同的统计量，但都是的估计。这样，就会给应用带来不便，为此，提出了以下的改进的方法：二、极大似然估计法：（R.A.Fisher提出）1.似然函数Df2.设总体X的分布密度函数为或分布律为，其中为待估参数，是来自总体的一个样本，则称的联合分布密度函数（或联合分布律）为样本的似然函数，记为。即=2.极大似然估计法这种方法的基本思想是利用“概率最大的事件最可能出现”这一直观想法，就是对固定样本观察值 ，在内选择参数，使达到最大值，然后用作为参数的估计值。即：选择使得样本出现概率最大的那个作为的估计值。为此我们引入：Df3:若统计量满足条

8、件： =则称为的极大似然估计量，相应的统计量观察值 称为的极大似然估计值。注：这里与样本值无关。这样，将原来求参数的极大似然估计问题转化为求似然函数的最大值问题，据似然函数的特点，常把它变为如下形式：式称为对数似然函数。由高等数学知：的最大值点相同，若对可导，则令，求解得： ，一般来讲，它就是的极大似然估计。Eg5：设，是的一个样本，求参数的极大似然估计量。解：设（）是样本的一个样本值，总体的分布律为：，=0，1则似然函数为而令得的极大似然估计为：，从而的极大似然估计量为：Eg6：设，未知，为的一个样本。是的一个样本值，求，的极大似然估计量。解：所以似然函数为：取对数：分别对，求导数： 由（1

9、），代入（2）的极大似然估计量分别为：，的极大似然估计值分别为： ；Eg7：设 未知，求的极大似然估计。 解：设为来自总体的一样本，由于则似然函数为：有不可导点，则不能用似然方程的方法求极大似然估计，可用直接观察法：记，有则对于满足条件：的任意有即在时取得最大值故的极大似然估计为3.极大似然估计量有如下的性质：设的函数，具有单值反函数。又设是的密度函数（形式已知）中参数的极大似然估计，则是的极大似然估计。例如，在Eg6中得到的极大似然估计为 而具有单值反函数 据上述性质有：标准差的极大似然估计为三、课后作业：1、认真阅读P150-163； 2、作业：P190 1，33、预习：估计量的评选标准和

10、区间估计7.3 估计量的评选标准0、引言从上一节得到：对于同一参数，用不同的估计方法求出的估计量可能不相同，用相同的方法也不能得到不同的估计量，也就是说，同一参数可能具有多种估计量，而且，原则上讲，任何统计量都可以作为未知参数的估计量，那么采用哪一个估计量为好呢？这就涉及到估计量的评价问题，而判断估计量好坏的标准是：有无系统偏差；波动性的大小；伴随样本容量的增大是否是越来越精确，这就是估计的无偏性，有效性和相合性。一、无偏性设是未知参数的估计量，则是一个随机变量，对于不同的样本值就会得到不同的估计值，我们总希望估计值在的真实值左右徘徊，而其数学期望恰等于的真实值，这就导致无偏性这个标准。Df1

11、:设（）是未知参数的估计量，若存在，且对有= ，则称是的无偏估计量，称具有无偏性。在科学技术中，-称为以作为的估计的系统误差，无偏估计的实际意义就是无系统误差。 Eg1：设总体的阶中心矩存在，是的一个样本，证明：不论服从什么分布，是的无偏估计。 证明：与同分布， 特别，不论服从什么分布，只要存在，总是的无偏估计。 Eg2：设总体的都存在，且，若均为未知，则的估计量是有偏的。证明：而若在的两边同乘以，则所得到的估计量就是无偏了即，而恰恰就是样本方差可见，可以作为的估计，而且是无偏估计。因此，常用作为方差的估计量。从无偏的角度考虑，比作为的估计好。 在实际应用中，对整个系统（整个实验）而言无系统偏

12、差，就一次实验来讲，可能偏大也可能偏小，实质上并说明不了什么问题，只是平均来说它没有偏差。所以无偏性只有在大量的重复实验中才能体现出来；另一方面，我们注意到：无偏估计只涉及到一阶矩（均值）虽然计算简便，但是往往会出现一个参数的无偏估计有多个，而无法确定哪个估计量好。例如： Eg3：设总体，密度为 其中为未知，又是的一样本，则和都是的无偏估计。 证明：，是的无偏估计而则服从参数为的指数分布，其密度为 即是的无偏估计。事实上，中的每一个均可作为的无偏估计。 那么，究竟哪个无偏估计更好、更合理，这就看哪个估计量的观察值更接近真实值的附近，即估计量的观察值更密集的分布在真实值的附近。我们知道，方差是反

13、映随机变量取值的分散程度。所以无偏估计以方差最小者为最好、最合理。为此引入了估计量的有效性概念。二、有效性： Df2:设（）与（）都是的无偏估计量，若有，则称有效。Eg4：在eg3中，由于又，当时，显然有 ，故较有效。 进一步有：Df3:设是的一个无偏估计量，若对的无偏估计都有：则称为的最小方差无偏估计。为了进一步地计算最小方差无偏估计，给出如下定理：定理:(Rao-Gramer不等式)设总体X的分布密度为，是的一个样本，为的任一无偏估计，若满足：1) 集合与无关；2) 对一切都存在，且；3) 记，满足，则 ，其中称为Fisher信息量。定理给出无偏估计方差的一个下界R-C下界，即，若达到R-

14、C下界，则一定是的最小方差无偏估计。注：在定理中，条件1），2）称为正则条件，一般分布都满足，常见的分布有不满足（其中为未知），因而不能用定理。Df4:设是的任一无偏估计，称为无偏估计的有效率。Df5:若存在的无偏估计，使，则称是的有效估计。可见：在正态分布中，是的有效估计； 是的最小方差无偏估计，不是有效估计，其效率为：。故：有效估计一定是最小方差无偏估计，反之不然，可见，有效估计要求的更为严格。三、相合性（一致性）关于无偏性和有效性是在样本容量固定的条件下提出的，即，我们不仅希望一个估计量是无偏的，而且是有效的，自然希望伴随样本容量的增大，估计值能稳定于待估参数的真值，为此引入相合性概念。

15、Df6：设是的估计量，若对，有，则称是的一致性估计量。Eg:在任何分布中，是的相合估计；而都是的相合估计。不过，一致性只有在n相当大时，才能显示其优越性，而在实际中，往往很难达到，因此，在实际工作中，关于估计量的选择要示具体问题而定。四、课后作业：1、认真阅读P163-173； 2、作业：P191 9，10, 113、预习：区间估计7.4 区间估计从点估计中，我们知道：若只是对某个未知的总体参数的值进行统计推断，那么点估计是一种很有用的形式，即只要得到样本观测值，点估计值能给我们对的值有一个明确的数量概念。但是仅仅是的一个近似值，它并没有反映出这个近似值的误差范围，这对实际工作都来说是不方便的

16、，而区间估计正好弥补了点估计的这个缺陷。前面我们知道：区间估计是指由两个取值于的统计量，组成一个区间，对于一个具体问题得到的样本值之后，便给出了一个具体的区间，使参数尽可能地落在该区间内。事实上，由于，是两个统计量，所以，实际上是一个随机区间，它覆盖（即，）就是一个随机事件，而这个随机事件的概率就反映了这个区间估计的可信程度；另一方面，区间长度也是一个随机变量，反映了区间估计的精确程度。我们自然希望反映可信程度的概率越大越好，反映精确程度的区间长度越小越好。但在实际问题，二者常常不能兼顾。为此，这里引入置信区间的概念，并给出在一定可信程度的前提下求置信区间的方法，使区间的平均长度最短。Df1:

17、设总体的分布函数含有求知参数，是来自的一个样本，对于给定的，若由样本确定的两个统计量和满足：（*）则称：为的置信度为的置信区间，称为置信度或置信水平，称为置信下限，称为置信上限。定义中，（*）式的意义在于：若反复抽样多次，每个样本值确定一个区间，每个这样的区间要么包含的真值，要么不包含的真值，据Bernoulli大数定律，在这样多的区间中，包含真值的约占，不包含真值的约仅占，比如，=0.005,反复抽样1000次,则得到的1000个区间中不包含真值的区间仅为5个.Eg1：设总体,为已知,为未知, 是来自的一个样本,求的置信度为的置信区间.解:由前知:是的无偏估计,且有据标准正态分布的分位点的定

18、义有: 即:所以的置信度为的置信区间为:,简写成:比如,=0.05时, =0.95,查表得:又若,则得到一个置信度为0.95的置信区间为:,即进一步地,若由一个样本值算得样本均值的观察值=5.4,则得到一个区间:,即4.91,5.89注:此时,该区间已不再是随机区间了,但我们可称它为置信度为0.95的置信区间,其含义就是该区间包含(或落在4.91,5.89上)的概率为95%。若记为置信区间的长度，则，从中得知： （给定），由此可以确定样本容量，使置信区间具有预先给出的长度。通过上述例子，可以得到寻求未知参数的置信区间的一般步骤为：1. 寻求一个样本的函数，；它包含待估参数，而不包含其它未知参数

19、，并且的分布已知，且不依赖于任何未知参数。这一步通常是根据的点估计得到的。2. 对于给定的置信度，定出两个常数，使。3. 从中得到等价不等式，其中：（），（）都是统计量，则就是的一个置信度为的置信区间。下面就正态总体的期望和方差，给出其置信区间：一、单个正态总体期望与方差的区间估计：设总体，为来自的一个样本，已给定置信度（水平）为，求和的置信区间。1. 求均值的值信区间：1) 当已知时，由eg1可得：的置信水平为的置信区间为：事实上，不论服从什么分布，只要，当样本容量足够大时，根据中心极限定理，就可以得到的置信水平为的置信区间为式。更进一步地，无论服从何分布，只要样本容量充分大，既使总体方差未

20、知，可以用来代替，此时，式仍然可以作为的近似置信区间，一般地，当时，就满足要求。2) 当未知时，由上节课知：是的最小方差无偏估计，据抽样分布，有：由自由度为的t分布的分位数的定义有：即：所以 的置信度为的置信区间为注：这里虽然得出了的置信区间，但由于未知，用近似，因而估计的效果要差些，即在相同置信水平下，所确定的置信区间长度要大些。比如：书上的例1与例22. 求方差的置信区间：1) 当已知时由抽样分布知：，据分布分位数的定义，有：；所以即：故：的置信度为的置信区间为： 2) 当未知时，由上节课知：即是的最小方差无偏估计，又是有效估计，所以用代替，据抽样分布有：采用与1）同样的方法：可以得到的一

21、个置信度为的置信区间为：或进一步还可以得到的置信度为的置信区间为：注意：当分布不对称时，如分布和分布，习惯上仍然取其对称的分值点，来确定置信区间，但所得区间不是最短的。二、两个正态总体的情形设总体，且与相互独立，来自的一个样本，为来自的一个样本，对给定置信水平为，且设分别为总体与的样本均值与样本方差。1. 求的置信区间：1) 当已知时：由抽样分布可知：所以可以得到的置信水平为的置信区间为： 2) 当未知时，但均较大（大于50），可用分别代替式中，则可得的置信水平为的近似置信区间为：3) 当，且未知时，由抽样分布可知：若令，则由t分布分位数的定义有：，从而可得：的可信度为的置信区间为：Eg2:为

22、比较，两种型号步枪子弹的枪口速度，随机的取型子弹10发，得到枪口平均速度为，标准差，取型子弹20发，得到枪口平均速度为，标准差，假设两总体都可认为近似地服从正态分布，且由生产过程可认为它们的方差相等，求两总体均值差的置信度为0.95的置信区间。解：由题设：两总体的方差相等，却未知，所以可用式来求：由于,所以故所求置信区间为：即：在该题中所得下限大于0，在实际中，我们认为比大，相反，若下限小于0，则认为与没有显著的差别。2. 求的置信区间：（均未知）据抽样分布知：，由分布的分位数定义及其特点：可得的置信水平为的区间估计为：即： 课后作业：1、认真阅读P174-189； 2、作业：P192 16，18, 21； 3、预习 P195-21116概率论与数理统计教案 第七章 参数估计