概率第八章.ppt

8-1概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 8.1 点估计 8.1.1 点估计方法 例例8.1.18.1.1 灯泡厂生产的灯泡,由于种种随机因素的影响,每批生产出来的灯泡中每个灯泡的使用寿命是不一致的,也就是说,灯泡使用寿命X是一个随机变量.由中心极限定理和实际经验知道,灯泡使用寿命X服从正态分布 .但一般我们事先并不能确切知道 的具体数值,而只知道8-2概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计它们是落在某个范围中,例如是 或某个更小的区域内.为了断定所生产的这批灯泡的质量，自然提出要求估计这批灯泡的平均寿命以及寿命长短的差异程度,即要求估计 和 .有时还希望以一定的可靠性来估计其平均寿命是在某个范围内或者不低于某个数.8-3概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计例例8.1.28.1.2 纺织厂细纱上的断头次数可以用泊松分布 来描述,现在希望知道每只纱锭在某一时间间隔内断头次数为k次的概率（k=0，1，2，）.也就是要出总体的分布律.而对于泊松分布,只要知道其数学期望 平均断头次数,就可以确定分布律.同样,我们常常不知道点的确切值,而只知道它落在某个范围里,例如,或某个区间中.此处,我们也提出了要求估计总体分布的均值的问题.8-4概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 在参数估计问题中,我们总是假设总体X具有一族可能的分布F,且F的函数形式是已知的,仅包含有若干未知参数,记 是支配这分布的未知参数（可以是向量）,在统计学上,我们把分布F的未知参数 的全部可容许值组成的集合称为参数空间,记为 .在统计中，一般用 表示X的分布，称集合 为X的分布函数族8-5概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 一个参数估计问题就是要求通过样本去估什总体分布所包含的未知参数 或 的某个函数 一般地,设总体X具有分布族 ,是它的一个样本.点估计问题就是要求构造一个统计量 作为参数 的估计（的维数与 的维数相同）.在统计学上,我们称 为 的估计量估计量.如果 是样本的一组观察值,代入统计量 就得到 的具体数值,这个数值常称为 的估计值估计值.8-6概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 1矩法 用矩法求估计被认为是最早的求估计的方法之一,它由 K.Pearson在20世纪初提出,其基本思路是用样本矩及其函数估计相应的总体矩及其函数（由于矩也是数字特征,故矩法有时也称为数字特征法）,具体如下:8-7概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 设 是总体X的可能分布族，是待估计的未知参数,是来自总体X的一个样本,以 记总体的r阶原点矩,记由 得的r阶样本原点矩,即 我们用样本矩作为总体矩的估计，即令8-8概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计这样上式确定了包含k个未知参数 的k个方程式.解此方程组就可以得到 的一组解 .因为 是随机变量.故解得的 也是随机变量.现将 分别作为 的估计,称为矩估计矩估计,这种求估计量的方法称为矩方法（矩法）矩方法（矩法）.8-9概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计例例8.1.38.1.3 求总体均值和方差的矩估计 由矩法可知，如果某参数 可以表示为总体前k阶矩的函数，即 ，则我们可用估计 ，这时的 即为 的矩估计8-10概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计例例8.1.4 8.1.4 设 是来自 的一个样本，若 是表示事件成功的概率，通常事件的成败机会比 是人们感兴趣的参数，由矩法，记 ，则是 的一个矩估计8-11概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 另外，由于 也可写成 ，则 也可以是 的一个矩估计.在矩估计不唯一时,人们往往选择涉及到的矩的阶数尽可能小（从而对总体的要求也尽可能少）的矩估计来使用,常用的矩估计一般只设计一、二阶矩8-12概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 2最大似然法 最大似然法是统计中十分重要,应用最广泛的方法之一.该方法最初由德国数学家高斯(Gauss)于1821年提出,但未得到重视.R.A.Fisher在1922年再次提出极大似然的思想,并探讨了它的性质,使之得到广泛的研究和应用.8-13概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 在概率统计中,概率密度函数 扮演了重要角色.当 已知时,表明概率密度如何随x变化;反过来,当样本x给定后可考虑对于不同的 ,概率密度如何变化,它反映了对x的解释能力.8-14概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计例例8.1.58.1.5 假设在一罐子中放着有许多白球和黑球，并假定已经知道两种球的数目之比是1：3,但不知道哪种颜色的球多.如果我们用放回抽样方式从罐中任意抽取n个球,则其中黑球的个数为x的概率是 ，p是罐中黑球的比例.由假设知道,p仅可能取1/4和3/4两种值.若n=3,则如何通过x来估计参数p呢？8-15概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 记 ,将其看作 的函数，称之为 的似然函数 如果选取使成立的 作为 的估计,则称 为 的最大似然估计（Maximum Likelihood Estimate）,简记为MLE.8-16概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 由于概率密度函数大多具有指数函数形式,若采用似然函数的对数,通常更为简便,称为的对数似然函数由于对数变换是严格单调增的，故 与 在寻求极大值是等价的8-17概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 在MLE存在时,寻找MLE最常用的方法是求导数,如果 是开集,且 关于 可微,则 是下列似然方程：的解8-18概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计例例8.1.68.1.6 设 是来自总体 的一个样本，则分别求偏导，可得8-19概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计解之得即 ，.可以直接验证,和 是 和 的MLE8-20概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计例例8.1.78.1.7 设 是来自均匀分布的一个样本，试求 的最大似然估计8-21概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 MLE有一个非常有吸引力的性质:若 是 的MLE,g具有单值反函数,则 也是 的MLE.该性质称为MLE的不变性,它使MLE在用于参数函数时十分简便.8-22概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 8.1.2 估计的优良性 1.1.无偏性无偏性 由问题的提法可见,树立估计量优劣标准总的想法是:希望未知参数与它的估计在某种意义下最为接近.首先,我们给出无偏性这一标准.8-23概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计定义定义8.1.18.1.1 设 是来自总体X的样本,为总体的未知参数,为 的一个估计量.若 则称 为 的一个无偏估计量无偏估计量,否则称为是有偏的.8-24概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计例例8.1.98.1.9 设 是来自总体 的一个样本,和 未知,其常用估计分别是样本均值 和样本方差易知 8-25概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计易知又由于 ,故从而,是 的无偏估计,而样本方差 不是 的无偏估计.但样本修正方差是 的无偏估计.8-26概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计定义定义8.1.28.1.2 若 是未知参数 的一个估计量,若 ,则称 是 的渐近无偏估计.8-27概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计注注:(1)无偏估计不一定存在例例8.1.108.1.10 设 ,考虑 的无偏估计.(2)对可估参数,无偏估计一般不唯一.在统计中,一般将存在无偏估计的参数函数称为可估参数.8-28概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计2 2有效性有效性定义定义8.1.38.1.3 设 及 都是 的无偏估计,如果 则称 较 有效有效 若 是 的一个无偏估计,对于 的任一无偏估计 ,成立:则称 是 的一致最小方差无偏估计一致最小方差无偏估计(Uniformly Minimum Variance Unbiased Estimate),简记为UMVUEUMVUE.8-29概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计3 3一致性一致性定义定义8.1.48.1.4 设 是 未知参数的估计量，若对任给的 ，都有则称 是 的一个一致估计量 8-30概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 8.2 区间估计 点估计没有给出估计值的精确程度.对于未知参数,除了求出它的点估计外,人们还希望估计一个范围,并希望知道这个范围包含参数的可靠程度如何.区间估计可以解决这个问题.8-31概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计定义定义 8.2.18.2.1 设 是来自总体X的一个样本,是总体的未知参数,若由样本确定的两个统计量 和 ,对于给定的 ,满足 则称随机区间 为参数 的置信水平是 的置信区间,和 分别称为置信下限和置信上限,也称为该区间的置信系数.8-32概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计关于置信区间的一种概率论解释 8-33概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计定义定义8.2.28.2.2 设 为一统计量,如果对给定的 ,有 则称 为 的置信水平为 的单侧置信下限.类似地,设统计量 满足 则称 为 的置信水平为 的单侧置信上限.8-34概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计例例8.2.18.2.1 设 是来自正态总体 的样本,其中 未知,已知,试求 的置信水平为 的置信区间.解解 由于样本均值 是 的MLE,且 所以考虑随机变量8-35概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计再由正态分布 的双侧100 百分位点的定义可知即8-36概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计故由置信区间的定义知，即是所求的 置信水平为 的置信区间 在该例中，我们注意到变量U在置信区间的构造中起着重要作用，它具有以下特点：（1）U是样本和未知参数 的函数，且不含其他未知参数；（2）U的分布已知，且与未知参数 无关8-37概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 我们把满足上述两条性质的量G称为枢轴量枢轴量.一般来说,我们可以先考虑未知参数的某个估计量T（例如 的最大似然估计）,然后基于T寻找枢轴量.(1)构造一个与问题有关的枢轴量 它的分布与 无关 置信区间的构造方法归纳为以下三个步骤：8-38概率论与数理统计概率论与数理统计概率论与数理统计概率论与数理统计 (2)对于给定的 ,选取两个常数c和d(cd),使得通常,可取c,d为G分布的双侧100 百分位点.(3)若不等式cG30）,它来自（0，1）分布的总体,即总体X的分布是其中p为未知参数,欲求p的 置信区间