数理统计CH参数估计.ppt

《数理统计CH参数估计.ppt》由会员分享，可在线阅读，更多相关《数理统计CH参数估计.ppt（61页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数理统计CH参数估计 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望 实际问题所研究总体X的分布参数(数字特征)常常是未知的，如果掌握了所研究总体X的概率分布或全部数据，那么只需简单计算就可得到所需的总体参数。而实际问题是，要么对总体X一无所知，要么只知总体X的分布类型，很难也没必要通过测取总体的全部数据获得所需的总体参数。因此，只需抽取总体的一个样本(sample observation)，利用样本提供的信息对总体参数做出推断。引言4 参数估计总体参数有期望、方

2、差、偏度、峰度、n阶原点矩、n阶中心矩等12/3/20222王玉顺：数理统计04_参数估计 对总体总体X抽样获得样本样本(sample)，由样本构造统计量统计量(statistic)，以统计量为工具对期望、方差等总体参数的值值或按给定概率所处的区间区间作出推断，称参数估计(estimation)。(1)什么是参数估计？4 参数估计参数估计是统计推断的两个基本问题之一参数估计是统计推断的两个基本问题之一12/3/20223王玉顺：数理统计04_参数估计本章仅讨论分布类型已知的参数估计问题点估计点估计(point estimation)：对所考察总体X的参数如均值、方差等的值值所做的估计。区间估计

3、区间估计(interval estimation)：对所考察总体X的参数如均值、方差等以给定概率所处的可能区间区间(数值范围)所做的估计。(1)什么是参数估计？4 参数估计12/3/20224王玉顺：数理统计04_参数估计(2)估计量和估计值估计量是用于参数估计的统计量 设总体X的概率分布已知，并具有分布函数F(x;)，其中为未知参数，X1,X2,Xn是它的一个样本。以样本构造能对参数做近似估算的统计量 (X1,X2,Xn)，将该统计量 (X1,X2,Xn)称为的估计量，简称作估计(estimation)，记作4 参数估计用于参数估计的统计量称作估计量12/3/20225王玉顺：数理统计04_

4、参数估计样本X1,X2,Xn的观察值记作(x1,x2,xn)或x1,x2,xn估计量 (X1,X2,Xn)的观察值记作估计量的观察值称作估计值估计值。(2)估计量和估计值4 参数估计估计值是由样本计算而得的估计量值12/3/20226王玉顺：数理统计04_参数估计估计量 (X1,X2,Xn)是样本的函数仍是随机变量；估计量是用于参数估计的统计量，不含任何未知参数；估计量有确定的概率分布。(3)估计量的性质4 参数估计12/3/20227王玉顺：数理统计04_参数估计 用估计量对参数做估计被视作随机试验，估计值就是一次试验的结果，做多次试验，估计值会在被估参数的真值附近摆动。(4)估计值与参数真

5、值的关系4 参数估计12/3/20228王玉顺：数理统计04_参数估计4.1 矩估计4.2 极大似然估计4.3 估计量的评价4.4 区间估计本章内容4 参数估计12/3/20229王玉顺：数理统计04_参数估计4.1 矩估计Estimation by Moments4 参数估计12/3/202210王玉顺：数理统计04_参数估计 利用样本矩构造估计量，进而对参数进行估计的方法称作矩估计。(1)什么是矩估计？4.1 矩估计12/3/202211王玉顺：数理统计04_参数估计依据：由大数定律知道，样本原点矩依概率1收敛于总体原点矩。即样本容量愈大样本原点矩与总体原点矩的偏差就愈小。构造估计量的思路

6、：(1)以样本原点矩作相应总体原点矩的估计；(2)估计量与样本矩之间的关系仿照待估参数与总体矩之间的关系；(3)解方程组得到估计量的表达式，称作矩估计量。此法称作矩估计法。(2)矩估计的依据和思路4.1 矩估计12/3/202212王玉顺：数理统计04_参数估计(3)求总体均值的矩估计4.1 矩估计 样本一阶原点矩作为总体一阶原点矩的估计得总体均值的矩估计记：求矩估计量12/3/202213王玉顺：数理统计04_参数估计4.1 矩估计 样本二阶原点矩作为总体二阶原点矩的估计记：(4)求总体方差的矩估计求矩估计量 由方差计算公式可知待估参数与总体矩之间的关系：12/3/202214王玉顺：数理统

7、计04_参数估计估计量与样本矩之间的关系仿照待估参数与总体矩之间的关系4.1 矩估计解方程组得矩估计量(4)求总体方差的矩估计求矩估计量12/3/202215王玉顺：数理统计04_参数估计4.1 矩估计(4)求总体方差的矩估计求矩估计量12/3/202216王玉顺：数理统计04_参数估计抽样均值矩估计方差矩估计(5)均值和方差的矩估计值4.1 矩估计x15214513616512/3/202217王玉顺：数理统计04_参数估计矩估计适用于总体分布类型已知或未知时的分布参数估计；要求总体存在一、二阶矩。哥西分布不存在一阶原点矩，不能使用矩估计；因样本矩的表达式与总体的分布函数无关，故矩估计法未能

8、充分利用样本所提供的全部信息。(6)矩估计的适用范围4.1 矩估计12/3/202218王玉顺：数理统计04_参数估计4.2 极大似然估计Maximum Likelihood Estimation4 参数估计12/3/202219王玉顺：数理统计04_参数估计 对分布类型已知的总体X抽样，获得容量为n的样本观察值(x1,x2,xn)，以发生该观察值的概率最大为目标构造总体参数的估估计量计量，该估计量就称作总体参数的极极大似然估计大似然估计。4.2 极大似然估计什么是极大似然估计？12/3/202220王玉顺：数理统计04_参数估计 一个罐内装有黑色球和白色球共四个，用返回抽样方法从罐内连续取球

9、三次，二次得白球，一次得黑球。问：罐内白球的个数最有可能是多少？问题分析：问题分析：设总体，=1表抽得白球，=0表抽得黑球，罐内取球三次视作对0-10-1总体抽样三次。设抽得白球的概率为p，则抽得黑球的概率为(1-p)，所研究问题可归结为对0-10-1总体参数p的估计。通过例子理解极大似然估计4.2 极大似然估计12/3/202221王玉顺：数理统计04_参数估计解题步骤：解题步骤：(1)用估计量X表对0-1总体抽样三次取得白球的个数，则X实质上是容量为3 3的样本和，因此估计量XB(3,p)，其概率函数为4.2 极大似然估计(2)估计量X的观察值为2(3)罐内白球的个数仅有1,2和3三种可能

10、结果，三总体发生事件X=2的概率见下表通过例子理解极大似然估计12/3/202222王玉顺：数理统计04_参数估计mpX=0X=1X=2X=311/427/64 27/649/641/6422/48/6424/64 24/648/6433/41/649/6427/64 27/64m罐内白球个数三次抽样抽得白球的概率4.2 极大似然估计(4)对于估计量X，概率大的事件最易发生，因此发生观察值2的最有可能总体是p=3/4通过例子理解极大似然估计12/3/202223王玉顺：数理统计04_参数估计总体分布参数(抽得白球概率)为：罐内白球总数：4.2 极大似然估计极大似然估计问题可表为下面的数学模型：

11、通过例子理解极大似然估计12/3/202224王玉顺：数理统计04_参数估计4.2.1 离散总体参数的极大似然估计Maximum Likelihood Estimation4.2 极大似然估计12/3/202225王玉顺：数理统计04_参数估计离散变量概率分布函数：抽样所得的样本观察值：抽样发生所得样本观察值的概率称作似然函数：(1)由样本观察值建立似然函数4.2.1 离散总体参数的极大似然估计样本分量概率函数样本分量概率函数的连乘积的连乘积12/3/202226王玉顺：数理统计04_参数估计 因似然函数L()与其对数 lnL()在同一点上取得极大值(两函数的极值点相同)，为算法简便计，似然函

12、数常先做对数变换，再对待估参数(此时看作变量)求偏导。似然函数与其对数在求极大似然估计中等价似然函数与其对数在求极大似然估计中等价4.2.1 离散总体参数的极大似然估计(2)对似然函数实施对数变换12/3/202227王玉顺：数理统计04_参数估计满足下式的估计量就是极大似然估计：或极大似然估计是似然函数对被估参数偏导数方程组的解4.2.1 离散总体参数的极大似然估计(3)似然函数对被估参数求导12/3/202228王玉顺：数理统计04_参数估计似然函数：似然函数对待估参数求偏导并令其等于0：(4)Poission总体极大似然估计4.2.1 离散总体参数的极大似然估计12/3/202229王玉

13、顺：数理统计04_参数估计解得极大似然估计值：相应的极大似然估计量为：4.2.1 离散总体参数的极大似然估计(4)Poission总体极大似然估计12/3/202230王玉顺：数理统计04_参数估计4.2.2 连续总体参数的极大似然估计Maximum Likelihood Estimation4.2 极大似然估计12/3/202231王玉顺：数理统计04_参数估计连续变量概率密度函数：抽样所得的样本观察值：称发生抽样所得样本观察值的概率为似然函数：样本分量区间概率样本分量区间概率的连乘积的连乘积4.2.2 连续总体参数的极大似然估计(1)由样本观察值建立似然函数12/3/202232王玉顺：数

14、理统计04_参数估计 若x取常数，则似然函数L()的极大值与x无关。因此，连续总体的似然函数可简化为下面的形式：似然函数是样本分量密度函数的连乘积似然函数是样本分量密度函数的连乘积4.2.2 连续总体参数的极大似然估计(1)由样本观察值建立似然函数12/3/202233王玉顺：数理统计04_参数估计似然函数与其对数在求极大似然估计中等价似然函数与其对数在求极大似然估计中等价4.2.2 连续总体参数的极大似然估计(2)对似然函数实施对数变换 因似然函数L()与其对数 lnL()在同一点上取得极大值(两函数的极值点相同)，为算法简便计，似然函数常先做对数变换，再对待估参数(此时看作变量)求偏导。1

15、2/3/202234王玉顺：数理统计04_参数估计满足下式的估计量就是极大似然估计：或极大似然估计是似然函数对被估参数偏导数方程组的解(3)似然函数对被估参数求导4.2.2 连续总体参数的极大似然估计12/3/202235王玉顺：数理统计04_参数估计建立似然函数(4)Normal总体极大似然估计 X1,X2,Xn是总体XN(,2)的样本，求总体参数和2的极大似然估计4.2.2 连续总体参数的极大似然估计12/3/202236王玉顺：数理统计04_参数估计似然函数两边取对数并化简似然函数两边取对数并化简4.2.2 连续总体参数的极大似然估计(4)Normal总体极大似然估计12/3/20223

16、7王玉顺：数理统计04_参数估计似然函数对待估参数和2(此时看作变量)求偏导并令导函数等于零4.2.2 连续总体参数的极大似然估计(4)Normal总体极大似然估计12/3/202238王玉顺：数理统计04_参数估计解方程解方程组得极组得极大似然大似然估计估计4.2.2 连续总体参数的极大似然估计(4)Normal总体极大似然估计12/3/202239王玉顺：数理统计04_参数估计样本一阶原点矩样本二阶中心矩正态总体均值极大似然估计正态总体方差极大似然估计4.2.2 连续总体参数的极大似然估计(4)Normal总体极大似然估计12/3/202240王玉顺：数理统计04_参数估计4.3 估计量的

17、评价Compare Estimators4 参数估计12/3/202241王玉顺：数理统计04_参数估计 从前两节所述内容可看出，对总体的未知参数可以构造不同的估计量去估计，那么自然要问：哪一个估计量更好呢？孰优孰劣，不能武断定论，这要看按什么标准来评价。本节介绍依据三种评价标准对估计量优劣的评价方法。为什么要评价估计量？4.3 估计量的平价12/3/202242王玉顺：数理统计04_参数估计无偏估计示意图估计量的期望等于被估参数：(1)无偏估计(unbiased estimate)4.3 估计量的平价 设 是未知参数 的一个估计量，若满足 ，则称 是 的无偏估计。12/3/202243王玉顺

18、：数理统计04_参数估计均值估计均值估计的期望样本均值是无偏估计(2)均值无偏估计4.3 估计量的平价12/3/202244王玉顺：数理统计04_参数估计方差的极大似然估计和矩估计：方差的矩估计和极大似然估计是有偏的(3)方差无偏估计4.3 估计量的平价12/3/202245王玉顺：数理统计04_参数估计4.3 估计量的平价(3)方差无偏估计方差矩估计和极大似然估计的期望12/3/202246王玉顺：数理统计04_参数估计样本方差样本方差S2是是无偏估计量无偏估计量(3)方差无偏估计4.3 估计量的平价12/3/202247王玉顺：数理统计04_参数估计考察均值的两个无偏估计量：同是无偏估计，

19、哪一个更好呢？4.3 估计量的平价(4)估计量的有效性12/3/202248王玉顺：数理统计04_参数估计估计量的方差较小为“有效”4.3 估计量的平价 设 和 是未知参数 的两个无偏估计量，若满足 ，则称 比 有效。讨论有效性需在两估计量均是无偏估计的前题下进行，否则比较有效性没有意义。(4)估计量的有效性12/3/202249王玉顺：数理统计04_参数估计4.3 估计量的平价(5)有效估计minimum variance estimation 已证明，任一估计量的方差均满足下面的克拉美罗不等式(Cramer-Rao定理)：其中：I()中的f(x;)是参数所属总体的概率密度12/3/2022

20、50王玉顺：数理统计04_参数估计4.3 估计量的平价有效估计亦称最小方差估计有效估计亦称最小方差估计 若无偏估计 使克拉美-罗不等式中的等号成立，则称 为 的有效估计。即估计量的方差满足下式：(5)有效估计minimum variance estimation12/3/202251王玉顺：数理统计04_参数估计 哪个估计量好?(6)均值有效估计4.3 估计量的平价样本均值比样本分量样本均值比样本分量的任何线性组合更有效的任何线性组合更有效12/3/202252王玉顺：数理统计04_参数估计正态总体的密度函数两边取对数(7)Normal总体均值有效估计4.3 估计量的平价12/3/202253

21、王玉顺：数理统计04_参数估计4.3 估计量的平价对被估参数求偏导密度函数对数展开(7)Normal总体均值有效估计12/3/202254王玉顺：数理统计04_参数估计偏导函数对变量X求期望求克拉美最小方差考察样本均值估计量的方差4.3 估计量的平价样本均值是正态总体样本均值是正态总体N(,2)中参数中参数的有效估计的有效估计(7)Normal总体均值有效估计12/3/202255王玉顺：数理统计04_参数估计(8)一致估计(强相合估计)(strong consistent estimate)4.3 估计量的平价 对于任意，若无偏估计量满足下面的概率极限式，则称 为 的一致估计：一致估计的含义

22、：n愈大 就愈接近真值。或者说，n愈大用 估计真值的精度就愈高。处处以概率1收敛于真值。12/3/202256王玉顺：数理统计04_参数估计(9)正态总体均值一致估计4.3 估计量的平价12/3/202257王玉顺：数理统计04_参数估计4.3 估计量的平价(9)正态总体均值一致估计样本容量n愈大，样本均值的观察值愈靠近总体均值 的附近分布12/3/202258王玉顺：数理统计04_参数估计(10)任意总体均值和方差的一致估计4.3 估计量的平价由中心极限定理推论：样本均值和样本方差分别是总体参数和2的一致估计12/3/202259王玉顺：数理统计04_参数估计最好的估计量具有下述特性：最小方差一致无偏估计最小方差一致无偏估计(11)最小方差一致无偏估计4.3 估计量的平价uniformly minimum variance unbiased estimate12/3/202260王玉顺：数理统计04_参数估计结束结束4 参数估计12/3/202261王玉顺：数理统计04_参数估计