数理统计参数估计.ppt
《数理统计参数估计.ppt》由会员分享,可在线阅读,更多相关《数理统计参数估计.ppt(95页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、数理统计参数估计现在学习的是第1页,共95页 数理统计的一类基本问题就是依据样本提供的信息,对总体的分布或数理统计的一类基本问题就是依据样本提供的信息,对总体的分布或总体分布的数字特征作出统计推断。统计推断涉及两类基本问题,一是总体分布的数字特征作出统计推断。统计推断涉及两类基本问题,一是估计问题,二是假设检验问题,本章介绍估计问题中参数估计的理论与估计问题,二是假设检验问题,本章介绍估计问题中参数估计的理论与方法。方法。设总体的分布函数为设总体的分布函数为 ,为未知参数,为未知参数,为为总体的样本,总体的样本,为样本的一次实现。参数估计就是不论总体为样本的一次实现。参数估计就是不论总体 的分
2、布函数的分布函数 已知还是未知,由样本对总体参数已知还是未知,由样本对总体参数 或总体的某些或总体的某些数字特征作出估计的方法和过程。参数估计依据做结论的方式不同分为数字特征作出估计的方法和过程。参数估计依据做结论的方式不同分为点估计和区间估计。点估计和区间估计。参数估计的基本理论可归纳为三个问题:参数估计的基本理论可归纳为三个问题:一是如何由样本为总体参数制定估计量,即估计量的制定;二是一是如何由样本为总体参数制定估计量,即估计量的制定;二是判定制定的估计量是否良好,即估计量优良性判定;判定制定的估计量是否良好,即估计量优良性判定;三是研究三是研究估计方法,寻找出估计的误差限和可靠性。估计方
3、法,寻找出估计的误差限和可靠性。现在学习的是第2页,共95页6.1 6.1 点估计点估计(Point EstimationPoint Estimation)样本样本 出发对总体参数出发对总体参数 或总或总体体 的某些数字特征作出估计,首先要将样本中有关总体的信息的某些数字特征作出估计,首先要将样本中有关总体的信息加工提取出来,建立用于估计的统计量,把用于估计加工提取出来,建立用于估计的统计量,把用于估计总体参数总体参数 的统计量的统计量 称为称为 的估计量,简的估计量,简记为记为 ,制定合适的统计量后,制定合适的统计量后,若得到样本的一个实现若得到样本的一个实现 ,则可用,则可用 的实现的实现
4、 作为总体参数作为总体参数 的估计值。由于这种估计只获得的估计值。由于这种估计只获得 的一个近似值,称之为点估计或的一个近似值,称之为点估计或定值估计。因此点估计的关键是为总体参数定值估计。因此点估计的关键是为总体参数 制定一个合适的估制定一个合适的估计量计量 。制定估计量的方法很多,仅介绍矩估计法和极大似然估计法制定估计量的方法很多,仅介绍矩估计法和极大似然估计法。现在学习的是第3页,共95页一、矩估计法(一、矩估计法(MEME)1.1.矩估计法的思想矩估计法的思想 由样本矩或样本矩的连续函数作为相应总由样本矩或样本矩的连续函数作为相应总体矩或总体矩的连续函数的估计量。体矩或总体矩的连续函数
5、的估计量。矩估计的思想得益于独立同分布矩估计的思想得益于独立同分布R.V.R.V.序列的大数定律。设总体序列的大数定律。设总体 的的 阶矩阶矩 存在,存在,是抽自总体的是抽自总体的 ,则由,则由大数定律知大数定律知现在学习的是第4页,共95页 Def 以样本矩作为相应总体矩的估计量,以样本矩的连续以样本矩作为相应总体矩的估计量,以样本矩的连续函数作为相应总体矩的连续函数的估计量。这种估计量称为矩函数作为相应总体矩的连续函数的估计量。这种估计量称为矩估计量,也称矩估计,矩估计量的样本实现称为矩估计值估计量,也称矩估计,矩估计量的样本实现称为矩估计值 2.2.矩估计的一般步骤矩估计的一般步骤 (1
6、 1)建立待估参数与总体矩的关系式;)建立待估参数与总体矩的关系式;(2 2)用矩估计法建立矩估计方程,解矩估计方程;)用矩估计法建立矩估计方程,解矩估计方程;(3 3)写出参数的矩估计量及矩估计值。)写出参数的矩估计量及矩估计值。例例6.16.1 设设 是抽自正态总体是抽自正态总体 的的 ,求参数,求参数 的矩估计量。的矩估计量。解:解:总体总体 ,则,则现在学习的是第5页,共95页所以所以 的矩估计量为的矩估计量为 不论总体服从什么分布,只要不论总体服从什么分布,只要 存在,存在,则它们的矩估计量分别为则它们的矩估计量分别为 现在学习的是第6页,共95页 例例6.2 设总体设总体 的密度函
7、数为的密度函数为求求 的矩估计量。的矩估计量。解:解:因为因为所以所以 ,故故 的矩估计量为的矩估计量为现在学习的是第7页,共95页 例例6.3 设总体设总体X在在a,b上服从均匀分布,其中上服从均匀分布,其中a,b未知,未知,是来自是来自X的样本的样本,试求试求a,b的矩估计量。的矩估计量。解:解:由题设条件由题设条件现在学习的是第8页,共95页于是于是a,b的矩估计量为的矩估计量为 例例6.46.4 总体总体 ,则,则 的矩估计量的矩估计量为为 ,。矩估计的优点:矩估计的优点:简单易行,不需事先知道总体的分布。简单易行,不需事先知道总体的分布。矩估计的缺点矩估计的缺点:若总体分布已知,没有
8、充分利用信息,浪费许:若总体分布已知,没有充分利用信息,浪费许多信息;一般场合下,矩估计量不具有唯一性。其主要原因是建多信息;一般场合下,矩估计量不具有唯一性。其主要原因是建立矩估计方程时,选用哪些总体矩用相应的样本矩去估计具有一立矩估计方程时,选用哪些总体矩用相应的样本矩去估计具有一定的随机性。定的随机性。现在学习的是第9页,共95页二、极大似然估计法(二、极大似然估计法(MLEMLE)极大似然估计法的思想来源于极大似然原理。极大似然估计法的思想来源于极大似然原理。什么是极大似然原理呢?通过例子给出:某同学和一位猎人一起外什么是极大似然原理呢?通过例子给出:某同学和一位猎人一起外出打猎,只听
9、一声枪响,野兔应声倒下。要你推测,你觉得是谁打中的出打猎,只听一声枪响,野兔应声倒下。要你推测,你觉得是谁打中的?我们会想,?我们会想,只用了一发子弹便只用了一发子弹便 打中,猎人命中的概率一般大于该同学打中,猎人命中的概率一般大于该同学命中的概率,看来这一枪应该是猎人打中的。命中的概率,看来这一枪应该是猎人打中的。极大似然原理:极大似然原理:如果一个随机试验如果一个随机试验 的所有可能结果的所有可能结果为为 ,在一次试验中,结果,在一次试验中,结果 出现,则出现,则 随机试随机试验验 的条件对的条件对 结果结果 出现更为有利,即认为出现更为有利,即认为 出现的概率最大。出现的概率最大。现在学
10、习的是第10页,共95页 MLEMLE的基本思想:的基本思想:选取选取 作为作为 的估计值,使当的估计值,使当 时,样本实现时,样本实现出现可能性最大,这种估计值称为极大似然估计值,相应的估计量称为出现可能性最大,这种估计值称为极大似然估计值,相应的估计量称为极大似然估计量。极大似然估计量。MLE要求总体的分布已知,其应用范围相对矩估计窄要求总体的分布已知,其应用范围相对矩估计窄。下面分别介绍离散型总体和连续型总体参数的极大似然估计法的概下面分别介绍离散型总体和连续型总体参数的极大似然估计法的概念和步骤。念和步骤。1.1.离散型的似然函数:离散型的似然函数:若总体若总体 的概率函数的概率函数
11、形式已知,形式已知,为待估参数,为待估参数,是是 的的取值范围,取值范围,为来自总体的为来自总体的 ,为样本的一个实现,则样本的联合概率函数为为样本的一个实现,则样本的联合概率函数为现在学习的是第11页,共95页 为样本取到样本实现为样本取到样本实现 的概的概率其为率其为 的函数,称函数的函数,称函数 为样本似然函数。为样本似然函数。2.2.连续型的似然函数:连续型的似然函数:若总体若总体 的密度函数为的密度函数为 ,形式已知,形式已知,为待估参数,为待估参数,是是 的取值范围的取值范围,为来自为来自总体总体 的样本,的样本,为样本的一个实现,则样本为样本的一个实现,则样本的联合概率密度函数为
12、的联合概率密度函数为现在学习的是第12页,共95页 为样本取到样本实现为样本取到样本实现 的概率的概率其为其为 的函数,称函数的函数,称函数 为样本似然函数。为样本似然函数。3.极大似然估计法:极大似然估计法:对样本的一个实现对样本的一个实现 在在 的取值范围内选一个的取值范围内选一个 ,使似然函数在,使似然函数在 点处达到最点处达到最大值,即大值,即 满足满足 现在学习的是第13页,共95页这样的这样的 与样本实现与样本实现 有关,记为有关,记为 称为参数称为参数 的极大似然估计值,相应的的极大似然估计值,相应的统计量统计量 为为 的极大似然估计量。的极大似然估计量。极大似然估计法求解的一般
13、步骤:极大似然估计法求解的一般步骤:(1 1)求似然函数)求似然函数 ;(2 2)对似然函数取对数,求导确定其最大值点)对似然函数取对数,求导确定其最大值点 ;(3 3)写出)写出 的极大似然估计值和极大似然估计量。的极大似然估计值和极大似然估计量。现在学习的是第14页,共95页 例例6.56.5 总体总体 ,为来自总体为来自总体的的 ,为样本的一个实现,求为样本的一个实现,求 的极大似然估的极大似然估计量。计量。解:解:因为因为 ,所以有,所以有从而似然函数为从而似然函数为对其取对数有对其取对数有对上式关于对上式关于 求导,并令其为求导,并令其为0 0,则有,则有现在学习的是第15页,共95
14、页解得解得 的极大似然估计值为的极大似然估计值为 的极大似然估计量为的极大似然估计量为现在学习的是第16页,共95页 例例6.66.6 设总体设总体 ,为来自总体的为来自总体的 ,为样本的一个实现,求为样本的一个实现,求 的极大似然的极大似然估计量。估计量。解:解:因为因为 ,所以有,所以有所以所以 的似然函数为的似然函数为取对数得取对数得现在学习的是第17页,共95页对上式关于对上式关于 求导,并令其为求导,并令其为0 0,整理得,整理得解得解得 的极大似然估计值和极大似然估计量分别为的极大似然估计值和极大似然估计量分别为现在学习的是第18页,共95页 例例6.76.7 设总体设总体 ,为未
15、知参数,为未知参数,为抽自总体的为抽自总体的 ,为样本的为样本的一个实现,求一个实现,求 的极大似然估计量。的极大似然估计量。解:解:因为因为 所以所以 似然函数为似然函数为对其取对数得对其取对数得现在学习的是第19页,共95页对其关于对其关于 求导并令其为求导并令其为0 0,得,得解得解得 的极大似然估计值为的极大似然估计值为所以,所以,的极大似然估计量为的极大似然估计量为现在学习的是第20页,共95页 解:解:参数参数 的似然函数为的似然函数为记记 则则 例例6.8 设总体设总体X在在a,b上服从均匀分布,其中上服从均匀分布,其中a,b未知,未知,是来自是来自 的样本的样本,是样本的是样本
16、的一个实现,一个实现,试求试求a,b的极大使然估计量。的极大使然估计量。现在学习的是第21页,共95页所以参数所以参数 的极大似然估计值为的极大似然估计值为参数参数 的极大似然估计量为的极大似然估计量为现在学习的是第22页,共95页 由前面的内容知,对同一参数,用不同的估计方法求出的估计由前面的内容知,对同一参数,用不同的估计方法求出的估计量可能不同,原则上任何统计量都可作为未知参数的估计量。量可能不同,原则上任何统计量都可作为未知参数的估计量。问题问题:(:(1 1)对同一参数究竟采用哪种估计量好?)对同一参数究竟采用哪种估计量好?(2 2)评价估计量的标准是什么?)评价估计量的标准是什么?
17、三、估计量的优良性评价标准三、估计量的优良性评价标准 1.1.无偏估计(最基本标准)无偏估计(最基本标准)设设 为总体的待估参数,为总体的待估参数,为为 的估计量,若有的估计量,若有 ,则称,则称 为为 的一个无偏估的一个无偏估计量。计量。无偏估计的实际意义是:没有系统误差无偏估计的实际意义是:没有系统误差 如:用样本均值作为总体均值的估计时,虽无法说明一次估计所产生如:用样本均值作为总体均值的估计时,虽无法说明一次估计所产生的偏差,但这种偏差随机的在的偏差,但这种偏差随机的在0附近波动。对同一统计问题大量重复使用附近波动。对同一统计问题大量重复使用不会产生系统误差。不会产生系统误差。现在学习
18、的是第23页,共95页 例例6.9 设总体设总体 的均值的均值 方差方差 均存在且未知,均存在且未知,是来自总体的是来自总体的 ,以样本均值和样本,以样本均值和样本方差分别作为方差分别作为 的估计量,证明它们满足无偏性。的估计量,证明它们满足无偏性。证明证明:因为:因为 为总体的为总体的 ,则,则现在学习的是第24页,共95页 样本均值样本均值 是总体均值是总体均值 的无偏估计量;样本方差的无偏估计量;样本方差 是总体方差是总体方差 的无偏估计量。样本二阶中心矩的无偏估计量。样本二阶中心矩 不是总体不是总体方差方差 的无偏估计量。的无偏估计量。现在学习的是第25页,共95页 2.2.有效估计有
19、效估计 设设 为待估参数为待估参数 的两个无偏估计的两个无偏估计量,若满足量,若满足 ,则称估计量,则称估计量 比比 更有效更有效 由于方差是由于方差是R.V.R.V.取值与数学期望的偏离程度,所以有效估取值与数学期望的偏离程度,所以有效估计在无偏估计的基础上,方差小者为更好。计在无偏估计的基础上,方差小者为更好。最小方差无偏估计简称为最优无偏估计最小方差无偏估计简称为最优无偏估计。对其作如下说明对其作如下说明:(1 1)不是所有总体中的未知参数都有最小方差无偏估计量)不是所有总体中的未知参数都有最小方差无偏估计量(2 2)判断一个估计量是否是最优无偏估计量较复杂;)判断一个估计量是否是最优无
20、偏估计量较复杂;(3 3)事件发生的频率是事件发生概率的最优无偏估计量;)事件发生的频率是事件发生概率的最优无偏估计量;(4 4)若总体服从正态分布)若总体服从正态分布 ,则样本均值,则样本均值 和样本和样本方差方差 分别为总体均值分别为总体均值 和总体方差和总体方差 的最优无偏估计量。的最优无偏估计量。现在学习的是第26页,共95页 例例6.106.10 设设 是来自参数为是来自参数为 的指数分布的的指数分布的 总体分布的概率密度函数为总体分布的概率密度函数为其中参数其中参数 未知,证明未知,证明 与与都是无偏估计,并比较其有效性。都是无偏估计,并比较其有效性。证明证明:有极小分布可知有极小
21、分布可知 Z Z 服从参数为服从参数为 的指数分布,则有的指数分布,则有 所以所以 都是无偏估计量。都是无偏估计量。现在学习的是第27页,共95页现在学习的是第28页,共95页 3.3.一致估计一致估计 设设 为总体的待估参数为总体的待估参数 的估计量,对任意的估计量,对任意 ,总成立,总成立则称则称 为为 的一致估计量。的一致估计量。一致估计又称为一致估计又称为相合估计相合估计,一致估计从理论上保证了样本容,一致估计从理论上保证了样本容量越大,估计值出现大误差机会越小。在实际中,若估计量满量越大,估计值出现大误差机会越小。在实际中,若估计量满足一致性,则想降低估计值与待估参数间的差距常采用增
22、大样足一致性,则想降低估计值与待估参数间的差距常采用增大样本容量的方法。本容量的方法。例例6.116.11 证明在重复抽样情况下,样本均值证明在重复抽样情况下,样本均值 是总体均值是总体均值 的一致估计。的一致估计。现在学习的是第29页,共95页 证明:证明:对重复抽样有对重复抽样有则对任意则对任意 ,由,由ChebychevChebychev大数定律知大数定律知因此,样本均值是总体均值的一致估计。因此,样本均值是总体均值的一致估计。注:注:(1 1)样本的)样本的 阶原点矩是总体阶原点矩是总体 阶原点矩的一致估计;阶原点矩的一致估计;若参数若参数 ,其中,其中 g g 为实连续函数,则为实连
23、续函数,则 的矩估计量的矩估计量 是参数是参数的一致估计。的一致估计。(2 2)由极大似然估计法得到的估计量一般具有一致性;)由极大似然估计法得到的估计量一般具有一致性;(3 3)一致性是对一个估计量的基本要求,若估计量不具有一致性,则)一致性是对一个估计量的基本要求,若估计量不具有一致性,则不论样本容量多大,都不能将参数估计的足够准确,这样的估计量不可不论样本容量多大,都不能将参数估计的足够准确,这样的估计量不可取。取。现在学习的是第30页,共95页四、点估计的应用四、点估计的应用 从前面的讨论不难看出,从统计理论上讲点估计法只给出了待估从前面的讨论不难看出,从统计理论上讲点估计法只给出了待
24、估参数的估计值,并没有给出参数估计值与真实值之间的误差,也没有参数的估计值,并没有给出参数估计值与真实值之间的误差,也没有作出估计结论的可靠性,而这些是实际工作中最关心的。因此,为了作出估计结论的可靠性,而这些是实际工作中最关心的。因此,为了满足实际应用的需要,从应用的角度提出对参数点估计的一般性约定:满足实际应用的需要,从应用的角度提出对参数点估计的一般性约定:DefDef 设设 是参数是参数 的无偏估计量的无偏估计量,对给定的对给定的 ,若能确定一个仅依赖于样本和若能确定一个仅依赖于样本和 的实数的实数 使得下式恒成立使得下式恒成立则称则称 的一个实现的一个实现 是参数是参数 的估计值,的
25、估计值,为估计值的误差为估计值的误差限(即最大绝对误差),限(即最大绝对误差),为估计值的可靠性(可信程度)。为估计值的可靠性(可信程度)。现在学习的是第31页,共95页 在实际应用中,估计误差限在实际应用中,估计误差限 常被转换为估计精常被转换为估计精度,简称精度。估计精度的定义为:度,简称精度。估计精度的定义为:现在学习的是第32页,共95页6.2 6.2 区间估计(区间估计(Interval EstimationInterval Estimation)参数估计除了点估计外,还有一种实际中常用的形式参数估计除了点估计外,还有一种实际中常用的形式-区间区间估计(给出参数的一个范围)。这种估计
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数理统计 参数估计
限制150内