三章节参数估计.ppt

《三章节参数估计.ppt》由会员分享，可在线阅读，更多相关《三章节参数估计.ppt（26页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、三章节参数估计 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望一、参数及其估计一、参数及其估计在解决实际问题中，当构造了统计模型，在解决实际问题中，当构造了统计模型，我们首先关心的是分布族中的那一个分布产我们首先关心的是分布族中的那一个分布产生了我们所抽取的数据，即就是要从样本来生了我们所抽取的数据，即就是要从样本来推断总体的分布或所感兴趣的总体特征数推断总体的分布或所感兴趣的总体特征数（如总体（如总体均值均值、方差方差等）。等）。统计推断分为统计推断分为参参数估

2、计数估计和和假设检验假设检验，我们先来讨论参数估计。，我们先来讨论参数估计。通常我们也称其为参数。通常我们也称其为参数。如如废品率。废品率。但上述有关参数的概念并不局限于但上述有关参数的概念并不局限于参数统计模型，参数统计模型，在非参数统计模型中亦存在，在非参数统计模型中亦存在，特征数也都是参数。一般地，有关参数和估特征数也都是参数。一般地，有关参数和估计量，我们有如下定义。计量，我们有如下定义。定义定义3参数（参数（Parameter）,估计量估计量（Estimate），简称估计。，简称估计。二、替换原理二、替换原理 1.频率替换法频率替换法考虑考虑n次独立重复试验，每次试验有次独立重复试验

3、，每次试验有k中中可能的结果可能的结果父辈从事第父辈从事第3种职业的种职业的708个丹麦男性的职业数据如下：个丹麦男性的职业数据如下：0.130.310.410.120.0395217289842354321例例5 考虑男性总体。设男性的职业类型分为考虑男性总体。设男性的职业类型分为五类，五类，根据根据频率替换频率替换原理原理，最自然的方法就是用样本频率，最自然的方法就是用样本频率例如在例例如在例5中已知第中已知第4和第和第5种职业相于蓝领，种职业相于蓝领，第第2和第和第3种职业相于白领，我们感兴趣的是种职业相于白领，我们感兴趣的是蓝领工人和白领工人比率的差，即蓝领工人和白领工人比率的差，即使

4、用频率替换原理，有使用频率替换原理，有在实际问题中，常见的情形是：每次试验在实际问题中，常见的情形是：每次试验函数，函数，上有定义和连续，则由频率替换原理可得上有定义和连续，则由频率替换原理可得需要注意的是在上述估计过程中可能得到需要注意的是在上述估计过程中可能得到的估计是不唯一的，举例说明如下。的估计是不唯一的，举例说明如下。例例6考虑具有两个等位基因的单个基因的遗考虑具有两个等位基因的单个基因的遗传平衡问题。传平衡问题。如果三种不同的基因型是可辨如果三种不同的基因型是可辨识的，识的，这就导致假设个体三种基因型发生的这就导致假设个体三种基因型发生的频率为频率为即著名的即著名的Hardy-We

5、inberg模型模型。由替换原理可得由替换原理可得 的三个不同的估计的三个不同的估计关于这三个估计优劣留以后讨论。关于这三个估计优劣留以后讨论。2.矩估计法矩估计法矩估计法的主要思想是基于替换原理。矩估计法的主要思想是基于替换原理。相应的样本的前相应的样本的前r个原点矩为个原点矩为由替换原理可得由替换原理可得 的估计为的估计为这种方法称为这种方法称为矩估计法矩估计法，所得的估计量称为，所得的估计量称为矩估计量（矩估计量（Moment Estimate）。例例7例例8解解因为均匀分布的均值和方差为因为均匀分布的均值和方差为令令求解可得求解可得注意注意：1.总体存在适当阶的矩。总体存在适当阶的矩。

6、反例，考虑反例，考虑Cauchy分布，其密度函数为分布，其密度函数为其各阶矩均不存在。其各阶矩均不存在。2.对相同的参数对相同的参数 ，存在多个矩估计。，存在多个矩估计。例如，考虑总体是参数为例如，考虑总体是参数为 的的Poisson分布，分布，三、极大似然法三、极大似然法 例例9 已知甲、乙量射手命中靶心的概率为已知甲、乙量射手命中靶心的概率为0.9极大似然法是另一种常用的估计法，先举极大似然法是另一种常用的估计法，先举例说明其思想。例说明其思想。和和0.4，观察一张靶纸知，观察一张靶纸知10枪枪6中，且这张中，且这张靶纸肯定是射手甲乙之一所射，问究竟靶纸肯定是射手甲乙之一所射，问究竟是谁所

7、射？是谁所射？式。式。比较这两个值，比较这两个值，这张靶纸是乙所射的，这张靶纸是乙所射的，从这个例子可以看出，极大似然法是基从这个例子可以看出，极大似然法是基于这样一个统计原理：于这样一个统计原理：在一次试验中，某一在一次试验中，某一事件已经发生，则必认为发生该事件的概率事件已经发生，则必认为发生该事件的概率最大（小概率事件原理）。最大（小概率事件原理）。分布为分布为简记简记似然函数似然函数，(Likelihood Function)极大似然估计极大似然估计,(Maximum Likelihood Estimate)简记为简记为MLE。注意注意：当总体当总体X为离散随机变量时，为离散随机变量时

8、，为分布率（分布列）；为分布率（分布列）；连续随机变量时，连续随机变量时，函数。函数。而当总体而当总体X为为从以上分析可知，从以上分析可知，求极大似然估计的具体过程可归如下：求极大似然估计的具体过程可归如下：1.当参数空间仅函有限个元时，可以用穷当参数空间仅函有限个元时，可以用穷举法求举法求2.时，时，这个方程称为这个方程称为似然方程似然方程，(Likelihood Function)求解似然方程可求解似然方程可例例10设总体设总体X的分布函数为的分布函数为简单随机样本，简单随机样本，例例11 考虑考虑n次独立重复试验，每次试验有次独立重复试验，每次试验有k种种可能的结果可能的结果例例12解解的小。的小。故有故有注注：常常可以证明矩估计或常常可以证明矩估计或MLE存在，但存在，但无法获得解的解析表达式（显式解），无法获得解的解析表达式（显式解），这时可用迭代法等求数值解。这时可用迭代法等求数值解。