数理统计与随机过程参数估计.ppt

《数理统计与随机过程参数估计.ppt》由会员分享，可在线阅读，更多相关《数理统计与随机过程参数估计.ppt（51页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数理统计与随机过程数理统计与随机过程参数估计参数估计现在学习的是第1页，共51页第七节第七节 参数估计参数估计数理统计的任务：数理统计的任务：总体分布类型的判断；总体分布类型的判断；总体分布中未知参数的推断总体分布中未知参数的推断(参数估计参数估计与与假设检验假设检验)。现在学习的是第2页，共51页参数估计问题的一般提法参数估计问题的一般提法 设总体设总体 X 的分布函数为的分布函数为 F(x,)，其中其中为为未未知参数或参数向量知参数或参数向量，现从该总体中抽样，现从该总体中抽样,得到得到样样本本X1,X2,Xn.依样本对参数依样本对参数做出估做出估计计，或估计参数或估计参数的某个的某个已知

2、函数已知函数 g()。这类问题称为参数估计。这类问题称为参数估计。参数估计包括：参数估计包括：点估计点估计和和区间估计区间估计。现在学习的是第3页，共51页 称该计算值为称该计算值为 u 的一个的一个点估计点估计。为为估计参数估计参数 u，需要构造适当的统计量，需要构造适当的统计量 (X1,X2,Xn)，一旦当有了样本，就将样本值代入到该统计一旦当有了样本，就将样本值代入到该统计量中，算出一个值量中，算出一个值作为作为 u 的估计，的估计，点估计点估计现在学习的是第4页，共51页寻求估计量的方法寻求估计量的方法1.矩估计法矩估计法2.极大似然法极大似然法3.最小二乘法最小二乘法4.贝叶斯方法贝

3、叶斯方法 现在学习的是第5页，共51页其思想是其思想是:用同阶、同类用同阶、同类的的样本矩样本矩来估计来估计总体矩总体矩。矩估计矩估计是基于是基于“替换替换”思想建立起来的一思想建立起来的一种参数估计方法种参数估计方法。最早由英国统计学家最早由英国统计学家 K.皮尔皮尔逊逊 提出。提出。7.1 矩估计矩估计现在学习的是第6页，共51页矩估计就是用相应的矩估计就是用相应的样本矩样本矩去去估计估计总体矩总体矩。现在学习的是第7页，共51页设总体设总体 X 的分布函数中含的分布函数中含 k 个未知参数个未知参数 步骤一：步骤一：记记总体总体 X 的的 m 阶原点矩阶原点矩 E(Xm)为为 am ,m

4、 =1,2,1,2,k.am(1,2,k),m=1,2,k.一般地一般地,am(m=1,2,K)是总体分布中是总体分布中参数或参数向量参数或参数向量(1,2,k)的的函数函数。故故,am(m=1,2,k)应记成应记成:矩估计矩估计步骤步骤现在学习的是第8页，共51页步骤二：步骤二：算出算出样本样本的的 m 阶原点矩阶原点矩步骤三：步骤三：令令 得到得到关于关于 1 1,2 2,k k 的方程组的方程组(L Lk)。一。一般要求方程组般要求方程组(1)(1)中有中有 k 个独立方程个独立方程。现在学习的是第9页，共51页步骤四：步骤四：解方程组解方程组(1),(1),并记其解为并记其解为 这种参

5、数估计法称为参数的这种参数估计法称为参数的矩估计法矩估计法，简，简称矩法。称矩法。现在学习的是第10页，共51页解：解：先求总体的先求总体的期望期望例例1 1：设总体设总体 X 的概率密度为的概率密度为现在学习的是第11页，共51页由矩法，令由矩法，令样本矩总体矩解得解得为为 的的矩估矩估计计。现在学习的是第12页，共51页解解:先求总体的先求总体的均值均值和和 2 阶原点矩阶原点矩。例例2：设设 X1,X2,Xn 是取自总体是取自总体 X 的简单样本的简单样本,X 有概率密度函数有概率密度函数现在学习的是第13页，共51页2 阶原点矩阶原点矩现在学习的是第14页，共51页 用样本矩估计总体矩

6、求解得现在学习的是第15页，共51页列出方程组列出方程组:例例3：设总体设总体X的均值为的均值为，方差为，方差为 2，求求 和和 2 的的矩估计。矩估计。解：解：现在学习的是第16页，共51页故，均值,方差2的矩估计为求解，得求解，得现在学习的是第17页，共51页如：如：正态总体正态总体N(,2)中中 和和 2 2的矩估计为的矩估计为现在学习的是第18页，共51页例例4：若总体若总体 X U(a,b)，求，求a,b的矩估计。的矩估计。解：解：列出方程组列出方程组 样本矩总体矩现在学习的是第19页，共51页解上述方程组，得到解上述方程组，得到 a,b 的矩估计的矩估计:现在学习的是第20页，共5

7、1页 矩估计的矩估计的优点是：优点是：简单易行简单易行,不需要事先知道总不需要事先知道总体是什么分布。体是什么分布。缺缺点点是是：当当总总体体的的分分布布类类型型已已知知时时，未未充充分分利利用分布所提供的信息用分布所提供的信息。此外，一般情形下，矩估计此外，一般情形下，矩估计不具有唯一性不具有唯一性 。如：泊松分布，如：泊松分布，E E（X X）=Var=Var（X X）所以分别利用所以分别利用E（X）和）和Var（X）会得到参数不同的估计值）会得到参数不同的估计值现在学习的是第21页，共51页讨论讨论使用矩估计法需要什么前提条件？现在学习的是第22页，共51页现在学习的是第23页，共51页

8、7.2 极大似然估计极大似然估计 极大似然估计法是在极大似然估计法是在总体的分布类型已知总体的分布类型已知前提下，使用的一种参数估计法前提下，使用的一种参数估计法。该方法首先由德国数学家该方法首先由德国数学家高斯高斯于于 1821年提出，年提出，其后英国统计学家其后英国统计学家费歇费歇于于 1922年发现了这一方年发现了这一方法，研究了方法的一些性质，并给出了求参数极法，研究了方法的一些性质，并给出了求参数极大似然估计一般方法大似然估计一般方法极大似然估计原理极大似然估计原理。现在学习的是第24页，共51页I.极大似然估计极大似然估计原理原理 设总体设总体 X 的分布的分布(连续型时为概率密度

9、，离散型连续型时为概率密度，离散型时为概率分布时为概率分布)为为 f(x,),X1,X2,Xn 是抽自总是抽自总体体 X 的简单样本。的简单样本。于是，样本的联合概率函数于是，样本的联合概率函数(连续型时为联合概连续型时为联合概率密度，离散型时为联合概率分布率密度，离散型时为联合概率分布)为为 被看作固定，但未知的参数视为变量现在学习的是第25页，共51页将上式简记为将上式简记为 L()，即，即称称 L()为为的的似然函数似然函数。视为变量视为固定值似然函数似然函数现在学习的是第26页，共51页 假定我们观测到一组样本假定我们观测到一组样本X1,X2,Xn，要，要去估计未知参数去估计未知参数。

10、称称 为为的的极大似然估计极大似然估计(MLE)。一种直观的想法是：哪个参数一种直观的想法是：哪个参数(多个参数多个参数时是哪组参数时是哪组参数)使得这组样本出现的可能性使得这组样本出现的可能性(概率概率)最大最大，就用那个参数，就用那个参数(或哪组参数或哪组参数)作为作为参数的估计。参数的估计。这就是这就是极大似然估计原理。极大似然估计原理。即，如果即，如果可能变化空间,称为参数空间。现在学习的是第27页，共51页(4).在最大值点的表达式中，在最大值点的表达式中，代入样本值代入样本值，就得参数就得参数的的极大似然估计极大似然估计。II.求极大似然估计求极大似然估计(MLE)的一般步骤的一般

11、步骤(1).由总体分布导出样本的由总体分布导出样本的联合概率函数联合概率函数(连连 续型时为联合概率密度续型时为联合概率密度,离散型时为联合离散型时为联合 概率分布概率分布)；(2).把样本的联合概率函数中的自变量看成把样本的联合概率函数中的自变量看成 已知常数已知常数,参数参数看成自变量看成自变量,得到得到似然似然 函数函数 L()；(3).求似然函数求似然函数 L()的最大值点的最大值点(常常常常转化转化 为求为求ln L()的最大值的最大值点点)，即，即的的MLE;现在学习的是第28页，共51页两点说明：两点说明：求似然函数求似然函数 L()的最大值点，可应用微积分中的最大值点，可应用微

12、积分中的技巧。的技巧。由于由于 ln(x)是是 x 的增函数，所以的增函数，所以 ln L()与与 L()在在的同一点处达到各自的最大值。的同一点处达到各自的最大值。假定假定是一实数是一实数,ln L()是是的一个可微函数。的一个可微函数。通过求解似然方程通过求解似然方程可以得到可以得到的的MLE。现在学习的是第29页，共51页 用上述方法求参数的极大似然估计有时行不通，用上述方法求参数的极大似然估计有时行不通，这时要用这时要用极大似然原理极大似然原理来求来求。若若是向量，上述似然方程需用似然方程组是向量，上述似然方程需用似然方程组代替代替。现在学习的是第30页，共51页极大似然估极大似然估计

13、示意图计示意图H：样本集现在学习的是第31页，共51页极大似然估极大似然估计示意示意图D：样本集l()=ln(P)现在学习的是第32页，共51页极大似然估极大似然估计的的对数似然方程数似然方程人们通常把人们通常把叫做叫做对数似然函数。对数似然函数。现在学习的是第33页，共51页III.下面举例说明如何求参数的下面举例说明如何求参数的MLE例例1:设设X1,X2,Xn是取自总体是取自总体 XB(1,p)的一的一个样本，求参数个样本，求参数 p 的极大似然估计。的极大似然估计。解：解：似然函数为似然函数为现在学习的是第34页，共51页对数似然函数为：对数似然函数为：对对 p 求导，并令其等于零，得

14、求导，并令其等于零，得上式等价于上式等价于现在学习的是第35页，共51页解上述方程，得解上述方程，得换成换成现在学习的是第36页，共51页例例2 2：求正态总体求正态总体 N(,2)参数参数 和和 2 2 的极大似的极大似然估计然估计(注注:我们把我们把 2 2 看作一个参数看作一个参数)。解：解：似然函数为似然函数为对数似然函数为对数似然函数为现在学习的是第37页，共51页 似然方程组为似然方程组为由第一个方程，得到由第一个方程，得到代入第二方程，得到代入第二方程，得到此结果与矩估计相同！此结果与矩估计相同！现在学习的是第38页，共51页例例3：设总体设总体 X 服从泊松分布服从泊松分布 P

15、()，求参数，求参数 的的极大似然估计。极大似然估计。解：解：由由 X 的概率分布函数为的概率分布函数为得得 的似然函数的似然函数现在学习的是第39页，共51页似然方程为似然方程为对数似然函数为对数似然函数为其解为其解为现在学习的是第40页，共51页换成换成得得 的极大似然估计的极大似然估计现在学习的是第41页，共51页例例 4：设设 X U(a,b)，求，求 a,b 的极大似然估计。的极大似然估计。解：解：因因所以所以现在学习的是第42页，共51页现在学习的是第43页，共51页 由上式看到：由上式看到：L L(a,b)作为作为a和和b的二元函数是的二元函数是不不连续连续的，的，所以所以我们我

16、们不能用似然方程组不能用似然方程组来求极大似然来求极大似然估计，而必须从极大似然估计的定义出发，求估计，而必须从极大似然估计的定义出发，求L(a,b)的最大值。的最大值。现在学习的是第44页，共51页 为使为使 L(a,b)达到最大，达到最大，b-a 应该应该尽量地小尽量地小。但但 b不能小于不能小于 max x1 1,x2 2,xn n。否则，。否则，L(a,b)=0 0。类似地，类似地，a 不能大于不能大于min x1 1,x2 2,xn n。因此，因此，a 和和 b b 的的极大似然估计极大似然估计为为此结果与矩估计结果此结果与矩估计结果不同不同！矩估计结果为：矩估计结果为：现在学习的是

17、第45页，共51页解：解：似然函数为似然函数为例例5：设设 X1,X2,Xn 是抽自总体是抽自总体 X 的一个样本，的一个样本，X 有如下概率密度函数有如下概率密度函数其中其中 0为未知常数。求为未知常数。求的极大似然估计。的极大似然估计。也可写成也可写成现在学习的是第46页，共51页求导并令其导数等于零，得求导并令其导数等于零，得解上述方程，得解上述方程，得现在学习的是第47页，共51页离散离散情况举例：情况举例：求求 的极大似然估计的极大似然估计设总体设总体X的概率分布为：的概率分布为：其中其中（0 1/2）是未知参数，利用总体）是未知参数，利用总体X的如下样本值：的如下样本值：3，1，3，0，3，1，2，3X0123P22(1-)21-2解：对于给定的样本值，解：对于给定的样本值，似然函数似然函数为：为：现在学习的是第48页，共51页对于给定的样本值，对于给定的样本值，似然函数似然函数为为：现在学习的是第49页，共51页讨论当两种或多种参数估计得到当两种或多种参数估计得到不同的结果不同的结果时时，如何判断哪种结果更好如何判断哪种结果更好？现在学习的是第50页，共51页现在学习的是第51页，共51页