数理统计与随机过程ch(2).ppt
《数理统计与随机过程ch(2).ppt》由会员分享,可在线阅读,更多相关《数理统计与随机过程ch(2).ppt(104页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、数理统计与随机过程数理统计与随机过程第第七七章章主讲教师:李学京主讲教师:李学京北京工业大学应用数理学院北京工业大学应用数理学院第七章第七章:参数估计参数估计数理统计的任务:数理统计的任务:总体分布类型的判断;总体分布类型的判断;总体分布中未知参数的推断总体分布中未知参数的推断(参数估计参数估计与与 假设检验假设检验)。参数估计问题的一般提法参数估计问题的一般提法 设总体设总体 X 的分布函数为的分布函数为 F(x,),其中其中为未知参数或参数向量,现从该总体中抽样为未知参数或参数向量,现从该总体中抽样,得到样本得到样本X1,X2,Xn.依样本对参数依样本对参数做出估做出估计计,或估计参数或估
2、计参数的某的某个已知函数个已知函数 g()。这类问题称为参数估计。这类问题称为参数估计。参数估计包括:参数估计包括:点估计点估计和和区间估计区间估计。称该计算称该计算值为值为 的一个点估计。的一个点估计。为估计参数为估计参数,需要构造适当的统计量,需要构造适当的统计量 T(X1,X2,Xn),一旦当有了样本,就将样本值代入到该统计一旦当有了样本,就将样本值代入到该统计量中,算出一个值作为量中,算出一个值作为 的估计,的估计,寻求估计量的方法寻求估计量的方法1.矩估计法矩估计法2.极大似然法极大似然法3.最小二乘法最小二乘法4.贝叶斯方法贝叶斯方法 我们仅介绍前面的两种参数估计法我们仅介绍前面的
3、两种参数估计法。其思想是其思想是:用同阶、同类用同阶、同类的样本矩来估计总体矩。的样本矩来估计总体矩。矩估计是基于矩估计是基于“替换替换”思想建立起来的思想建立起来的一种参数估计方法一种参数估计方法。最早由英国统计学家最早由英国统计学家 K.皮尔逊皮尔逊 提出。提出。7.1 矩估计矩估计矩估计就是用相应的样本矩去估计总体矩。矩估计就是用相应的样本矩去估计总体矩。设总体设总体 X 的分布函数中含的分布函数中含 k 个未知参数个未知参数 步骤一:步骤一:记总体记总体 X 的的 m 阶原点矩阶原点矩 E(Xm)为为 am ,m =1,2,1,2,k.am(1,2,k),m=1,2,k.一般地一般地,
4、am(m=1,2,K)是总体分布是总体分布中参数或参数向量中参数或参数向量(1,2,k)的函数。的函数。故故,am(m=1,2,k)应记成应记成:步骤二:步骤二:算出样本的算出样本的 m 阶原点矩阶原点矩步骤三:步骤三:令令 得到得到关于关于 1 1,2 2,k k 的方程组的方程组(L Lk)。一般要求方程组。一般要求方程组(1)(1)中有中有 k 个独立方程。个独立方程。步骤四:步骤四:解方程组解方程组(1),(1),并记其解为并记其解为 这种参数估计法称为参数的矩估计法,这种参数估计法称为参数的矩估计法,简称矩法。简称矩法。解:解:先求总体的期望先求总体的期望例例1 1:设总体设总体 X
5、 的概率密度为的概率密度为由矩法,令由矩法,令样本矩样本矩总体矩总体矩解得解得为为 的矩估的矩估计计。注意:要在参数上边加上注意:要在参数上边加上“”,表示参数的估计。它是统计量。表示参数的估计。它是统计量。解解:先求总体的均值和先求总体的均值和 2 阶原点矩。阶原点矩。例例2:设设 X1,X2,Xn 是取自总体是取自总体 X 的简单样本的简单样本,X 有概率密度函数有概率密度函数 用样本矩用样本矩估计总体矩估计总体矩得列出方程组列出方程组:例例3:设总体设总体X的均值为的均值为,方差为,方差为 2,求求 和和 2 的的矩估计。矩估计。解:解:由由 故,均值,方差2的矩估计为求解,得求解,得如
6、:如:正态总体正态总体N(,2)中中 和和 2 2的矩估计的矩估计为为又如:又如:若总体若总体 X U(a,b),求,求a,b的矩估计。的矩估计。解:解:列出方程组列出方程组 因因 解上述方程组,得到解上述方程组,得到 a,b 的矩估计的矩估计:矩估计的矩估计的优点是:优点是:简单易行简单易行,不需要事不需要事先知道总体是什么分布。先知道总体是什么分布。缺缺点点是是:当当总总体体的的分分布布类类型型已已知知时时,未未充充分分利利用用分分布布所所提提供供的的信信息息;此此外外,一一般般情情形下,矩估计不具有唯一性形下,矩估计不具有唯一性 。7.2 极大似然估计极大似然估计 极大似然估计法是在总体
7、的分布类型已极大似然估计法是在总体的分布类型已知前提下,使用的一种参数估计法知前提下,使用的一种参数估计法。该方法首先由德国数学家该方法首先由德国数学家高斯高斯于于 1821年年提出,其后英国统计学家提出,其后英国统计学家费歇费歇于于 1922年发现年发现了这一方法,研究了方法的一些性质,并给了这一方法,研究了方法的一些性质,并给出了求参数极大似然估计一般方法出了求参数极大似然估计一般方法极大极大似然估计原理似然估计原理。I.极大似然估计原理极大似然估计原理 设总体设总体 X 的分布的分布(连续型时为概率密度,连续型时为概率密度,离散型时为概率分布离散型时为概率分布)为为 f(x,),X1,X
8、2,Xn 是抽自总体是抽自总体 X 的简单样本。于是,样本的联的简单样本。于是,样本的联合概率函数合概率函数(连续型时为联合概率密度,离散连续型时为联合概率密度,离散型时为联合概率分布型时为联合概率分布)为为 被看作固定,被看作固定,但未知的参数但未知的参数视为变量视为变量将上式简记为将上式简记为 L(),即,即称称 L()为为的似然函数。的似然函数。视为变量视为变量视为固定值视为固定值 假定我们观测到一组样本假定我们观测到一组样本X1,X2,Xn,要去估计未知参数,要去估计未知参数。称称 为为的极大似然估计的极大似然估计(MLE)。一种直观的想法是:哪个参数一种直观的想法是:哪个参数(多个参
9、多个参数时是哪组参数数时是哪组参数)使得这组样本出现的可能使得这组样本出现的可能性性(概率概率)最大,就用那个参数最大,就用那个参数(或哪组参数或哪组参数)作为参数的估计。作为参数的估计。这就是极大似然估计原理。这就是极大似然估计原理。即,如果即,如果可能变化空间可能变化空间,称为参数空间。称为参数空间。(4).在最大值点的表达式中,代入样本值,在最大值点的表达式中,代入样本值,就得参数就得参数的极大似然估计。的极大似然估计。II.求极大似然估计求极大似然估计(MLE)的一般步骤的一般步骤(1).由总体分布导出样本的联合概率函数由总体分布导出样本的联合概率函数(连连 (2)续型时为联合概率密度
10、续型时为联合概率密度,离散型时为联离散型时为联合合(3)概率分布概率分布);(2).把样本的联合概率函数中的自变量看成把样本的联合概率函数中的自变量看成 已知常数已知常数,参数参数看成自变量看成自变量,得到似然得到似然 函数函数 L();(3).求似然函数求似然函数 L()的最大值点的最大值点(常常转化常常转化 为求为求ln L()的最大值点的最大值点),即,即的的MLE;两点说明:两点说明:求似然函数求似然函数 L()的最大值点,可应用微积分的最大值点,可应用微积分中的技巧。由于中的技巧。由于 ln(x)是是 x 的增函数,所以的增函数,所以 ln L()与与 L()在在的同一点处达到各自的
11、最的同一点处达到各自的最大值。假定大值。假定是一实数是一实数,ln L()是是的一个的一个可微函数。通过求解似然方程可微函数。通过求解似然方程可以得到可以得到的的MLE。用上述方法求参数的极大似然估计有时行不用上述方法求参数的极大似然估计有时行不通,这时要用极大似然原理来求通,这时要用极大似然原理来求。若若是向量,上述似然方程需用似然方程组是向量,上述似然方程需用似然方程组代替代替。III.下面举例说明如何求参数的下面举例说明如何求参数的MLE例例1:设设X1,X2,Xn是取自总体是取自总体 XB(1,p)的一个样本,求参数的一个样本,求参数 p 的极大似然估计。的极大似然估计。解:解:似然函
12、数为似然函数为对数似然函数为:对数似然函数为:对对 p 求导,并令其等于零,得求导,并令其等于零,得上式等价于上式等价于解上述方程,得解上述方程,得换成换成换成换成例例2 2:求正求正态总体态总体 N(,2)参数参数 和和 2 2 的极的极大似然估计大似然估计(注注:我们把我们把 2 2 看作一个参数看作一个参数)。解:解:似然函数为似然函数为对数似然函数为对数似然函数为 似然方程组为似然方程组为由第一个方程,得到由第一个方程,得到代入第二方程,得到代入第二方程,得到 是是L L(,2 2)的的最最大值点,大值点,即即 和和 2 2 的极大似然估计。的极大似然估计。下面验证:下面验证:似然方程
13、组的唯一解似然方程组的唯一解是似然是似然函数的最大值点。函数的最大值点。例例3:设总体设总体 X 服从泊松分布服从泊松分布 P(),求参数,求参数 的极大似然估计。的极大似然估计。解:解:由由 X 的概率分布函数为的概率分布函数为得得 的似然函数的似然函数似然方程为似然方程为对数似然函数为对数似然函数为其解为其解为换成换成换成换成得得 的极大似然估计的极大似然估计例例 4:设设 X U(a,b),求,求 a,b 的极大似然估计。的极大似然估计。解:解:因因所以所以 由上式看到:由上式看到:L L(a,b)作为作为a和和b的二元函数的二元函数是不连续的,是不连续的,所以所以我们不能用似然方程组来
14、求我们不能用似然方程组来求极大似然估计,而必须从极大似然估计的定义极大似然估计,而必须从极大似然估计的定义出发,求出发,求L(a,b)的最大值。的最大值。为使为使 L(a,b)达到最大,达到最大,b-a 应该尽量地小。应该尽量地小。但但 b不能小于不能小于 max x1 1,x2 2,xn n。否则,。否则,L(a,b)=0 0。类似地,。类似地,a 不能大于不能大于min x1 1,x2 2,xn n。因此,因此,a 和和 b b 的极大似然估计为的极大似然估计为解:解:似然函数为似然函数为例例5:设设 X1,X2,Xn 是抽自总体是抽自总体 X 的一个样的一个样本,本,X 有如下概率密度函
15、数有如下概率密度函数其中其中 0为未知常数。为未知常数。求求的极大似然估计。的极大似然估计。也可写成也可写成求导并令其导数等于零,得求导并令其导数等于零,得解上述方程,得解上述方程,得 从前面两节的讨论中可以看到从前面两节的讨论中可以看到:同一参数可以有几种不同的估计,这时就需同一参数可以有几种不同的估计,这时就需 要判断采用哪一种估计为好的问题。要判断采用哪一种估计为好的问题。另一方面,对于同一个参数,用矩法和极大另一方面,对于同一个参数,用矩法和极大 似然法即使得到的是同一个估计似然法即使得到的是同一个估计,也存在衡也存在衡 量这个估计优劣的问题。量这个估计优劣的问题。估计量的优良性准则就
16、是:估计量的优良性准则就是:评价一个估计评价一个估计量量“好好”与与“坏坏”的标准。的标准。7.3 估计量的优良性准则估计量的优良性准则 设总体的分布参数为设总体的分布参数为,对一切可能的对一切可能的成立成立,则称则称 为为 的无偏估计。的无偏估计。7.3.1 无偏性无偏性 对于样本对于样本 X1 1,X2 2,Xn n的的不同取值,不同取值,取不同的值取不同的值 )。如果如果 的的均均值等于值等于,即,即简记为简记为 是是 的一个估计的一个估计(注意注意!它是一个统它是一个统计量,是随机变量。计量,是随机变量。参数参数,有时可能估计偏高,有时可能偏低,有时可能估计偏高,有时可能偏低,但是平均
17、来说它等于但是平均来说它等于。“一切可能的一切可能的 ”是指:在参数估计问题中,是指:在参数估计问题中,参数参数 一切可能的取值。一切可能的取值。我们之所以要求对一切可能的我们之所以要求对一切可能的 都成立,都成立,是因为在参数估计问题中是因为在参数估计问题中,我们并不知道参数我们并不知道参数 的真实取值。自然要求它在参数的真实取值。自然要求它在参数 的一切可的一切可能取值的范围内都成立能取值的范围内都成立说明:说明:无偏性的意义是:用估计量无偏性的意义是:用估计量 估计估计 例例1:设设 X1,X2,Xn 为抽自均值为为抽自均值为 的总体的总体X的随机样本,考虑的随机样本,考虑 的如下几个估
18、计量:的如下几个估计量:例如:例如:若若 指的指的是正态总体是正态总体N(,2)的均值的均值,则其一切可能取值范围是则其一切可能取值范围是(-(-,)。若。若 指的指的是方差是方差 2 2,则其一切可能取值范围是,则其一切可能取值范围是(0,(0,)。定理定理1:设总体设总体 X 的均值为的均值为,方差为方差为 2 2,X1 1,X2 2,Xn n 为来自总体为来自总体 X 的随机样本,记的随机样本,记 与与 分别为样本均值与样本方差,即分别为样本均值与样本方差,即 即即样本均值和样本方差分别是样本均值和样本方差分别是 总体均值总体均值 和总体方差和总体方差 的无偏估计的无偏估计。证明:证明:
19、因为因为 X1,X2,Xn 独立同分布,且独立同分布,且E(Xi)=,所以所以另一方面,因另一方面,因于是,有于是,有注意到注意到 前面两节中,我们曾用矩法和极大似然法前面两节中,我们曾用矩法和极大似然法分别求得了正态总体分别求得了正态总体 N(,2)中参数中参数 2 的估的估计计,均均为为很很显显然,它不是然,它不是 2 的无偏估的无偏估计计。这这正是我正是我们为们为什么要将其分母修正什么要将其分母修正为为 n-1,获获得得样样本方差本方差 S2来估来估计计 2 的理由。的理由。例例2:求证:样本标准差求证:样本标准差 S 不是总体标准差不是总体标准差 的无偏估计。的无偏估计。证明:证明:因
20、因 E(E(S2 2)=)=2 2,所以,所以,D D(S)+E(S)+E(S)2 2=2 2,由由 D(D(S)0 0,知,知 E(E(S)2 2=2 2-D(-D(S S)2 2.所以,所以,E E(S S).故,故,S S 不是不是 的无偏估计。的无偏估计。例例3:设总体设总体 X的的 k阶原点距为阶原点距为 ak=E(Xk),X1,X2,Xn是是X 的随机样本,样本的随机样本,样本 k 阶原点距为阶原点距为Ak,则则Ak是是 ak的无偏估计,的无偏估计,k=1,2,。证明:证明:因因X1,X2,Xn独立,且与独立,且与 X 同分布同分布,故,故即,即,Ak是是 ak的无偏估计。的无偏估
21、计。这就是人们为什么常用样本这就是人们为什么常用样本 k 阶矩估计总阶矩估计总体体 k 阶矩的主要原因之一。阶矩的主要原因之一。例例4:设总体设总体 X 服从参数为服从参数为 的指数分布的指数分布,即其,即其概率密度函数为概率密度函数为 证明:证明:设设Z的分布函数为的分布函数为 FZ(z,),先求分布,先求分布函数,然后导出函数,然后导出 Z 的概率密度函数及的概率密度函数及 E(nZ)。若若 X1,X2,Xn 是是 X 的随机样本的随机样本,记,记则则 nZ 为为 的无偏估计。的无偏估计。因因X1,X2,Xn独立,且与独立,且与 X 同分布同分布,所以,所以,对任意给定的对任意给定的 Z0
22、,有有于是于是,E(Z)=/n,E(nZ)=,即即 nZ 为为 的无偏估计。的无偏估计。用估计量用估计量 估计估计,估计误差估计误差7.3.2 均方误差准则均方误差准则 是随机变量,通常用其均值是随机变量,通常用其均值衡量估计误差的大小。衡量估计误差的大小。要注意要注意:为了防止求均值时正、负误差相为了防止求均值时正、负误差相互抵消,我们先将其平方后再求均值,并称其互抵消,我们先将其平方后再求均值,并称其为均方误差,记成为均方误差,记成 ,即,即 哪个估计的均方哪个估计的均方误差小,就称哪个估计比较优,这种判定估计误差小,就称哪个估计比较优,这种判定估计优劣的准则为优劣的准则为“均方误差准则均
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数理统计 随机 过程 ch
限制150内