概率论与数理统计第七章.ppt
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《概率论与数理统计第七章.ppt》由会员分享,可在线阅读,更多相关《概率论与数理统计第七章.ppt(100页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、 第 七 章 参 数 估 计湖南商学院信息系湖南商学院信息系 数学教研室数学教研室 第 七 章 参 数 估 计第一节 矩 估 计第二节 极大似然估计第三节 估计量的优良性准则估计量的优良性准则第四节 正态总体的区间估计(一)第五节 正态总体的区间估计(二)总体是由总体分布来刻画的总体是由总体分布来刻画的.总体总体分布类型分布类型的判断的判断在实际问题中在实际问题中,我们根据问题本身的专业知识或以往的经验我们根据问题本身的专业知识或以往的经验或适当的统计方法或适当的统计方法,有时可以判断总体分布有时可以判断总体分布的类型的类型.总体分布的总体分布的未知参数未知参数的估计的估计总体分总体分布的参数
2、往往是未知的布的参数往往是未知的,需要通过样本来估需要通过样本来估计计.通过样本来估计总体的参数通过样本来估计总体的参数,称为参数估称为参数估计计,它是统计推断的一种重要形式它是统计推断的一种重要形式.本章讨论本章讨论:u 参数估计的常用方法参数估计的常用方法.u 估计的优良性准则估计的优良性准则.u 若干重要总体的参数估计问题若干重要总体的参数估计问题.例如例如 (1)(1)为了研究人们的市场消费行为为了研究人们的市场消费行为,我们要先搞清楚人们的收入状况我们要先搞清楚人们的收入状况.假设某城市人均年收入假设某城市人均年收入X X N(N(,2 2).但参数但参数 和和 2 2 的具体值并不
3、知道的具体值并不知道,需要需要通过样本来估计通过样本来估计.(2)(2)假定某城市在单位时间假定某城市在单位时间(譬如一譬如一个月个月)内交通事故发生次数内交通事故发生次数 X X P(P().).参数参数 未知未知,需要从样本来估计需要从样本来估计.这类问题称为这类问题称为参数估计参数估计.参数估计问题的一般提法参数估计问题的一般提法X1,X2,Xn要依据该样本对参数要依据该样本对参数作出估计,或估计作出估计,或估计的某个已知函数的某个已知函数 .现从该总体抽样,得样本现从该总体抽样,得样本设有一个统计总体,总体的分布函数设有一个统计总体,总体的分布函数向量向量).为为 F(x,),其中其中
4、 为未知参数为未知参数(可以是可以是参数估计参数估计点估计点估计区间估计区间估计(假定身高服从正态分布(假定身高服从正态分布 )设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69估计估计 为为1.68,这是这是点估计点估计.这是这是区间估计区间估计.估计估计 在区间在区间1.57,1.84内,内,假如我们要估计某队男生的平均身高假如我们要估计某队男生的平均身高.现从该总体选取容量为现从该总体选取容量为5的样本,我们的样本,我们的任务是要根据选出的样本(的任务是要根据选出的样本(5个数)求出个数)求出总体均值总体均值 的估计的估计.而全部信息就由这而全部信息就由这5个个数组
5、成数组成.一、点估计概念及讨论的问题一、点估计概念及讨论的问题例例1 已知某地区新生婴儿的体重已知某地区新生婴儿的体重X随机抽查随机抽查100个婴儿个婴儿得得100个体重数据个体重数据9,7,6,6.5,5,5.2,呢呢?据此据此,我们应如何估计我们应如何估计和和而全部信息就由这而全部信息就由这100个数组成个数组成.为估计为估计 ,我们需要构造出适当的样本我们需要构造出适当的样本的函数的函数T(X1,X2,Xn),每当有了样本,每当有了样本,就代入该函数中算出一个值就代入该函数中算出一个值,用来作为用来作为 的的估计值估计值.把样本值代入把样本值代入T(X1,X2,Xn)中,得中,得到到 的
6、一个点估计值的一个点估计值.T(X1,X2,Xn)称为参数称为参数的点估计量,的点估计量,二、二、寻求估计量的方法寻求估计量的方法1.矩估计法矩估计法2.极大似然法极大似然法3.最小二乘法最小二乘法4.贝叶斯方法贝叶斯方法这里我们主要介绍前面两种方法这里我们主要介绍前面两种方法.第 七 章第一节 矩 估 计其基本思想是其基本思想是用样本矩估计总体矩用样本矩估计总体矩.理论依据理论依据:矩是基于一种简单的矩是基于一种简单的“替换替换”思想建立起来的一种估计方思想建立起来的一种估计方法法.是英国统计学家是英国统计学家K.皮尔逊皮尔逊最早提出的最早提出的.大数定律大数定律记总体记总体k阶矩为阶矩为样
7、本样本k阶矩为阶矩为用相应的样本矩去估计总体矩的估计方法用相应的样本矩去估计总体矩的估计方法就称为矩估计法就称为矩估计法.记总体记总体k阶中心矩为阶中心矩为样本样本k阶中心矩为阶中心矩为 设总体设总体X的分布函数中含有的分布函数中含有k个未知参数个未知参数 步骤一步骤一、我们把总体我们把总体X X的的m m阶原点矩阶原点矩E(E(X Xm m)记为记为 a am m,m=1,2,m=1,2,k,k 一般地一般地,a am m(m=1,2,(m=1,2,k),k)是总体分布中是总体分布中的参数的参数 1 1,2 2,k k的函数的函数.故故应该把应该把a am m (m=1,2,(m=1,2,k
8、),k)记之为记之为:am(1,2,k)(m=1,2,k)方法方法步骤二、步骤二、算出算出m m阶样本原点矩阶样本原点矩:步骤三、步骤三、令令 am(1 1,2 2,k k)=A)=Am m (m=1,2,(m=1,2,k),k)得关于得关于 1 1,2 2,k k的的 方程组方程组步骤四、步骤四、解这个方程组解这个方程组,其解记为其解记为 它们就可以做为它们就可以做为 1 1,2 2,k k的估计的估计.这这样求出的估计叫做样求出的估计叫做矩估计矩估计.X X1 1,X,X2 2,X Xn n是独立同分布的是独立同分布的.X X1 1m m,X,X2 2m m,X Xn nm m也是独立同分
9、布的也是独立同分布的.于是有于是有:E(XE(X1 1m m)=E()=E(X X2 2m m)=)=E(=E(X Xn nm m)=E()=E(X Xm m)=a)=am m.根据大数定律根据大数定律,样本原点矩样本原点矩A Am m作为作为 X X1 1m m,X,X2 2m m,X Xn nm m的算术平均值依概率收敛到均的算术平均值依概率收敛到均值值a am m=E(=E(X Xm m).).即即:原理解释原理解释解解:由矩法由矩法,样本矩样本矩总体矩总体矩从中解得从中解得的矩估计的矩估计.即为即为数学期望数学期望是一阶是一阶原点矩原点矩 例例1 设总体设总体X的概率密度为的概率密度为
10、是未知参数是未知参数,其中其中X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计.解解:由密度函数知由密度函数知 例例2 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的矩估计的矩估计.具有均值为具有均值为 的指数分布的指数分布故故 E(X-)=Var(X-)=即即 E(X)=Var(X)=解得解得令令用样本矩估计用样本矩估计总体矩总体矩即即 E(X)=Var(X)=设总体的均值为设总体的均值为,方差为方差为 2 2,于是于是由此列出方程组由此列出方程组:例例3 3 均值均值,方差方差 2 2的矩估计的矩估计均值均值,方差方差 2 2
11、的矩估计是的矩估计是:例如例如 求求正态总体正态总体 N(N(,2 2)两个未知参两个未知参数数 和和 2 2的矩估计为的矩估计为总体总体均匀分布均匀分布 X X U(a,b).U(a,b).求求:两个参数两个参数a,ba,b的矩估计的矩估计 解解:又如又如 但是但是 由方程组求解出由方程组求解出a,ba,b的矩估计的矩估计:矩法的优点是简单易行矩法的优点是简单易行,并不需要并不需要事先知道总体是什么分布事先知道总体是什么分布.缺点是,当总体类型已知时,没有缺点是,当总体类型已知时,没有 充分利用分布提供的信息充分利用分布提供的信息.一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一
12、性.其主要原因在于建立矩法方程时,其主要原因在于建立矩法方程时,选取那些总体矩用相应样本矩代替带有选取那些总体矩用相应样本矩代替带有一定的随意性一定的随意性.稍事休息稍事休息 第七章第二节 极大似然估计极大似然法极大似然法 是是在在总总体体类类型型已已知知条条件件下下使使用用的的一一种种参数估计方法参数估计方法.它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的,GaussFisher然而,这个方法常归功于然而,这个方法常归功于英国统计学家英国统计学家费歇费歇.费歇费歇在在1922年重新发现了年重新发现了 这一方法,并首先研究了这这一方法,并首先研究了这 种方法的一些
13、性质种方法的一些性质.极大似然法的基本思想极大似然法的基本思想 先看一个简单例子:先看一个简单例子:一只野兔从前方窜过一只野兔从前方窜过.是谁打中的呢?是谁打中的呢?某位同学与一位猎人一某位同学与一位猎人一起外出打猎起外出打猎.如果要你推测,如果要你推测,你会如何想呢你会如何想呢?只听一声枪响,野兔应声倒下只听一声枪响,野兔应声倒下.你就会想,只发一枪便打中你就会想,只发一枪便打中,猎人命中的猎人命中的概率一般大于这位同学命中的概率概率一般大于这位同学命中的概率.看来这看来这一枪是猎人射中的一枪是猎人射中的.这个例子所作的推断已经体现了极大似这个例子所作的推断已经体现了极大似然法的基本思想然法
14、的基本思想.极大似然估计原理:极大似然估计原理:当给定样本当给定样本X1,X2,Xn时,定义时,定义似似然函数然函数为:为:设设X1,X2,Xn是取自总体是取自总体X的一个样本,的一个样本,样本的联合密度样本的联合密度(连续型)或联合概率函数连续型)或联合概率函数(离散型离散型)为为 f(X1,X2,Xn;).f(X1,X2,Xn;)似然函数:似然函数:极大似然估计法就是用使极大似然估计法就是用使 达到最达到最 大值的大值的 去估计去估计 .称称 为为 的极大似然估计(的极大似然估计(MLE).看作参数看作参数 的函数,它可作为的函数,它可作为 将以多将以多大可能产生样本值大可能产生样本值X1
15、,X2,Xn的一种度量的一种度量.f(X1,X2,Xn;)(4)在最大值点的表达式中在最大值点的表达式中,用样本值代入用样本值代入 就得参数的极大似然估计值就得参数的极大似然估计值.求极大似然估计求极大似然估计(MLE)的一般步骤是:的一般步骤是:(1)由总体分布导出样本的联合概率函数由总体分布导出样本的联合概率函数 (或联合密度或联合密度);(2)把样本联合概率函数把样本联合概率函数(或联合密度或联合密度)中自变中自变 量看成已知常数量看成已知常数,而把参数而把参数 看作自变量看作自变量,得到得到似然函数似然函数L();(3)求似然函数求似然函数L()的最大值点的最大值点(常常转化常常转化
16、为求为求ln L()的最大值点的最大值点),即,即 的的MLE;两点说明:两点说明:1、求似然函数、求似然函数L()的最大值点,可以应的最大值点,可以应用微积分中的技巧。由于用微积分中的技巧。由于ln(x)是是x的增函的增函数,数,lnL()与与L()在在 的同一值处达到的同一值处达到它的最大值,假定它的最大值,假定 是一实数,且是一实数,且lnL()是是 的一个可微函数。通过求解所谓的一个可微函数。通过求解所谓“似似然方程然方程”:可以得到可以得到 的的MLE.若若 是向量,上述方程必须用似然方程是向量,上述方程必须用似然方程组代替组代替.2、用上述求导方法求参数的、用上述求导方法求参数的M
17、LE有时有时行不通,这时要用极大似然原则来求行不通,这时要用极大似然原则来求.两点说明:两点说明:下面举例说明如何求极大似然估计下面举例说明如何求极大似然估计L(p)=f(X1,X2,Xn;p)例例1 设设X1,X2,Xn是取自总体是取自总体 XB(1,p)的的一个样本,求参数一个样本,求参数p的极大似然估计的极大似然估计.解:似然函数为解:似然函数为:对数似然函数为:对数似然函数为:对对p求导并令其为求导并令其为0,=0得得即为即为 p 的的MLE.正态总体正态总体 N(N(,2 2)两个未知参数两个未知参数 和和 2 2的极大似然估计的极大似然估计.(.(注注:我们把我们把 2 2看作一个
18、参数看作一个参数)解解:例例2 2 似然方程组为似然方程组为根据第一式根据第一式,就得到就得到:代入第二式代入第二式,就得到就得到:由上由上,似然方程组的解唯一似然方程组的解唯一.下面验证下面验证它是极大值点它是极大值点.是是L(L(,2 2)的的最大值点最大值点.和和 2 2的极大似然估的极大似然估计量是计量是 总体 泊松分布 X P().求:参数的极大似然估计.解解:例例3似然方程为 是logL()的最大值点.的极大似然估计量是 总体均匀分布 X U(a,b).求:两个参数a,b的极大似然估计 解解:例例 4 4 我们由上看到我们由上看到,L(a,b)L(a,b)作为作为a a和和b b的
19、二元函的二元函数是不连续的数是不连续的.所以所以我们不能用似然方程组来求我们不能用似然方程组来求极大似然估计极大似然估计,而必须从极大似然估计的定义出而必须从极大似然估计的定义出发发,求求L(a,b)L(a,b)的最大值的最大值.为使为使L(a,b)L(a,b)达到最大达到最大,b ba a应该尽量地小应该尽量地小.但但 b b 又不能小于又不能小于maxxmaxx1 1,x,x2 2,x xn n .否则否则,L(a,b)=0.L(a,b)=0.类似地类似地a a不能大过不能大过minxminx1 1,x,x2 2,x,xn n.因此因此,a a和和b b的极大似然估计为的极大似然估计为解:
20、似然函数为解:似然函数为对数似然函数为对数似然函数为例例5设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本求求 的极大似然估计的极大似然估计.其中其中 0,求导并令其为求导并令其为0=0从中解得从中解得即为即为 的的MLE.对数似然函数为对数似然函数为解:似然函数为解:似然函数为 例例6 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的极大似然估计的极大似然估计.i=1,2,n对数似然函数为对数似然函数为解:似然函数为解:似然函数为i=1,2,n=0 (2)由由(1)得得=0 (1)对对 分别求偏导并令其为分别求偏导并令其为0,对数似然函数为对
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 概率论 数理统计 第七
![提示](https://www.taowenge.com/images/bang_tan.gif)
限制150内