2017数理统计与随机过程课件-ch2.ppt
《2017数理统计与随机过程课件-ch2.ppt》由会员分享,可在线阅读,更多相关《2017数理统计与随机过程课件-ch2.ppt(111页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、 第二章 参数估计休息休息结束结束参数估计参数估计现在我们来介绍一类重要的统计推现在我们来介绍一类重要的统计推断问题断问题 : 在参数估计问题中,假定总体分在参数估计问题中,假定总体分布形式已知,未知的仅仅是一个或几布形式已知,未知的仅仅是一个或几个个参数参数。休息休息结束结束例如:估计废品估计废品率率估计年平均降雨量估计年平均降雨量休息休息结束结束估计大学生的平均身高估计大学生的平均身高休息休息结束结束参数估计问题的一般提法参数估计问题的一般提法设有一个统计总体,总体的分布函数为设有一个统计总体,总体的分布函数为 F( x , ),其中,其中为未知参数为未知参数 ( 可以是向可以是向量量)
2、.现从该总体抽样,得样本:现从该总体抽样,得样本:( X1, X2 , , Xn )要依据该样本对参数要依据该样本对参数作出估计,或估计作出估计,或估计的某个已知函数的某个已知函数 g() 。这类问题称为:。这类问题称为:参数估计参数估计休息休息结束结束参数估计点估计区间估计休息休息结束结束例例1 已知某地区已知某地区大学生的身高大学生的身高 X2N(,), 2, 未未知知随机抽查随机抽查100个大学生得个大学生得100个身高数据。个身高数据。据此据此, ,我们应如何估计我们应如何估计 和和 呢呢? ? 2.1 点估计的几种方法点估计的几种方法休息休息结束结束 为估计为估计 ,我们需要构造出适
3、当的样本我们需要构造出适当的样本的函数的函数T(X1,X2,Xn),每当有了样本,就,每当有了样本,就代入该函数中算出一个值,用来作为代入该函数中算出一个值,用来作为 的的估计值估计值 . T( X1 , X2 , Xn ) 称为参数称为参数 的点估计量,的点估计量,把样本值代入把样本值代入T( X1 , X2 , Xn ) 中,中,得到得到 的一个点估计值的一个点估计值 。 休息休息结束结束问题是问题是: 使用什么样的统计量去估计使用什么样的统计量去估计 ? 被估计的参数被估计的参数 是一个未知常数,而估是一个未知常数,而估计量计量 T( X1, X2, Xn ) 是一个随机变量,是是一个随
4、机变量,是样本的函数样本的函数,当样本取定后,它是个已知的数当样本取定后,它是个已知的数值值,这个数常称为这个数常称为 的估计值。的估计值。休息休息结束结束寻求估计量的方法:1. 矩估计法矩估计法2. 极大似然法极大似然法3. 最小二乘法最小二乘法4. 贝叶斯方法贝叶斯方法休息休息结束结束1. 替换原理和矩估计法替换原理和矩估计法矩估计法矩估计法是基于一种简单的是基于一种简单的“替换替换”思想建立起来的一种估计方法思想建立起来的一种估计方法 .是英国统计学家是英国统计学家K.皮尔逊皮尔逊最早提出的最早提出的 . 其基本思想是其基本思想是用样本矩估计总体矩用样本矩估计总体矩 。 理论依据理论依据
5、: 大数定律大数定律休息休息结束结束记总体记总体k阶矩为阶矩为)(kkXE 样本样本k阶矩为阶矩为nkkii 11AXn 记总体记总体k阶中心矩为阶中心矩为kkXEXE)( 样本样本k阶中心矩为阶中心矩为nkkii 11B( XX )n 休息休息结束结束用相应的样本矩去估计总体矩的估计方法就称为矩估计法。休息休息结束结束最常用的是:最常用的是:1EX 估估计计n22ii 11AXn 用用n1ii 11AXXn 用用22EX 估估计计n22ii 11B( XX )n 用用2DX 估估计计22EX( EX )221nn22iii 1i 111X(X )nn休息休息结束结束 例例2 设总体设总体X的
6、概率密度为的概率密度为(1)x ,0 x1f ( x )0, 其其它它是未知参数是未知参数,其中其中1 X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计. 101E( X )x(1)x dx 解解: 110(1)xd2x1 11211 从从 中解得中解得 休息休息结束结束2X1,1X 的矩估计的矩估计. 即为即为得:得: 由矩法由矩法,11AX 令休息休息结束结束 例3 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本( x)1e,xX f ( x ),0, 为为未未知知参参数数其其它它其中其中 0,求求 的矩估计的矩估计. , 解解:/1( x)1E(
7、 X )xf ( x )dxxedx ( x)/xde ( x)/( x)/xeedx 休息休息结束结束222( x)/21E( X )x f ( x )dxxedx 2( x)/x de 2( x)/( x)/x e2xedx 22 E( X )2222 ()() nii 1n222ii121211xx()nAAn1 令:休息休息结束结束nn22iii 1i 111X(X )nn 解得:nii 11Xn nnn22iiii 1i 1i 1111XX(X )nnn休息休息结束结束nn22iii 1i 111X(X )nn 其中:n2ii 11( XX )n n22iii 11( X2XXX )
8、n nn22iii 1i 11(X2XXnX )nn22ii 11XXn ?休息休息结束结束n2ii 11X( XX )n n2ii 11( XX )n 休息休息结束结束 矩法的矩法的优点优点是简单易行是简单易行,并不需要并不需要事先知道总体是什么分布事先知道总体是什么分布 。 缺点缺点是,当总体类型已知时,没有是,当总体类型已知时,没有 充分利用分布提供的信息充分利用分布提供的信息 . 一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性 。休息休息结束结束 2. 最大似然法最大似然法是在总体类型已知条件下使用的一是在总体类型已知条件下使用的一种参数估计方法种参数估计方法 。它首先
9、是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的 ,费歇费歇在在1922年重新发现了这年重新发现了这一方法,并首先研究了这一方法,并首先研究了这 种方法的一些种方法的一些性质性质 。休息休息结束结束 最大似然法的基本思想:已发生的事件具有最大概率。休息休息结束结束 先看一个简单例子:先看一个简单例子:在军训时,某位同学与一位教官同在军训时,某位同学与一位教官同时射击,而在靶纸上只留下一个弹孔。时射击,而在靶纸上只留下一个弹孔。如果要你如果要你推测推测,是谁打中的呢?,是谁打中的呢?你会如何想呢你会如何想呢?休息休息结束结束一般地,假设一般地,假设X 为离散型总体:为离散型
10、总体:iiP Xx f ( x ;) 1n( X ,X )为子样1n( x ,x )为子样观察值。休息休息结束结束已发生的事件为:已发生的事件为:11nn Xx ,Xx 其概率为:其概率为:11nn11nnP Xx ,Xx P Xx P Xx 1nf ( x ;)f ( x ;) nii 1f ( x ;) 12nx ,x ,xL(), 休息休息结束结束我们的任务是:我们的任务是:nii 1f ( x ,max) 12n12nL()max L(,x ,x ,xx ,)x ,x, 选择 使:休息休息结束结束假设假设X 为连续型总体:为连续型总体:Xf ( x;) 1n( x ,x )为子样观察值
11、。1n( X ,X )为子样已发生的事件为:已发生的事件为:111nnn xXx ,xx,xXx 11nn Xx ,Xx 休息休息结束结束其概率为:其概率为:111nnn111nnnP xXx ,xXx P xXx P xxXxxxx 1nxf ( x ;)fx( x ;) nnii 1(x )f ( x ;) n12nx ,xL,(x)(,x 休息休息结束结束我们的任务是:我们的任务是:nii 1f ( x ,max) 12n12nL()max L(,x ,x ,xx ,)x ,x, 选择 使:休息休息结束结束称称 为为似然函数似然函数 nii 112nL()x ,f ( x ;),x ,x
12、 称满足称满足 的的 为为 的最大似然估计值。的最大似然估计值。12n12nmaL()L(,x ,x ,xx,x),x,x 12n( x ,x ,x) 称称 为为 的最大似然估计的最大似然估计量(量(MLE). 12n( X ,X ,X) 休息休息结束结束 例例4 设总体设总体 X B ( 1, p ) 的一个样本,求的一个样本,求参数参数 p 的极大似然估计的极大似然估计.解:解:X01P1-ppx1 xf ( x; p)p (1p)x0,1 nii 1L( p)f ( x ; p) iinx1 xi 1p (1p) nniii 1i 1xnxp(1p) nn1212x1 xxx1 x1 x
13、ppp(1p)(1p)(1p) 1. 休息休息结束结束 pxnniii 1i 1d lnL( p)11x(nx )0dpp1p 3. nniii 1i 1L( p)x ln p(lnnx )ln(1p)2. nii 1nii 1nx1ppx 4. 5. pX 休息休息结束结束例例5设总体设总体其它, 010,)(1xxxfX 其中其中 0, 求求 的最大似然估计的最大似然估计. 解:解:1. nii 1L()f ( x ;) n1ii 1x nn1ii 1(x ) 休息休息结束结束nii 1nlnlnL()(1)ln x 2. nii 1ndllnL()0dn x 3. nii 1nln x
14、4. nii 1nln X 5. 休息休息结束结束1) 在总体分布中,把概率函数在总体分布中,把概率函数(或密度或密度)中自中自变量看成已知常数变量看成已知常数,而把参数而把参数 看作自变看作自变量导出量导出似然函数似然函数 L( );求极大似然估计(求极大似然估计(MLE)的一般步骤:的一般步骤:2) 求似然函数求似然函数L( ) 的最大值点的最大值点(常常转化为常常转化为求求ln L()的最大值点的最大值点) ,即,即 的的MLE;3) 在最大值点的表达式中在最大值点的表达式中, 用子样代入就得用子样代入就得参数参数 的极大似然估计量的极大似然估计量休息休息结束结束两点说明1、求似然函数求
15、似然函数L( ) 的最大值点,通过求的最大值点,通过求解似然方程:解似然方程: d lnL()0d 得到得到 的的MLE 。 若若 是向量,上述方程必须用似然方程是向量,上述方程必须用似然方程组代替组代替 。 休息休息结束结束2、用上述求导方法求参数的用上述求导方法求参数的MLE有时行不通,这时要用最大似然原则有时行不通,这时要用最大似然原则来求来求 。休息休息结束结束解:解:n22ii 1L(,)f ( x ;,) 例例6 设总体设总体 其中参数其中参数 未知,使用最大似然估计法求未知,使用最大似然估计法求 的估计的估计量。量。2N()X, 2, 2, 2i2( x)n2i 11e2 n2i
16、2i 1( x)2n1() e2 休息休息结束结束2ni2i 1( x)2n21L(,)() e2 2n22i2i 1lnlnl( x)nL(,)n(2)()22n 2ni2i 1( x)L(,n)l0 22ni224i 1( x)L(,)nl102n2 休息休息结束结束X nn2222iii 1i 111( XX )X( X )nn 返回返回休息休息结束结束例例7 ( x)1e,xXf ( x ),0, 为为未未知知参参数数其其它它 其中其中 0,求求 的极大似然估计。的极大似然估计。 , 解:解:nii 1L(,)f ( x ; ,) in( x)ii 11ex0, ,其它i=1,2,n休
17、息休息结束结束nii 11( x)in1e,min x0, 其它in( x)ii 11ex0, ,其它i=1,2,nnii 11lnL(,)nln( x) 休息休息结束结束niixnL1)(1ln),(ln lnL(,)n0 ni2i 1lnL(,)n1( x)0 (1)(2)由由 (1) 得得nii 11xn 是是 的的增函数增函数 休息休息结束结束nii 11( x)in1e,min xL(,)0, 其其它它故使故使 达到最大的达到最大的 即即 的的MLE, ),( L , i1 i nmin x nii 11Xn i1 i nmin X nii 11xn 休息休息结束结束极大似然估计的一
18、个性质极大似然估计的一个性质: 设设 的函数的函数 g = g ( ) 是是 上的实值上的实值函数函数,且有唯一反函数且有唯一反函数 。如果。如果 是是 的极大的极大似然估计,则似然估计,则 g( ) 也是也是 g( ) 的极大似的极大似然估计。然估计。 休息休息结束结束 例例8 一罐中装有白球和黑球,有放回地抽取一罐中装有白球和黑球,有放回地抽取一个容量为一个容量为n 的样本,其中有的样本,其中有 k 个白球,求个白球,求罐中黑球与白球之比罐中黑球与白球之比 R 的极大似然估计的极大似然估计.解解:显然显然 XB ( 1, p ) ,由例由例 4 px kn 11122212mm /(mm
19、)Rmm /(mm ) 而1p11pp 1,X0, 取到白球取到黑球1R1 pn1k休息休息结束结束 评价一个估计量的好坏,不能仅仅依据评价一个估计量的好坏,不能仅仅依据一次试验的结果,而必须由多次试验结果一次试验的结果,而必须由多次试验结果来衡量来衡量 。 这是因为估计量是样本的函数,是随机这是因为估计量是样本的函数,是随机变量。因此,由不同的观测结果,就会求得变量。因此,由不同的观测结果,就会求得不同的参数估计值。因此一个好的估计,应不同的参数估计值。因此一个好的估计,应在多次试验中体现出优良性在多次试验中体现出优良性 。休息休息结束结束常用标准:1无偏性无系统偏差无系统偏差2有效性方差小
20、方差小3相合性收敛性收敛性休息休息结束结束1n( X ,X) 设设是未知参数是未知参数 的估计量,若的估计量,若 E() 则称则称 为为 的无偏估计。的无偏估计。 休息休息结束结束 用样本均值作为总体均值的估计时,虽用样本均值作为总体均值的估计时,虽无法说明一次估计所产生的偏差,但这种偏无法说明一次估计所产生的偏差,但这种偏差随机地在差随机地在 0 的周围波动,对同一统计问题的周围波动,对同一统计问题大量重复使用不会产生大量重复使用不会产生系统偏差系统偏差 。休息休息结束结束解:解:由例由例6 例例9 设总体设总体 其中参数其中参数 未知,使用极大似然估计法求未知,使用极大似然估计法求 的估计
21、的估计量,并问是否为无偏估计?若不是,请修正量,并问是否为无偏估计?若不是,请修正使之成为无偏估计。使之成为无偏估计。2N()X, 2, 2, X nn2222iii 1i 111( XX )X( X )nn 例例 6 6 休息休息结束结束E n22ii 11( XX )nEE() n22ii 11XnE( X ) n22ii 11X( X )nEE ni22i1iDX +(EX ) DX+(EX) 1n ni 122221+n+n 2n1n 无偏渐近无偏nii 11EX=E(X )=n 休息休息结束结束n22ii 11( XX )nEE() 2n1n 如何修正?n22ii 11( XX )n
22、1 令令n22ii 11( XX )1nEE 则则 n2ii 1n1( XX1E)nn 22n1nnn1 2s 休息休息结束结束一个参数往往有不止一个无偏估计一个参数往往有不止一个无偏估计, 若若 和和 都是参数都是参数 的无偏估计量,我们可以比的无偏估计量,我们可以比较其方差的大小来决定二者谁更优较其方差的大小来决定二者谁更优 。2 1 211D()E() 由于由于222D()E() 所以无偏估计以方差小者为好所以无偏估计以方差小者为好, 这就引这就引出了有效性这一概念出了有效性这一概念 。休息休息结束结束设设 和和 都都是参数是参数 的无偏估计量,若有的无偏估计量,若有D( )1 时,时,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2017 数理统计 随机 过程 课件 ch2
限制150内