第七章参数估计.pptx

《第七章参数估计.pptx》由会员分享，可在线阅读，更多相关《第七章参数估计.pptx（112页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 总体样本统计量加工作出推断随机抽样统计分析第1页/共112页例1 已知某地区新生婴儿的体重X N(,2)，随机抽查100个婴儿得到100 个体重数据：8,7,6,6.5,5,5.2 ,而掌握的信息就由这100个数据组成.7.1点估计适当选择一个统计量，用此统计量的观测值作为未知参数的近似值。据此,我们应如何估计 呢?未知,第2页/共112页 为估计,我们需要构造出适当的样本的函数把样本值代入T(X1,X2,Xn)中，得到T(x1,x2,xn)称为 的一个点估计值.T(X1,X2,Xn)称为参数 的点估计量，T(X1,X2,Xn)，每当有了样本值，就代入该函数中算出一个值，用来作为 的估计值。

2、第3页/共112页定义 设总体X的分布函数为F(x;),其中是未知参数,X1,X2,Xn是样本,现由样本建立不带未知参数的统计量T(X1,X2,.,Xn),对于样本的观测值(x1,x2,.,xn),若将T(x1,x2,.,xn)作为 的估计值,则称T(X1,X2,.,Xn)为 的估计量,记作=T(X1,X2,.,Xn),建立一个这样的统计量作为 的估计量,称为参数 的点估计.第4页/共112页在不特别强调的情况下,估计量、估计值简称估计.如果总体X的分布函数F(x;12,.,k)中含有k个 寻找一个估计量就是寻找估计未知参数的方法，方法选定后，用样本值代入统计量就得到该参数的估计值.不同的未知

3、参数,则要由样本建立k个不带未知参数的统计量,作为这k个未知参数的估计量.第5页/共112页 例如：可以用样本均值 估计量就是一个统计量，原则上可以由样本构造出许多统计量作为总体中某个未知参数的也可以用单个分量Xi作为总体均值 的估计量。估计量。第6页/共112页一 矩法(K.Pearson在二十世纪初的一系列论文中引进的方法)矩法的基本思想:矩法的理论依据:用样本矩作为总体矩的估计量辛钦大数定律第7页/共112页定义:如果总体X的分布函数F(x;12,.,l)中含有k=k(12,.,l)=E(Xk)(k=1,2,.l)(1)(通常k都是12,.,l的函数)如能从(1)式中解出l个不同的未知参

4、数,假定总体X的l 阶原点矩E(Xl)存在,并记k=k(12,.,l)(k=1,2,.l)用i的估计量Ai代入上式,得到估计量第8页/共112页称 为k的矩法估计量,其中Ai(i=1,2,.l)为若 为的矩法估计量,g()为的连续函数,则样本的 i 阶原点矩.也称 为g()的矩法估计量.第9页/共112页例1不论总体X服从什么分布,都是有限的，求参数 及 2的矩法估计量.若 EX=,DX=2解:设X1,X2,Xn是取自总体X的样本根据矩法可得:此处1=EX,2=E(X2)分别为总体的一阶,二阶原点矩分别为1,2的估计量第10页/共112页1=,2=2+2因为所以(此处B2是样本的二阶中心矩)本

5、例题说明,样本均值 和样本二阶中心矩B2分别为总体均值和方差的矩法估计量.第11页/共112页例2求事件A的概率P(A)=p的矩法估计量.用随机变量X表示事件A的指示变量解:PX=1=p,即A出现A不出现则PX=0=1p,EX=p所以 p的矩法估计量为其中n为事件A在n次独立试验中出现的次数.也就是说,在n次独立试验中,用事件A出现的频率出现的概率p的矩法估计量.作为事件A第12页/共112页例3设总体X服从1,2上的均匀分布,其密度为 其中1,2未知,2 1,求 1,2的矩法估计量.解:因为EX=DX=由方程组则分别是 1,2的矩法估计量.解出第13页/共112页例4设总体X服从参数0的指数

6、分布,其密度为求的矩估计.解:因为EX=又因为DX=即由矩法即由矩法此例说明,矩估计的结果可能不唯一(通常选择第一个结果)第14页/共112页例5设总体X P(),求参数的矩估计.解:因为EX=,所以又因为DX=,所以此例同样说明矩估计的结果不唯一.第15页/共112页注:(1)估计量和估计值的区别.参数的估计值是估计量的一次观测值,由于估计统计量的优良性质,如无偏性,有效性,相合性等.的,即由一个怎样的统计量得到的,并研究该值的数值本身,而是关心它是用什么办法求出来只是一个近似值,参数的估计所关心的不是估计量是随机变量,具有波动性,因而参数的估计值第16页/共112页(2)矩估计是古老的点估

7、计方法,直观且简便,矩估计量不统一,这在应用时是很不利的.某些分布(如泊松分布),B2都是的矩估计.利用分布函数F(x;)对参数所提供的信息.另外,不存在,就不能用矩法.另一方面,矩法没有充分 但是矩法要求总体的原点矩存在,如果原点矩估计时,并不一定要知道 X 的分布函数F(x;),特别是对总体 X 的期望和方差等数字特征进行第17页/共112页二 最大似然法 (极大似然法)(R.Fisher在1912年的论文中提出的方法)未知参数的估计量(极大似然法是点估计中最重要的方法.利用总体X的分布函数的表达式F(x;)及样本所提供的信息,建立)(X1,X2,.,Xn)例如:两人射击同一目标,事先并不

8、知道谁的技术好,现在每人各打一发,有一人击中目标,我们认为击中的技术比击不中的技术要好,显然是合理的.第18页/共112页又例如:某事件A发生的概率是0.1或0.9,在一次试验中该事件发生了,当然认为它发生的概率是0.9.再例如:设在一口袋中装有许多白球和黑球,只知道两种球的比例是3:1,但并不知道黑球多还是白球多,就是说占的比例是1/4还是3/4.抽到黑球的概率是1/4或3/4,希望通过实验来判断黑球第19页/共112页设总体X为连续型,密度为 f(x;),其中为待估参数,(X1,X2,.,Xn)为样本,则样本的联合密度为样本落在点(x1,x2,.,xn)的邻域内的概率为这是的函数.将直接影

9、响到选取使达到最大的作为的估计值.可见,的取值不同,极大似然法的原理就是第20页/共112页通常记为而如果X为离散型,通常用X 的概率函数P(x;)代替f(x;).作为样本观测值的函数,第21页/共112页定义设总体X的密度函数为 f(x;12,.,l),其中 12,.,l为未知参数,(X1,X2,Xn)为i的极大似然估计量.联合密度函数为f(x1,x2,.,xn;12,.,l),称L(12,.,l)=为12,.,l的似然函数.若有 使下式成立 max L(12,.,l)12,.,l则称(X1,X2,.,Xn)为样本,其(i=12,.,l)第22页/共112页lnL(12,.,l)=因为 由于

10、lnx是关于x的单调上升函数,因此 lnL与L有相同的极大值点.称 为似然方程组.由此解得(X1,X2,Xn)且能验证它是一个极大值点,极大似然估计量.则 为i的第23页/共112页若X为离散型,概率函数为 P(x;12,.,l),则似然函数为L(12,.,l)=由似然方程组 解得(X1,X2,Xn),若它是极大值点为 i的极大似然估计量.则第24页/共112页 求参数 及2的 极大似然估计量.解：Xi 的密度函数为：,2的似然函数：例1设总体(X1,X2,.,Xn)为样本第25页/共112页取对数：似然方程组：和B2分别为和2的极大似然估计量.(与和2的矩估计量完全一样)所以,解出：第26页

11、/共112页例2设总体X服从参数0的指数分布,其密度为求的最大似然估计.解:的似然函数为则LnL()=n LnXi似然方程为解出(容易验证,为极大值点)第27页/共112页设总体X服从1,2上的均匀分布,1,2未知,求1,2的最大似然估计量例3解：X的密度函数为可知1,2的似然函数为第28页/共112页似然方程为从似然方程中不可能解出1及2的极大似然估计量.现在,根据似然函数的定义来确定1及2非零,必须有的极大似然估计量.显然,要使似然函数L(1,2)第29页/共112页为1及2的极大似然估计量.1 X1*=minX1,X2,.XnXn*=maxX1,X2,.Xn 2 由于今取则有因此,第30

12、页/共112页例4设总体X在0,上服从均匀分布，其概率密(x;)=求的最大似然估计.度函数为L()=解:的似然函数为（i=1,2,.,n）maxXi是的最大似然估计量所以第31页/共112页解:的似然函数：取对数：0，求的极大似然估计量.例5设总体X P(),X的概率函数为第32页/共112页 解似然方程：故参数的极大似然估计量为：得：第33页/共112页例6设总体X服从（0-10-1）分布,即求参数 p 的极大似然估计量.X0 1 P1-pp（0 p 1）P(A)=p,解：总体X的分布列为似然函数：第34页/共112页 取对数：似然方程：解方程得：所以,p的极大似然估计量为第35页/共112

13、页 (1)写出似然函数：(2)取对数：(3)求解似然方程：求极大似然估计的步骤：(当总体X是离散型时,用X的概率函数P(x;)代替密度函数f(x;)对各参数求偏导数,并令它们为0即第36页/共112页求出此方程组的解(4)验证确实使lnL(1,2,.n)达到最大值.(这一步通常省略)第37页/共112页注:(2)极大似然法充分利用了总体分布函数表达式(1)若似然函数L(1 2 k)不是可微函数则不能用上述方法.提供的信息,因而有一些优良的性质.最大似然估计有下述性质:设 的函数u=u()具有单值反函数=(u).又设 是X的概率分布中最大似然估计.参数的最大似然估计,则 是u()的第38页/共1

14、12页(3)极大似然法是最重要和最好的方法之一,但(4)在总体服从正态分布,泊松分布,二项分布计算较复杂(有一些近似算法).指数分布的情况下,矩法和极大似然法的估计结果相同.(均匀分布的估计结果不同)第39页/共112页7.2 估计量的优良性我们知道,对同一未知参数可以构造出许多的估计量,如何评价这些估计量的好坏?主要有以下几个标准:1无偏性 3一致性(相合性)*2有效性第40页/共112页 由于估计量是随机变量，对于不同的样本值会一 无偏性得到不同的估计值.我们希望估计量的观测值在多次重复试验中,能在未知参数的真值附近摆动.一个估计量，若E()=,则称是的无偏估计量.定义设(X1,X2,Xn

15、)为未知参数的否则称为有偏估计量.第41页/共112页记E()=bn ,称bn为估计量 的偏差.若 bn0,则称 为 的有偏估计量.若 则称 为 的渐进无偏估计量.对于参数 的任一实值函数g(),如果g()的无偏 估计量存在,也就是说存在统计量T,使得E(T)=g()则称g()为可估计函数.第42页/共112页例1设总体X的k阶原点矩存在,即k=E(Xk)是有限的,则子样的k阶原点矩是总体的k阶原点矩的无偏估计量.解:子样的k阶原点矩为因此,Ak是k的无偏估计量特别地,为EX 的无偏估计E(Ak)=第43页/共112页例2 设总体X的方差DX=2是有限的,证明是2的有偏估计量是2的无偏估计量证

16、:子样b2是2的矩法估计,由于第44页/共112页因此B2是2的有偏估计量第45页/共112页即S2是2的无偏估计量.即B2是2的渐近无偏估计量.另外而所以第46页/共112页上述例子说明,不论总体服从什么分布,只要 EX=和 DX=2 存在,那么和分别是 和2的无偏估计量.第47页/共112页一般地,当总体X的k阶原点矩k存在时,子样的k阶原点矩Ak总是总体X的k阶原点矩的无偏估计量.而子样的k阶无偏估计是对估计量的一个常见的要求,它确实是一个中心矩Bk不是总体X的k阶中心矩k的无偏估计量.优良的性质,其意义在于:它保证了在多次重复抽样的平均意义下,给出接近真值的估计.但在某些情况下,“平均

17、”没有实际意义,因此,估计量的无偏性要根据实际问题进行分析.第48页/共112页注:例3 当DX 0,因为则若当E()=时,不一定有E(g()=g(),其中,当 是 的无偏估计量时,g()不一定是g()的无偏估计量.g()为 的实值函数,即:第49页/共112页例4设X1,X2,.,Xn是总体X N(,)的一个样本,解:E(Xi)=D(Xi)=(i=12,n)由题设根据Xi与Xi+1 的独立性,有=D(Xi+1)+D(Xi)+EXi+1EXi2=2 适当选择常数c,使为 的无偏估计.第50页/共112页所以故第51页/共112页二 有效性都是参数 的无偏估计量，若有定义：和D()0,有是总体未

18、知参数设成立第59页/共112页是指n时的情形.而估计量的无偏性是对固定的n来说，因此称为“小样本性质”.相合性可以说是对估计量的一个起码而合理的要求,如果不论作多少次试验,也不能把g()估计到任意指定的精确程度,则这个估计量是否合用值得怀疑.相合性称为估计量的“大样本性质”，第60页/共112页点估计是参数估计的一种重要方法,它用一个统计量去估计未知参数.理论推导简便,在应用中也有很多方便之处,可以用样本的观察值算出参数的估计值.但是，估计量是一个随机变量,它只是给出了未知参数的一个近似值，并没有给出这个近似值的误差范围和7.3 区间估计的范围和参数落入该范围的概率大小的问题,即要讨论估计的

19、精度和可靠性问题.估计的可信程度.在实际应用中自然要提出确定参数所在第61页/共112页区间估计正好弥补了点估计的这个缺陷.点估计与区间估计互为补充，各有用途.根据样本指出未知参数的一个范围（区间），使它以比较大的可能性包含未知参数的真值.也就是说,我们希望确定一个区间，使我们能以比较高的可靠程度相信它包含未知参数的真值.第62页/共112页满足设总体 X 的分布函数F(x;)中含有 一个待估若由子样X1,X2,Xn确定的两个统计量则称随机区间(T1,T2)是参数 的置信水平为1T1,T2分别称为置信下限和置信上限.的置信区间.一 区间估计的基本思想定义参数，对于给定的常数(0 1),T1=T

20、1(X1,X2,Xn)和T2=T2(X1,X2,Xn)PT1 T2=1第63页/共112页1又称为置信度,称为显著性水平参数 的区间估计的意义:真值,也可能不包含 的真值.当抽样次数充分大时,因此,一个置信度为0.95的区间估计(T1,T2),但它是一个常数,而区间(T1,T2)是随机的,如果在样本容量n不变的情况下,反复抽样多次,每个样本值确定一个区间(T1,T2),每个这样的区间可能包含 的包含 的区间的频率接近于置信度1.待估参数 虽然未知,第64页/共112页其实际意义可理解为:当抽样100次时,平均约有95个区间包含了参数,平均约有5个区间不包含参数置信水平1 表明置信区间(T1,T

21、2)的可靠性,1 越大,区间(T1,T2)包含 的概率越大.固定,置信区间(T1,T2)的长度T2T1反映置信区间的精度,T2T1越小,估计的精度越高,误差越小.第65页/共112页我们既希望置信水平1尽量大,又希望估计的精度尽量高,但是,当样本容量n给定时,1与T2T1是相互制约的,减少其中的一个也就增大了另一个.一般地,求参数 的区间估计的奈曼(Neyman)原则是:保证可靠性,即固定1,努力提高精度,也就是选取长度最短的置信区间.第66页/共112页(1)通常说随机区间(T1,T2)以1的概率包含参数注:而不说参数 以1的概率落入随机区间(T1,T2),因为参数 是非随机的.(2)定义中

22、的,一般以取0.05为最多,还有0.01,0.10,及0.001等,这几个数字并无特殊意义,主要是这样标准化了后造表方便.第67页/共112页 二 单个正态总体参数的置信区间1.当 2已知时,的区间估计例1 设总体XN(,2),2已知,未知,X1,X2,Xn是总体X的样本,求 的置信区间.(置信水平为 1).解:要求 的置信区间,就是要在给定的置信水平 1 下,求两个统计量T1和T2,使PT1 0,求a的区间估计.根据中心极限定理 因此,当n相当大时,近似地有即a的置信区间为与X是正态总体时a 的置信区间一样.(近似服从)第94页/共112页 当 未知时,因为n相当大,样本均方差 s 是 的一

23、个相合估计,可用 s 代替,得(近似服从)因此,a的置信区间为它的置信水平,当 n 相当大时,近似地为1,近似程度如何,不仅取决于n的大小,还要看总体的分布.第95页/共112页例6 若事件A在每次试验中发生的概率为p,作n次独立 重复试验,用n记A发生的次数,求p的置信区间.解:根据中心极限定理,当n相当大时,近似地有所以(此题也可以用前面的置信区间)即第96页/共112页由上式可解出即p的置信区间为(A,B)其中A,B是方程的两个根即A,B=其中A取负号,B取正号,(此题也可以用前面的置信区间)第97页/共112页注:本题根据中心极限定理,近似服从N(0,1)因此,区间估计(A,B)的置信

24、水平1也是近似的.当n较大时,如n 30,相去不远.事实上,当n较小时,求p的区间估计意义不大.因为的最大值为若把的值改为第98页/共112页此时,区间(A,B)的长为取=0.05,有若要求区间的长不超过0.3(这是一个很低的要求)则有可计算出n 39以上说明:在试验次数少于40时,求p的区间估计没有太大实用意义.第99页/共112页例7 求泊松分布P()中未知参数的置信区间.解:泊松分布P()的均值和方差均为 根据中心极限定理,近似服从N(0,1)当n相当大时,仿照例6的做法,可得的区间估计(A,B)其中A,B是方程的两个根即A,B=(A取负号,B取正号)第100页/共112页X 和Y 的样

25、本,且设X1,X2,.,Xn和 Y1,Y2,.,Ym分别是取自总体E(X)=1,D(X)=122 均值差12的区间估计假定两个总体及其样本是相互独立的E(Y)=2,D(Y)=22由中心极限定理可知,当样本容量相当大时,均近似服从正态分布,因此,也近似服从正态分布 第101页/共112页因为所以近似服从N(0,1)这样,就得到1 2的置信区间若总体方差是未知的,可用样本方差代替上式的12 ,22 第102页/共112页例8有甲,乙两台机床加工同类产品,从两台加工的产品中,各随机抽取若干件,测得产品直径的样本均值和标准差分别为:n1=100,s1=0.37n2=80,s2=0.40求两总体均值差1

26、2的置信区间.(取1=0.99)第103页/共112页3 比率差异p1 p2的区间估计有两个相互独立的两点分布总体X,YA出现A不出现B出现B不出现设从总体X中抽取容量为 n的样本,A出现的次数为n设从总体 Y中抽取容量为m的样本,B出现的次数为m P(A)=p1P(B)=p2第104页/共112页在点估计中,用估计p1估计p2因此,当样本容量充分大时近似服从N(0,1)第105页/共112页在实际问题中,因为p1,p2未知,因此方差也未知此时可用p1,p2的估计量分别代替它们则有近似服从N(0,1)由此可求得p1 p2置信区间(A,B)A,B=(A取负号,B取正号)第106页/共112页注:

27、一般地,如果一个统计方法是基于有关变量的当样本容量n很大时的极限分布,则称这一统计方法为“大样本方法”.反之,若依据的是有关变量的确切分布,则称为“小样本方法”.这不在于n的具体大小.例如,在例1例5中,即使n=1010,仍是“小样本方法”.而在例6例7中,即使n=40,仍是“大样本方法”.当然,“大样本方法”只有在n较大时才宜于使用.第107页/共112页五 置信界在实际中,有时只对参数 的一端的界限感兴趣,例如,是在一种物质中某种杂质的百分率,则我们可能只关心其上界,即要求找到这样一个统计量置信上界.又如,是某种材料的强度,则我们可能只关心其下界,即要求找到这样一个统计量(X1,X2,.X

28、n).使 的概率很大,(X1,X2,.Xn),使 的概率很大,就称为 的第108页/共112页 就称为 的置信下界.例9(参见例1)设总体XN(,2),2已知,未知,X1,X2,Xn是总体X的样本,求 的置信下界.(置信水平为 1).解:在正态分布表中可以查出上侧分位数u ,使得第109页/共112页即所以,是的 一个置信下界完全类似地,对其它情况也可得到一些置信上下界的结果.第110页/共112页例10设总体XN(,2),2未知,求 的置信解:的置信上界和置信下界分别为上界和置信下界.(正号为上界)注:置信区间中的这里变为,这是因为置信区间是双侧的,而置信界是单侧的.第111页/共112页感谢您的观看！第112页/共112页