第5章参数估计与假设检验.pptx
《第5章参数估计与假设检验.pptx》由会员分享,可在线阅读,更多相关《第5章参数估计与假设检验.pptx(137页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、 另一方面,在有些情况下,人们所关心的并不是总体的分布,而是总体的某些数字特征(一般可以表为总体参数的函数,如:若总体 X e(),则 EX=1/)。这些问题都要求人们通过对所抽取的简单随机样本进行科学的分析,从而推断出总体的未知参数或数字特征来。这类问题统称为参数估计问题。参数估计问题又分为点估计与区间估计两类。直观地讲,点估计是要用样本的某一函数值做为待估参数的估计值;区间估计则是要将待估参数确定在某一范围之内。第1页/共137页 5.1 点估计概述 一、什么叫点估计 设(X1,X2,Xn)是来自总体 X 的样本,(x1,x2,xn )是相应的样本值。是总体分布的待估参数,表示 的取值范围
2、,称为参数空间。注:尽管参数 是未知的,但是它的参数空间 却是事先知道的。如正态总体 X N(,2)的参数 R,(0,+).第2页/共137页 为估计参数 ,需要先构造一个统计量 h(X1,X2,Xn),然后再利用该统计量的实现值 h(x1,x2,xn)来估计参数 的真值,作为 的近似值,即 h(x1,x2,xn)。称统计量 h(X1,X2,Xn)为参数 的估计量,记作 ;该统计量的实现值 h(x1,x2,xn)为参数 的估计值,记作 。在不会引起误会的场合,估计量与估计值统称为点估计,简称为估计,并简记为 。且有 。由于 的估计值 是数轴上的一个点,用 的估计值 作为 的真值的近似值,就相当
3、于用一个点来估计 ,故得名“点估计”。第3页/共137页 如果总体分布中有多个待估参数 1,2,r,(1,2,r),则一般需要构造不同的统计量 ,i=1,2,r,分别估计各个 i ,且称 为第 i 个参数 i 的估计量,其相应的估计 值 为第 i 个参数 i 的估计值,i=1,2,r.如果待估参数是总体未知参数 的实值函数 g()(如:总体 X e()时,待估参数 EX=1/就是总体未知参数 的实值函数,此时有 g()=1/),则称用来估计实值函数 g()的统计量 为该实值函数 g()的估计量,统计量的相应的实现值为该实值函数 g()的估计值。且有 g()。第4页/共137页 例 5.1(P.
4、150 例 5.1)设某种型号的电子元件的寿命 X(以小时计),(x 0)。为未知参数,0。现得样本值为168,130,169,143,174,198,108,212,252,试估计未知参数 。解 未知参数 的一个估计量,就是利用样本构造的一个函数。方法一 总体 X 服从参数为 的指数分布:X e(),EX=(),即未知参数 就是总体 X 的数学期望(均值)。第5页/共137页 因此一个自然的想法就是,用样本均值 来估计未知参数 (即总体的均值),得到未知参数 的一个估计量为 ,其中 。对于给定的样本值,计算出未知参数 的一个估计值为 。即 172.7。方法二 未知参数 的估计量也可以取为 ,
5、则相应的估计值为 。即 168。第6页/共137页 方法三 记 X(1)=min X1,X2,X9,X(9)=max X1,X2,X9。将未知参数 的估计量取为 ,则相应的估计值为 。即 180.由此可见,同一个未知参数,其估计量可以是多个。对于一个未知参数,原则上可以随意地去构造其估计量。因此,需要制定出衡量各种估计量好坏的标准,对估计量进行评价。注:由于作为估计量的统计量,是样本的函数,因而它是一个随机变量,具有不确定性。因此,在评价估计量时,不能仅凭一次估计的效果来衡量估计量的好坏,即不能用估计量的一次实现值(估计值)来衡量其好坏。要对估计量进行综合评价。最常用的评价估计量好坏的标准有:
6、无偏性、有效性和相合性。第7页/共137页 二、评价估计量的标准 1、无偏性 待估参数 的一个好的估计量 在多次使用中,其估计值应该在待估参数 的真值的两侧对称分布,即 的平均值应该与 的真值基本一致,即 。如果估计量的实现值较多地偏向待估参数的真值的左(右)边,则说明估计值通常要小(大)于参数的真值,用这样的估计量去估计参数,通常会低估(高估)参数的真值。据此得到了评价估计量的“无偏性”标准。定义 5.1(P.146)设 为参数 的估计量,若 ,则称 是 的无偏估计量,否则称 是 的有偏估计量。若 ,则称 是 的渐进无偏估计量。第8页/共137页 例 5.2(P.150 例 5.2*)设(X
7、1,X2,Xn)是取自总体 X 的容量为 n 的样本。试验证样本方差 是总体方差 2 的无偏估计量,而统计量 (未修正的样本方差)是总体方差 2 的有偏估计量。证 总体方差 DX=2 存在,总体均值也存在,记为 ,即 EX=。又(X1,X2,Xn)是取自总体 X 的一个样本,EXi=EX=,DXi=DX=2,i=1,2,n。且 X1,X2,Xn 相互独立。第9页/共137页 于是,样本均值 满足:(即样本均值 X 是总体均值 的无偏估计:E X=EX=);(即 )。第10页/共137页 而样本方 ,故 样本方差 是总体方差 2 的无偏估计量。第11页/共137页又 统计量 是总体方差 2 的有
8、偏估计量(但它是总体方差 2 的渐进无偏估计量)。用统计量 B2 估计总体方差 2 时,平均说来会低估 2。可见,样本方差 S 2 比未修正的样本方差 B2 具有更良好的统计性质。第12页/共137页 注:当估计量 是待估参数 的无偏估计量时,其函数 不一定仍是 g()的无偏估计量(取决于函数 g()是否为线性函数)。例如,设总体 X N(,2)(0),则样本均值 X 是总体均值 的无偏估计量,但函数 X 2 却不是 2 的无偏估计量。事实上,。即 X 2 不是 2 的无偏估计量。一个待估参数 有时可以有若干个无偏估计量。第13页/共137页 例如,在例 5.1 中,总体 X e(),EX=,
9、DX=2.未知参数 (0)的估计量 ,其中 ,以及 都是参数 的无偏估计量。但是,。从而有 。这说明,用 去估计未知参数 时,估计值在 的真值周围较集中地对称分布,摆动的幅度比较小;而用 去估计未知参数 时,估计值在 的真值周围较分散地对称分布,摆动的幅度比较大。这也就是说,估计未知参数 时,一般比 更接近 的真值。因此,一个好的估计量不仅应该是无偏估计量,而且应该有尽可能小的方差。由此得到评价估计两好坏的第二个标准有效性。第14页/共137页 2、有效性 定义 5.2(P.152)设 与 是参数 的两个无偏估计量,若 ,则称估计量 较 有效。在参数 的所有无偏估计量中,若 的方差最小,则称估
10、计量 是参数 的最有效(最优、最佳)的估计量。注:只有当估计量 与 都是参数 的无偏估计量时,才讨论 与 的有效性;并非所有未知参数都具有最有效的估计量。第15页/共137页 例 5.5 设总体 X 的期望 和方差 2 都存在,(X1,X2)是容量为 2 的样本,说明统计量 哪个是总体期望 的最有效的估计量。解 依题意 EX1=EX2=EX=,DX1=DX2=DX=2,且 X1,X2 相互独立。,1 和 2 是总体期望 的无偏估计量。在总体期望 的无偏估计量 1 和 2 中,2 是 1、2、3 中对总体期望 的最有效的估计量。第16页/共137页 注:尽管 3 的方差 最小,但由于 3 不是总
11、体期望 的无偏估计量,因此 3 也不是总体期望 的最有效的估计量。3、相合性(一致性)无偏性和有效性都是小样本准则,即性质成立与否与样本容量 n 无关。如果某种准则只要求当样本容量 n 时,估计量具有某种优良性质(如渐进无偏性),则称这种准则为大样本准则。相合性(一致性)是重要的大样本准则之一,它反映了估计量的一种大样本性质。第17页/共137页 定义 5.3(P.153)设 为未知参数 的估计量,若 依概率收敛于 ,即对任意 0,有 或 ,则称 为 的(弱)相合估计量。此时也称估计量 具有相合性(一致性).定义 5.3 表明,“相合性”就是当样本容量 n 无限增大时,估计量 与未知参数 的真
12、值任意接近的概率趋于 1。第18页/共137页 例 5.6 根据伯努利大数定律(P.107 定理 3.8):“,则对任意 0,有 ”可见,在 n 重伯努利试验中,事件 A 发生的频率 是其发生的概率 p 的相合估计量 .根据辛钦大数定律(P.108 定理 3.10):“,则对任意 0,有 ”可见,样本均值 X 是总体期望值 的相合估计量。用不同的准则去衡量同一个估计量,会得出不同的结论,因此,要根据实际情况的具体需要选择适当的估计量。作业 P154,1第19页/共137页5.2 参数的极大似然估计与矩估计 一、极大似然估计 极大似然估计法最早是由高斯(C.F.Gauss)提出来的,后来由费歇(
13、R.A.Fisher)证明了这种方法的一些性质,并给出了“极大似然估计法”这一名称。1 1、极大似然估计法的基本思想(P.150)极大似然估计法的思想很简单:在已经得到试验结果的情况下,应该寻找使这个结果出现的可能性最大的那个 作为未知参数 的估计。第20页/共137页 设(X1,X2,Xn)为来自总体 X 的容量为 n 的样本,总体 X 的分布类型已知,但参数 未知,。(1)总体 X 是离散型随机变量,其概率分布的形式为 P(X=x)=p(x;),则样本(X1,X2,Xn)的概率分布为 ,。在 固定时,此式表示样本(X1,X2,Xn)取值(x1,x2,xn)的概率;反之,当样本值 (即试验结
14、果)(x1,x2,xn)给定时,上式则可以看作是未知参数 的函数,记作 L(),并称 ,为似然函数。第21页/共137页 对于不同的 值,似然函数 L()有不同的函数值。而似然函数似 L()的值的大小,又表示样本(X1,X2,Xn)取值(x1,x2,xn)的概率,即意味着样本值(x1,x2,xn)出现的可能性的大小。既然经过试验已经得到了样本值(x1,x2,xn),那么就有理由认为此样本值(x1,x2,xn)出现的可能性是最大的。也就是说,此时似然函数的取值应该是最大的。因此,选择使似然函数 L()达到最大值的那个 *作为未知参数 的估计,即选择 *,使 。第22页/共137页 (2)总体 X
15、 是连续型随机变量,其密度函数为 f(x;),则样本(X1,X2,Xn)的概率密度函数为 ,。在 固定时,它表示样本(X1,X2,Xn)在(x1,x2,xn)处的密度,其值的大小与样本(X1,X2,Xn)落在点(x1,x2,xn)附近的概率值的大小成正比;反之,当样本值(即试验结果)(x1,x2,xn)给定时,它是未知参数 的函数,仍然记作 L(),并称 ,为似然函数。同样,应该选择使似然函数 L()达到最大值的那个 *作为未知参数 的估计,即选择 *,使 。第23页/共137页 这种 “选择使似然函数 L()达到最大值的那个 *作为未知参数 的估计”的求点估计的方法,叫做极大似然估计法。注:
16、由于 *通常随样本值(x1,x2,xn)的不同而变化,因此 *通常是样本值(x1,x2,xn)的函数,记作 *=*(x1,x2,xn)。第24页/共137页 定义 5.4(P.154)若对任意给定的样本值(x1,x2,xn),存在 *=*(x1,x2,xn),使 ,则称 *(x1,x2,xn)为参数 的极大似然估计值,称相应的统计量 *(X1,X2,Xn)为参数 的极大似然估计量。它们统称为参数 的极大似然估计,可简记作 M L E(Maximum Likelihood Estimate)。其中似然函数 ,。第25页/共137页 如果总体中含有多个未知参数 1,2,r,那么似然函数就是多元函数
17、 L(1,2,r)。若对任意给定的样本值(x1,x2,xn),存在 i*=i*(x1,x2,xn),i=1,2,r,使 ,则称 i*(x1,x2,xn)为参数 i 的极大似然估计(M L E),i=1,2,r。极大似然估计的不变性(P.152):如果 是参数 的极大似然估计,u=g()是 的函数,且存在单值反函数 =g 1(u),则 就是 g()的极大似然估计(此性质可以推广到多个参数的场合)。第26页/共137页 例如,若 是未知参数 的极大似然估计,u1=3,u2=2,则 是 u1=3 的极大似然估计;但是,就不一定是 u2 =2 的极大似然估计(因为函数 u2=2 不存在 的单值的反函数
18、)。下面给出极大似然估计法的定义:定义 以极大似然估计(值或量)作为未知参数 的估计,以 的函数 作为未知参数 的同一函数 g()的估计的方法,称为极大似然估计法。其中 g()存在单值反函数。第27页/共137页 求极大似然估计 (i=1,2,r)的主要步骤 写出似然函数 ,(1,2,r);如果似然函数 L(1,2,r)是某个未知参数 i 的单调函数,则似然函数的最大值点 i*一定在参数 i 的参数空间的边界上达到,此时可以直接求出 i*;如果似然函数 L(1,2,r)不是未知参数 i 的单调函数,i=1,2,r,求对数似然函数 ln L(1,2,r);第28页/共137页 令 ,i=1,2,
19、r,得到似然方程组,从中解出所有驻点;从求出的所有驻点中,找出使似然函数 L(1,2,r)达到最大值的点 i*,i=1,2,r;注:当似然函数 L(1,2,r)关于某个 i(1 i r)的驻点唯一时,则认为该驻点就是似然函数的最大值点 i*(1 i r),而不必再做进一步的验证了。给出各参数的极大似然估计 M L E:极大似然估计值 ,i=1,2,r;极大似然估计量 ,i=1,2,r。第29页/共137页 例5.9 设(X1,X2,Xn)为总体 X 的一组样本,总体 X 密度函数为:(参数 未知,且 0),(1)试求未知参数 的极大似然估计量;(2)检验其无偏性。解(1)似然函数 ,0,两边取
20、对数,得 ,由 ,得唯一驻点 ,参数 的极大似然估计量为 。第30页/共137页(2)(X1,X2,Xn)为总体 X 的一组样本,E Xi=E X,E Xi =E X ,i=1,2,n。又 是 的无偏估计量。第31页/共137页 例5.10 设总体 X 在区间 0,(0)上服从均匀分布,求未知参数 的极大似然估计(量/值)。解 依题意,总体 X 的密度函数为 设(X1,X2,Xn)是取自总体 X 的容量为 n 的样本,其样本值为(x1,x2,xn),则似然函数为 似然函数 L()关于未知参数 单调减少,且其最大值在 的范围内达到。当 时,似然函数 L()达到最大值。于是,参数 的极大似然估计量
21、为 ,极大似然估计值为 。第32页/共137页 例5.11 设总体 X 的密度函数为(0),从总体 X中抽取一组样本(X1,X2,Xn),样本值为(x1,x2,xn),求总体期望 的极大似然估计量。解 (1)先求总体参数 的极大似然估计量 :似然函数 ,(0 x i 0。两边取对数,得 ,由 ,得唯一驻点 。参数 的极大似然估计量为 。第33页/共137页 (2 2)再求总体期望 的极大似然估计量 :,此函数存在 的单值反函数,总体期望 的极大似然估计量为 .极大似然估计法有许多优良的性质,因此它是一种很有用的估计方法。但是,在求极大似然估计时,必须知道总体的分布,而且似然方程组的解有时也不容
22、易求,因而使它在应用上受到了一定的限制。第34页/共137页二、矩估计 1、矩估计法的基本思想 除极大似然估计法外,矩估计法也是求点估计常用的方法.矩估计法的基本思想是(P.157):用相应的样本矩去估计总体矩;用相应的样本矩的函数去估计总体矩的相同函数。例如,设总体 X e(),则 。于是,总体均值的矩估计量为 ,总体未知参数 的矩估计量为 .第35页/共137页 总体 k(k 0)阶原点矩为:k=EXk(1=EX),总体 k(k 0)阶中心矩为:k=E(X EX)k(1=0,2=DX)。样本(X1,X2,Xn)则 样本 k(k 0)阶原点矩为:(A1=X),样本 k(k 0)阶中心矩为:(
23、B2=S02),其中 。第36页/共137页 利用矩估计法,就是用样本的 k 阶原点矩去估计总体的 k 阶原点矩;用样本的 k 阶中心矩去估计总体的 k 阶中心矩,即 ,k=1,2,;,k=2,3,。这种求点估计的方法称为矩估计法。用矩估计法确定的估计量称为矩估计量,相应的估计值称为矩估计值。矩估计量与矩估计值统称为矩估计,简记为 M E(Moment Estimate)。在实际应用中,大部分情况下是求总体期望 EX 和方差 DX 的矩估计量:;,其中 为样本均值。第37页/共137页 矩估计法是一种古老的估计方法。其特点是不要求已知总体分布的类型,只要未知参数可以表示成总体矩的函数,就能够求
24、出未知参数的矩估计。矩估计法的思路自然,且不一定需要知道总体分布的类型,因而有着广泛的应用。但是,当样本容量 n 较大时,所得到的矩估计值的精度一般不如极大似然估计值的精度高;当总体分布的类型已知时,采用矩估计法不能够充分利用总体分布所提供的信息,损失了有用的信息。另外,矩估计有时还不具有唯一性,例如,设总体X P(),则 EX=DX=。于是,未知参数 的矩估计量为 ,或 ,其中 为样本均值。第38页/共137页 2、矩估计的求法 按照矩估计法的基本思想,求未知参数的矩估计的一般步骤为(P.158):(1)从总体矩入手,将待估参数 表示为总体矩的函数,即 =g(1,2,l;1,2,s);(2)
25、用样本矩 Ak,Bk(k=1,2,)分别替换函数g g()中的总体矩 k,k.(3)得到参数 的矩估计(ME),即 第39页/共137页其中 是未知参数,(X1,X2,Xn)是来自总体 X 的样本,求参数 的矩估计量。解 求矩估计量 找出参数 与总体矩(数学期望、方差等)之间的关系 E X=0 2+1 2 (1 )+2 2+3 (1 2 )=3 4 。求总体期望 E X 的矩估计量以及参数 的矩估计量 例5.14(续例 5.8)设总体 X 的概率分布为第40页/共137页 求总体期望 E X 的矩估计量以及参数 的矩估计量 又 总体期望 E X 的矩估计量是 ,其中 未知参数 的矩估计量是 ,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 参数估计 假设检验
限制150内