中南大学概率论课件 tl第6章 参数估计.ppt

《中南大学概率论课件 tl第6章 参数估计.ppt》由会员分享，可在线阅读，更多相关《中南大学概率论课件 tl第6章 参数估计.ppt（155页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第六章第六章参数估计参数估计机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 第第六六章章 参数估计参数估计参数的点估计参数的点估计估计量的优良准则估计量的优良准则参数的区间估计参数的区间估计0-1分布参数的区间估计分布参数的区间估计单侧置信区间单侧置信区间 上一上一节节,我们介绍了总体、样本、简我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概念单随机样本、统计量和抽样分布的概念,介绍了统计中常用的三大分布介绍了统计中常用的三大分布,给出了几给出了几个重要的抽样分布定理个重要的抽样分布定理.它们是进一步学它们是进一步学习统计推断的基础习统计推断的基础.机动机动 目录目录 上页

2、上页 下页下页 返回返回 结束结束 总体总体样本样本统计量统计量描述描述作出推断作出推断 研究统计量的性质和评价一个统计推研究统计量的性质和评价一个统计推断的优良性断的优良性,完全取决于其完全取决于其抽样分布抽样分布的性质的性质.随机抽样随机抽样机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 参数估计参数估计问题问题假设检验假设检验问题问题点点 估估 计计区间估计区间估计统计统计推断推断 的的基本基本问题问题机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 现在我们来介绍一类重要的统计推断问题现在我们来介绍一类重要的统计推断问题 参数估计参数估计问题问题,它它是利用从总体

3、抽样得到的信是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数息来估计总体的某些参数或者参数的某些函数.估计废品率估计废品率估计新生儿的体重估计新生儿的体重估计湖中鱼数估计湖中鱼数 估计降雨量估计降雨量 在参数估计问题中在参数估计问题中,假定总体分布形假定总体分布形式已知式已知,未知的仅仅是一个或几个参数未知的仅仅是一个或几个参数.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 这类问题称为这类问题称为参数估计参数估计.参数估计问题的一般提法参数估计问题的一般提法X1,X2,Xn要依据该样本对参数要依据该样本对参数作出估计作出估计,或估计或估计的某个已知函数的某个已知

4、函数 .量量).现从该总体抽样现从该总体抽样,得样本得样本 设有一个统计总体设有一个统计总体,总体的分布函数总体的分布函数为为 ,其中其中 为未知参数为未知参数(可以是可以是向向机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 由总体的样本由总体的样本(X1,X2,Xn)对每一个对每一个未知参数未知参数 (i=1,2,k)构造统计量构造统计量作为参数作为参数 的估计的估计,称称为参数为参数 的的估计量估计量.样本样本(X1,X2,Xn)的一组取值的一组取值(x1,x2,xn)称为样本观察值称为样本观察值,将其代入估计量将其代

5、入估计量得到数值得到数值称为参数称为参数 的的估计值估计值.iq 参数估计类型参数估计类型 参数是刻画总体某方面概率特性的数量参数是刻画总体某方面概率特性的数量.参数的类型有参数的类型有:若若 ,2未知未知,通通过过构造构造统计统计量量,给给出它出它们们的的估估计值计值或或取取值值范范围围就是参数估就是参数估计计的内容的内容.区间估计区间估计参数估计的参数估计的两种类型两种类型点估计点估计例如例如,机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 1、分布中所含的未知参数、分布中所含的未知参数 .设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69.现从该总体选取

6、容量为现从该总体选取容量为5的样本的样本,我们的我们的任务是要根据选出的样本任务是要根据选出的样本(5个数个数)求出总体求出总体均值均值 的估计的估计.而全部信息就由这而全部信息就由这5个数组成个数组成.估计估计 为为1.68,这是这是点估计点估计.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 估计估计 在区间在区间(1.57,1.84)内内,这是这是区间估计区间估计.(假定身高服从正态分布假定身高服从正态分布 )假如我们要估计某队男生的平均身高假如我们要估计某队男生的平均身高.2、分布中所含的未知参数、分布中所含的未知参数 的函数的函数 3、分布的各种特征数、分布的各种特征数例

7、如例如:,分布中位数等分布中位数等.例如例如:,其中其中 ,2未知未知,对对于某于某定定值值a,要估要估计计,即即为为 ,的函数的函数.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 例例 已知某地区新生婴儿的体重已知某地区新生婴儿的体重X随机抽查随机抽查100个婴儿个婴儿得得100个体重数据个体重数据10,7,6,6.5,5,5.2,呢呢?据此据此,我们应如何估计我们应如何估计和和而全部信息就由这而全部信息就由这100个数组成个数组成.6.1 参数的点估计参数的点估计机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 使用什么样的统计量去估计使用什么样的统计量去估计?可以

8、用样本均值可以用样本均值;也可以用样本中位数也可以用样本中位数;还可以用别的统计量还可以用别的统计量.问题是问题是:机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 寻求估计量的方法寻求估计量的方法1.矩估计法矩估计法2.极大似然法极大似然法3.最小二乘法最小二乘法4.贝叶斯方法贝叶斯方法这里我们主要介绍前面两种方法这里我们主要介绍前面两种方法.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 矩估计法矩估计法 其基本思想是其基本思想是用样本矩估计总体矩用样本矩估计总体矩.理论依据理论依据:或格列汶科定理或格列汶科定理 它是基于一种简单的它是基于一种简单的“替换替换”思想建

9、立起来的一思想建立起来的一种估计方法种估计方法.是英国统计学家是英国统计学家K.皮尔逊最早提出的皮尔逊最早提出的.大数定律大数定律机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 记总体记总体k阶矩为阶矩为样本样本k阶矩为阶矩为用相应的样本矩去估计总体矩的估计方法用相应的样本矩去估计总体矩的估计方法就称为矩估计法就称为矩估计法.记总体记总体k阶中心矩为阶中心矩为样本样本k阶中心矩为阶中心矩为机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 矩法估计步骤矩法估计步骤 设总设总体体X的分布的分布为为 ,k个个参数参数

10、待估待估计计,(X1,X2,Xn)是一是一个个样样本本.(1)计计算算总总体分布的体分布的 i 阶阶原点矩原点矩(计计算到算到k阶阶矩矩为为止止,k个参数个参数);机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 (2)列方程列方程从中解出方程组的解从中解出方程组的解,记为记为,则则分别为参数分别为参数 的矩估计的矩估计.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 解得矩法估计量为解得矩法估计量为解解 例例6.1 设总体设总体X的均值为的均值为 ,方差为方差为 ,均未知均未知.(X1,X2,Xn)是总体的样本是总体的样本,求求 和和 的矩估的矩估计计.机动机动 目录目

11、录 上页上页 下页下页 返回返回 结束结束 注注:机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 例例6.3 设设(X1,X2,Xn)来自来自X的一个样本的一个样本,且且求求a,b的矩估计的矩估计.解解例例6.2 设总设总体体 ,求求 的矩估的矩估计计.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 解解 XU(a,b)例例6.3 设设(X1,X2,Xn)来自来自X的一个样本的一个样本,且且求求a,b的矩估计的矩估计.解得矩估计为解得矩估计为2阶中心矩阶中心矩机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 解解:由矩法由矩法,样本矩样本矩总体矩总体矩从中解得

12、从中解得的矩估计的矩估计.即为即为数学期望数学期望是一阶是一阶原点矩原点矩例例6.4 设总体设总体X的概率密度为的概率密度为是未知参数是未知参数,其中其中X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 解解:由密度函数知由密度函数知具有均值为具有均值为 的指数分布的指数分布机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 例例6.5 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 ,求求 的矩估计的矩估计.是未知是未知参数参数故故即即解得解得令令用样本矩估计用样本矩估计总体

13、矩总体矩机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 即即机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 矩法估计的矩法估计的优点优点:计算简单计算简单.如例如例6.2中中,不是用不是用1阶矩阶矩,而是用而是用2阶矩阶矩.(2)求矩法估计时求矩法估计时,不同的做法会得到不同不同的做法会得到不同的解的解;(通常规定通常规定,在求矩法估计时在求矩法估计时,要尽要尽量使用低阶矩量使用低阶矩).矩法估计的矩法估计的缺点缺点:(1)矩法估计有时会得到不合理的解矩法估计有时会得到不合理的解;机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 与与不同不同.解解例例6.2

14、设总设总体体 ,求求 的矩估的矩估计计.(3)总体分布的矩不一定存在总体分布的矩不一定存在,所以矩法估所以矩法估计不一定有解计不一定有解.如如机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 极大似然法极大似然法 极极大大似似然然估估计计法法是是在在总总体体类类型型已已知知条件下使用的一种参数估计方法条件下使用的一种参数估计方法.它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的,然而然而,GaussFisher这个方法常归功于英国统这个方法常归功于英国统计学家计学家费歇费歇.费歇费歇在在1922年重新发现了年重新发现了这一方法这一方法,并首先研究了这并首先

15、研究了这种方法的一些性质种方法的一些性质.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 极大似然法的基本思想极大似然法的基本思想 先看一个简单例子先看一个简单例子:一只野兔从前方窜过一只野兔从前方窜过.是谁打中的呢是谁打中的呢?某位同学与一位猎某位同学与一位猎人一起外出打猎人一起外出打猎.如果要你推测如果要你推测,你会如何想呢你会如何想呢?只听一声枪响只听一声枪响,野兔应声倒下野兔应声倒下.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 下下面面我我们们再再看看一一个个例例子子,进进一一步步体体会会极大似然法的基本思想极大似然法的基本思想.只发一枪便打中只发一枪便打中

16、,猎人命中的概率一般猎人命中的概率一般大于这位同学命中的概率大于这位同学命中的概率.看来这一枪是猎看来这一枪是猎人射中的人射中的.这个例子所作的推断已经体现了极大似这个例子所作的推断已经体现了极大似然法的基本思想然法的基本思想.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 例例 设设XB(1,p),p未知未知.设想我们事先知道设想我们事先知道p只有两种可能只有两种可能:问问:应如何估计应如何估计p?p=0.7 或或 p=0.3如今重复试验如今重复试验3次次,得结果得结果:0,0,0由概率论的知识由概率论的知识,3次试验中出现次试验中出现“1”的次数的次数k=0,1,2,3机动机动

17、 目录目录 上页上页 下页下页 返回返回 结束结束 将计算结果列表如下将计算结果列表如下:应如何估计应如何估计p?p=0.7 或或 p=0.3k=0,1,2,3p值值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.189 0.027出现出现估计估计出现出现出现出现出现出现估计估计估计估计估计估计0.3430.4410.4410.343机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 如果有如果有p1,p2,pm可供选择可供选择,又如何又如何合理地选合理地选p呢呢?从中选取使从中选取使Qi 最大的

18、最大的pi 作为作为p的估计的估计.i=1,2,m则估计参数则估计参数p为为时时Qi 最大最大,比方说比方说,当当 我们计算一切可能的我们计算一切可能的 P(Y=k;pi)=Qi,i=1,2,m机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 若重复进行试验若重复进行试验n次次,结果结果“1”出现出现k次次(),如果只知道如果只知道0p1,并且实测记录是并且实测记录是 Y=k(0 k n),又应如何估计又应如何估计p呢呢?注意到注意到是是p的函数的函数,可用求导的方法找到使可用求导的方法找到使f(p)达到达到极大值的极大值的p.但因但因f(p)与与lnf(p)达到极大值的自变量达到极

19、大值的自变量相同相同,故问题可转化为求故问题可转化为求lnf(p)的极大值点的极大值点.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 将将ln f(p)对对p求导并令其为求导并令其为0,这时这时,对一切对一切0p1,均有均有从中解得从中解得便得便得 p(n-k)=k(1-p)机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 以上这种以上这种选择一个参数使得实验结选择一个参数使得实验结果具有最大概率果具有最大概率的思想就是极大似然法的思想就是极大似然法的基本思想的基本思想.这时这时,对一切对一切0p1,均有均有则估计参数则估计参数p为为机动机动 目录目录 上页上页 下页下

20、页 返回返回 结束结束 极大似然估计原理极大似然估计原理 当给定样本当给定样本X1,X2,Xn时时,定义定义似然似然函数函数为：为：机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 设设X1,X2,Xn是取自总体是取自总体X的一个样的一个样本本,样本的联合密度样本的联合密度(连续型连续型)或联合概率函或联合概率函数数(离散型离散型)为为 似然函数似然函数:极大似然估计法就是用使极大似然估计法就是用使 达到最达到最 大值的大值的 去估计去估计 .称称 为为 的极大似然估计的极大似然估计(MLE).看作参数看作参数 的函数的函数,它可作为它可作为 将以多将以多大可能产生样本值大可能产生样

21、本值X1,X2,Xn的一种度量的一种度量.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 ,称为参数称为参数 的的 对每一样本值对每一样本值(x1,x2,xn),在参数空间在参数空间 内使似然函数内使似然函数 达到最大的达到最大的参数估计值参数估计值极大似然估计值极大似然估计值,它满足它满足称统计量称统计量为参数为参数 的的极大似极大似然估计量然估计量.记为记为机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 极大似然估计求解步骤极大似然估计求解步骤如果如果X是连续型随机变量是连续型随机变量,密度函数为密度函数为

22、f(x),则则如果如果X是离散型随机变量是离散型随机变量,分布律为分布律为P(X=k),则则(1)写出似然函数写出似然函数L的表达式的表达式 设总体设总体X的分布中的分布中,有有m个未知参数个未知参数,它们的取值范围它们的取值范围.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 (2)在在 内求出使得似然函数内求出使得似然函数L达到最大的参达到最大的参数的估计值数的估计值 它们就是未知参数它们就是未知参数 的极大似的极大似然估计然估计.一般地一般地,先将似然函数取对数先将似然函数取对数lnL,然后然后令令lnL关于关于 的偏导数为的偏导数为0,得方程组得方程组机动机动 目录目录 上

23、页上页 下页下页 返回返回 结束结束 从中解出从中解出机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 x=1,2,设设(x1,x2,xn)为样本为样本(X1,X2,Xn)的的一个观察值一个观察值,似然函数似然函数解解 总体总体X的分布律为的分布律为例例6.6 (X1,X2,Xn)是来自总体是来自总体 的的样本样本,未知未知,求求 的极大似然估计量的极大似然估计量.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 对数似然函数对数似然函数的极大似然估计值为的极大似然估计值为的极大似然估的极大似然估计计量量为为机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 解解

24、设设(x1,x2,xn)为样本为样本(X1,X2,Xn)的一个观察值的一个观察值,则似然函数为则似然函数为例例6.7 设设(X1,X2,X n)是来自正态总体是来自正态总体 的一个样本的一个样本,未知未知,求求 的极大似然估计的极大似然估计.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 解得解得思考思考:当当 已已知时知时,所以所以 的极大似的极大似然估计量分别为然估计量分别为机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 例例6.8 设设XUa,b,a,b未知未知,(X1,X2,Xn)是总体是总体X的一个样本的一个样本,求求a,b的极大似然估计的极大似然估计.设设(

25、x1,x2,xn)为样本为样本(X1,X2,Xn)的的一个观察值一个观察值,则似然函数则似然函数解解 X的密度函数为的密度函数为机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 无法求出估计无法求出估计机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 设设 x1*=min(x1,x2,xn),xn*=max(x1,x2,xn),则则a的取值范围的取值范围ax1*,b的取值范围的取值范围bxn*L(a,b)当当a=x1*,b=xn*时取得最大值时取得最大值.所以所以当当a=x1*,b=xn*时时,有有两点说明两点说明:可以得到可以得到 的的MLE.若若 是向量是向量,上述方程

26、必须用似然方程上述方程必须用似然方程组代替组代替.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 1、求似然函数、求似然函数 的最大值点的最大值点,可以应可以应用微积分中的技巧用微积分中的技巧.由于由于ln(x)是是x的增函数的增函数,与与 在在 的同一值处达到它的的同一值处达到它的最大值最大值,假定假定 是一实数是一实数,且且 是是 的的一个可微函数一个可微函数.通过求解所谓通过求解所谓“似然方程似然方程”:2、用上述求导方法求参数的、用上述求导方法求参数的MLE有时有时行不通行不通,这时要用极大似然原则来求这时要用极大似然原则来求.两点说明：两点说明：机动机动 目录目录 上页上

27、页 下页下页 返回返回 结束结束 L(p)=f(X1,X2,Xn;p)例例6.8 设设X1,X2,Xn是取自总体是取自总体 XB(1,p)的一个样本的一个样本,求参数求参数p的极大似然估计的极大似然估计.解解:似然函数为似然函数为:机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 对数似然函数为：对数似然函数为：对对p求导并令其为求导并令其为0,得得即为即为 p 的的MLE.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 解解:似然函数为似然函数为对数似然函数为对数似然函数为例例6.9 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本求求 的极大似然估计的极

28、大似然估计.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 其中其中 求导并令其为求导并令其为0从中解得从中解得即为即为 的的MLE.对数似然函数为对数似然函数为机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 解解:似然函数为似然函数为 例例6.10 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 ,求求 的极大似然估计的极大似然估计.i=1,2,n机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 未知未知对数似然函数为对数似然函数为解解:似然函数为似然函数为i=1,2,n机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 (2

29、)由由(1)得得 (1)对对 分别求偏导并令其为分别求偏导并令其为0,对数似然函数为对数似然函数为用求导方法无法最终确定用求导方法无法最终确定用极大似然原则来求用极大似然原则来求.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 是是对对故使故使 达到最大的达到最大的 即即 的的MLE，于是于是 取其它值时取其它值时,即即 为为 的的MLE.且是且是 的增函数的增函数由于由于机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 我我们们知道知道,服从正服从正态态分布分布 的的r.v X 由大数定律由大数定律,机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 可以可以用

30、样本均值用样本均值 估计估计类类似地似地,用用样样本修正方差本修正方差 估估计计 样样本均本均值值是否是是否是 的一个好的估的一个好的估计计量量?(2)怎怎样样决定一个估决定一个估计计量是否比另一个估量是否比另一个估计计量量“好好”?样样本方差是否是本方差是否是 的一个好的估的一个好的估计计量量?这这就需要就需要讨论讨论以下几个以下几个问题问题:(1)我我们们希望一个希望一个“好的好的”估估计计量具有什么量具有什么 特性特性?(3)如何求得合理的估如何求得合理的估计计量量?那么要那么要问问:机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 在在介介绍绍估估计计量量优优良良性性的的准准

31、则则之之前前,我们必须强调指出我们必须强调指出:评价一个估计量的好坏评价一个估计量的好坏,不能仅仅依不能仅仅依据一次试验的结果据一次试验的结果,而必须由多次试验结而必须由多次试验结果来衡量果来衡量.这是因为估计量是样本的函数这是因为估计量是样本的函数,是随机是随机变量变量.因此因此,由不同的观测结果由不同的观测结果,就会求得不就会求得不同的参数估计值同的参数估计值.因此一个好的估计因此一个好的估计,应在应在多次试验中体现出优良性多次试验中体现出优良性.6.2 估计的优良准则估计的优良准则机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 常用的几条标准是常用的几条标准是:1无偏性无偏性

32、2有效性有效性3相合性相合性机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 估计量是随机变量估计量是随机变量,对于不同的样本值对于不同的样本值会得到不同的估计值会得到不同的估计值.我们希望估计值在未我们希望估计值在未知参数真值附近摆动知参数真值附近摆动,而它的期望值等于未而它的期望值等于未知参数的真值知参数的真值.这就导致无偏性这个标准这就导致无偏性这个标准.无偏性无偏性则称则称 为为 的无偏估计的无偏估计.设设是未知参数是未知参数 的估计量的估计量,若若机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 如果如果

33、 不是无偏的不是无偏的,就称该估计是有偏的就称该估计是有偏的.称为称为 的偏差的偏差.如果如果 ,就称该估计为就称该估计为渐进无偏估计渐进无偏估计.例例如如,用用样样本本均均值值作作为为总总体体均均值值的的估估计计时时,虽虽无无法法说说明明一一次次估估计计所所产产生生的的偏偏差差,但但这这种种偏偏差差随随机机地地在在0的的周周围围波波动动,对对同同一一统统计问题大量重复使用不会产生系统偏差计问题大量重复使用不会产生系统偏差.无偏性是对估计量的一个常见而重要的要求无偏性是对估计量的一个常见而重要的要求.无偏性的实际意义是指没有系统性的偏差无偏性的实际意义是指没有系统性的偏差.机动机动 目录目录

34、上页上页 下页下页 返回返回 结束结束 证明证明 设设X的的k阶阶矩矩(X1,X2,Xn)是来自正是来自正态总态总体体X的一个的一个样样本本,则则例例6.11 设总设总体体X的的k阶阶矩存在矩存在,则则不不论论X的分的分布如何布如何,样本样本k阶原点矩阶原点矩 是总是总体体k阶矩的无偏估计阶矩的无偏估计.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 所以所以Ak是是 的无偏估的无偏估计计.解解 设设(X1,X2,Xn)是取自是取自总总体体X的一个的一个样样本本,由由例例6.7知知机动机动 目录目录 上页上页 下页下页 返

35、回返回 结束结束 例例6.12 设设 ,其中其中 未知未知,问问 的极大似然估的极大似然估计计是否是否为为 的无偏估的无偏估计计?若不是若不是,请请修正使它成修正使它成为为无偏估无偏估计计.是是 的无偏估的无偏估计计机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 不是不是 的无偏估的无偏估计计,而而为为 的无偏估的无偏估计计.样本均值样本均值 为为总体均值总体均值 的的无偏估计无偏估计样本原点矩样本原点矩 为为总体原点矩总体原点矩 的的无偏估计无偏估计.是总体方差是总体方差 的的无偏估计无偏估计.一般的一般的,二阶或二阶以上样本中心矩不是总二阶或二阶以上样本中心矩不是总体中心矩的无

36、偏估计体中心矩的无偏估计.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 所以无偏估计以方差小者为好所以无偏估计以方差小者为好,这就引这就引进了有效性这一概念进了有效性这一概念.的大小来决定二者的大小来决定二者和和一个参数往往有不止一个无偏估计一个参数往往有不止一个无偏估计,若若 和和都是参数都是参数 的无偏估计量，的无偏估计量，比较比较我们可以我们可以谁更优谁更优.由于由于机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 有效性有效性D()1时时,对对任意任意 在参数估在参数估计计中中,很容易想到很容易想到,如果如果样样本容本容量越大量越大,样样本所含的本所含的总总体分

37、布的信息越多体分布的信息越多.n越大越大,越能精确估越能精确估计总计总体的未知参数体的未知参数.随着随着n的无限增大的无限增大,一个好的估一个好的估计计量与被估参数的量与被估参数的真真值值之之间间任意接近的可能性会越来越大任意接近的可能性会越来越大,这这就是所就是所谓谓的相合性或一致性的相合性或一致性.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 相合性相合性机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 则称则称 为为 的的相合估计相合估计.设总体设总体X具有概率函数具有概率函数 为未知参数为未知参数,为为 的一的一个估计量个估计量,为样本容量为样本容量.若对任意若

38、对任意 ,有有定义定义机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 例例6.13 设设 是是总总体体X的的样样本均本均值值,则则作作为总为总体期望体期望E(X)的估的估计计量量时时,是是E(X)的一致估的一致估计计量量.是是E(X)的一致估的一致估计计量量.证证明明 由大数定律可知由大数定律可知,当当 时时机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 证明证明由切贝雪夫不等式可知由切贝雪夫不等式可知为为 的一致估的一致估计计量量.例例6.14 设设 为为 的无偏估的无偏估计计量量,若若则则 为为 的一致估的一致估计计量量.机动机动 目录目录 上页上页 下页下页 返回

39、返回 结束结束 这一这一节节,我们介绍了参数点估计我们介绍了参数点估计,讨论讨论了估计量的优良性准则了估计量的优良性准则.给出了寻求估计量给出了寻求估计量最常用的矩法和极大似然法最常用的矩法和极大似然法.参数点估计是用一个确定的值去估计参数点估计是用一个确定的值去估计未知的参数未知的参数.看来似乎精确看来似乎精确,实际上把握不实际上把握不大大.为了使估计的结论更可信为了使估计的结论更可信,需要引入区需要引入区间估计间估计.这是下一这是下一节节的内容的内容.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 上一上一节节中中,我我们讨论们讨论了参数的点估了参数的点估计计,只要只要给给定定

40、样样本本观观察察值值,就能算出参数的估就能算出参数的估计值计值.但用但用点估点估计计的方法得到的估的方法得到的估计值计值不一定是参数的真不一定是参数的真值值,即使与真即使与真值值相等也无法肯定相等也无法肯定这这种相等种相等(因因为为总总体参数本身是未知的体参数本身是未知的),也就是也就是说说,由点估由点估计计得到的参数估得到的参数估计值计值没有没有给给出它与真出它与真值值之之间间的可的可靠程度靠程度,在在实际应实际应用中往往用中往往还还需要知道参数的需要知道参数的估估计值计值落在其真落在其真值值附近的一个范附近的一个范围围.6.3 区间估计区间估计 为为此我此我们们要求由要求由样样本构造一个本

41、构造一个以以较较大大的概率包含真的概率包含真实实参数的一个范参数的一个范围围或区或区间间,这这种种带带有概率的区有概率的区间间称称为为置信区置信区间间,通通过过构造构造一个置信区一个置信区间对间对未知参数未知参数进进行估行估计计的方法的方法称称为为区区间间估估计计.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 譬如譬如,在估计湖中鱼数的问题中在估计湖中鱼数的问题中,若我若我们根据一个实际样本们根据一个实际样本,得到鱼数得到鱼数N的极大似的极大似然估计为然估计为1000条条.若我们能给出一个区间若我们能给出一个区间,在此区间在此区间内我们合理地相信内我们合理地相信 N 的真值位于其

42、中的真值位于其中.这这样对鱼数的估计就有把握多了样对鱼数的估计就有把握多了.实际上实际上,N的真值可能大的真值可能大于于1000条条,也可能小于也可能小于1000条条.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 也就是说也就是说,我们希望确定一个区间我们希望确定一个区间,使我们能以比较高的使我们能以比较高的可靠程度可靠程度相信它包含相信它包含真参数值真参数值.湖中鱼数的真值湖中鱼数的真值 这里所说的这里所说的“可靠程度可靠程度”是用概率来度量是用概率来度量的的,称为称为置信概率置信概率,置信度或置信水平置信度或置信水平.习惯上把置信水平记作习惯上把置信水平记作,这里这里 是是一

43、个一个很小的正数很小的正数.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 置信水平的大小是根据实际需要选定的置信水平的大小是根据实际需要选定的.例如例如,通常可取置信水平通常可取置信水平 =0.95或或0.9等等.根据一个实际样本根据一个实际样本,由给定的置信水平由给定的置信水平,我我们求出一个尽可能们求出一个尽可能小的区间小的区间,使使置信区间置信区间.称区间称区间 为为 的置信水平为的置信水平为 的的机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 寻找置信区间的方法寻找置信区间的方法,一般是从确定一般是从确定误误差限差限入手入手.使得使得称称 为为 与与 之间的误

44、差限之间的误差限.我我们们选选取取未未知知参参数数的的某某个个估估计计量量 ,根根据置信水平据置信水平 ,可以找到一个正数可以找到一个正数 ,只要知道只要知道 的概率分布的概率分布,确定误差限并不难确定误差限并不难.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 下面我们就来正式给出置信区间的定义下面我们就来正式给出置信区间的定义,并通过例子说明求置信区间的方法并通过例子说明求置信区间的方法.由不等式由不等式可以解出可以解出 :这个不等式就是我们所求的置信区间这个不等式就是我们所求的置信区间.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 机动机动 目录目录 上页上页

45、下页下页 返回返回 结束结束 使得使得 设总设总体体X的分布函数族的分布函数族为为 对对于于给给定的定的 ,如果有两个如果有两个统计统计量量对对一切一切 成立成立,则则称随机区称随机区间间是是 的置信度的置信度为为 的的双双侧侧置信区置信区间间.双双侧侧置信下限置信下限;双双侧侧置信上限置信上限;置信度置信度.置信区间定义置信区间定义 由定由定义义可知可知,置信区置信区间间是以是以统计统计量量为为端端点的随机区点的随机区间间,对对于于给给定的定的样样本本观观察察值值(x1,x2,xn),由由统计统计量量 构成的置信区间构成的置信区间可能包含真值可能包含真值 ,也可能不包含真值也可能不包含真值

46、,但在但在多次观察或试验中多次观察或试验中,每一个样本皆得到一个每一个样本皆得到一个置信区间置信区间,在这些区间中包含真值在这些区间中包含真值 的区间的区间占占 ,不包含不包含 的仅占的仅占 .机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 一旦有了样本一旦有了样本,就把就把 估计在区间估计在区间内内.这里有两个要求这里有两个要求:可见可见,对参数对参数 作区间估计作区间估计,就是要设法找就是要设法找出两个只依赖于样本的界限出两个只依赖于样本的界限(构造统计量构造统计量)机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 2.估计的精度要尽可能的高估计的精度要尽可能的高.如

47、要求区间如要求区间长度长度 尽可能短尽可能短,或能体现该要求的其或能体现该要求的其它准则它准则.可靠度与精度是一对矛盾可靠度与精度是一对矛盾,一般是在保证可靠度的条件下一般是在保证可靠度的条件下尽可能提高精度尽可能提高精度.1.要求要求 以很大的可能被包含在区间以很大的可能被包含在区间内内,就是说就是说,概率概率 要尽可能大要尽可能大.即要求估计尽量可靠即要求估计尽量可靠.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 求参数求参数 的置信度为的置信度为 的置信区间的置信区间.例例 设设X1,Xn是取自是取自 的样本的样本,已知已知,置信区间的求法置信区间的求法明确问题明确问题,是

48、求什么参数的置信区间是求什么参数的置信区间?置信水平是多少置信水平是多少?寻找未知参数的寻找未知参数的一个良好估计一个良好估计.解解:寻找一个待估参数和寻找一个待估参数和估计量的函数估计量的函数,要求要求其分布为已知其分布为已知.有了分布有了分布,就可以求出就可以求出Z取值于任意区间的概率取值于任意区间的概率.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 选选 的点估计为的点估计为对给定的置信水平对给定的置信水平查正态分布表得查正态分布表得对于给定的置信水平对于给定的置信水平(大概率大概率),根据根据Z的分布的分布,确定一个区间确定一个区间,使得使得Z取值于该区间的概率为取值于该

49、区间的概率为置信水平置信水平.使使机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 对给定的置信水平对给定的置信水平查正态分布表得查正态分布表得使使从中解得从中解得机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 也可简记为也可简记为于是所求于是所求 的置信区间为的置信区间为机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 从例解题的过程从例解题的过程,我们归纳出求置信我们归纳出求置信区间的一般步骤如下区间的一般步骤如下:1.明确问题明确问题,是求什么参数的置信区间是求什么参数的置信区间?置信水平置信水平 是多少是多少?2.寻找参数寻找参数 的一个良好的点估计的一

50、个良好的点估计T(X1,X2,Xn)称称 为为枢轴量枢轴量.3.寻找一个待估参数寻找一个待估参数 和估计量和估计量T的函数的函数 ,且其分布为已知且其分布为已知.机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 4.对于给定的置信水平对于给定的置信水平 ,根据根据 的分布的分布,确定常数确定常数a,b,使得使得 5.对对“”作等价变形作等价变形,得到如下得到如下形式形式:机动机动 目录目录 上页上页 下页下页 返回返回 结束结束 则则 就是就是 的的 的置信区间的置信区间.可见可见,确定区间估计很关键的是要寻找确定区间估计很关键的是要寻找一个待估参数一个待估参数 和估计量和估计量T