第一节点估计优秀PPT.ppt

《第一节点估计优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第一节点估计优秀PPT.ppt（34页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第一节点估计第一节点估计现在学习的是第1页，共34页 利用从总体抽样得到的信息来利用从总体抽样得到的信息来 估计总体的某些参数或者参数估计总体的某些参数或者参数 的某些函数的某些函数.估计废品率：估计废品率：估计新生儿的体重：估计新生儿的体重：估计湖中鱼数估计湖中鱼数 估计降雨量估计降雨量 在参数估计问题中，假定总体分布 形式已知，未知的仅仅是一个或几个 参数.参数估计问题参数估计问题:例如：例如：现在学习的是第2页，共34页这类问题这类问题称称为为参数估计参数估计.参数估计问题的一般提法参数估计问题的一般提法X1,X2,Xn其中其中 为未知参数为未知参数(可以是向量可以是向量)。现从该。现从

2、该设有一个总体设有一个总体 X，总体的分布函数为，总体的分布函数为总体抽样，得样本：总体抽样，得样本：所研究的问题所研究的问题是：要依据该样本对参数是：要依据该样本对参数 作出作出 估计，或估计估计，或估计 的某个已知的函数的某个已知的函数参数估计问题参数估计问题的分类的分类参数估计参数估计点估计点估计区间估计区间估计现在学习的是第3页，共34页则估计则估计 为为1.68，这是，这是点估计点估计问题。问题。估计估计 在区间在区间 1.57,1.84 内，这是内，这是 区间估计区间估计问题问题现要估计某班男生的平均身高。假定身高服现要估计某班男生的平均身高。假定身高服从正态分布从正态分布 现从该

3、总体选取容量为现从该总体选取容量为 5 的样本，所研究的的样本，所研究的 问题是要根据选出的样本（问题是要根据选出的样本（5个数）求出总体个数）求出总体 均值均值 的估计。的估计。例如例如 而全部信息就由这而全部信息就由这 5 个数组成个数组成。设这。设这 5 个数个数 是：是：1.65，1.67，1.68，1.78，1.69现在学习的是第4页，共34页 解决问题：解决问题：总体总体 X 的分布函数的形式已知，但它的的分布函数的形式已知，但它的一个或多个参数未知，根据总体一个或多个参数未知，根据总体X的一的一个样本来估计总体未知参数或对总体未个样本来估计总体未知参数或对总体未知参数作出一个估计

4、。知参数作出一个估计。一一.估计量的定义估计量的定义定义：定义：第一节第一节 点点 估估 计计 称为称为 的的估计量估计量。设设 为总体为总体X的分布函数的分布函数 中的待估中的待估计的参数计的参数,是总体是总体 X 的一个样的一个样本，用本，用 构成的一个统计量：构成的一个统计量：现在学习的是第5页，共34页则则为为 的的估计值估计值 二二.构造统计量的方法构造统计量的方法1.矩估计法矩估计法(数字特征法数字特征法)用样本的各阶矩来估计总体的各阶矩用样本的各阶矩来估计总体的各阶矩的一组样本值为：的一组样本值为：如果如果矩估计法是由统计学家卡矩估计法是由统计学家卡.皮尔逊（皮尔逊（K.Pear

5、son）在在19世纪末引入的。世纪末引入的。矩是描写随机变量最简单的数字特征，由大数定律矩是描写随机变量最简单的数字特征，由大数定律可知，在一定条件下可以用样本的矩作为总体矩的可知，在一定条件下可以用样本的矩作为总体矩的估计，从而得估计，从而得矩估计法的基本思想矩估计法的基本思想为：为：现在学习的是第6页，共34页 矩估计法的具体步骤矩估计法的具体步骤设总体设总体 X 的分布函数的分布函数 中含有中含有 个未知参数个未知参数 ，假定总体，假定总体 X 的前的前 阶矩阶矩存在，存在，则可通过下列步骤求则可通过下列步骤求未知参数的矩估计量未知参数的矩估计量(1)若总体若总体 X 是是离散型离散型随

6、机变量，其分布律为：随机变量，其分布律为：求总体求总体 X 的前的前 阶矩阶矩则：则：若总体若总体 X 是是连续型连续型随机变量，其密度函数为：随机变量，其密度函数为：现在学习的是第7页，共34页则：则：总之总之，是参数是参数 的函数，的函数，记为：记为：现在学习的是第8页，共34页(2)解（解（*）式解出）式解出 得到：得到：(3)用用 的估计量的估计量 分别代替（分别代替（*）中的中的 则得则得 的的矩估计量矩估计量 现在学习的是第9页，共34页例例 1.设总体设总体X的均值为的均值为 方差为方差为 都存在，且都存在，且是总体是总体 X 的一个样本的一个样本(2).当总体当总体(某种灯泡寿

7、命某种灯泡寿命)，未知，今取未知，今取 4 只灯泡，只灯泡，测得其寿命（小测得其寿命（小 时）如下：时）如下：1502,1453,1367,1650 （小时）（小时）求：求：的矩估计量的矩估计量(1).均未知均未知,求求:的矩估计量的矩估计量现在学习的是第10页，共34页解解:总体总体 X 的数学期望是的数学期望是 X 的一阶原点矩；的一阶原点矩；总体总体 X 的方差是的方差是 X 的二阶中心矩。的二阶中心矩。(1).现令：现令：一阶原点矩二阶原点矩即即 解之得解之得:现在学习的是第11页，共34页 解之得解之得:从而得从而得 的矩估计量为：的矩估计量为：结论：结论：不论总体服从什么分布，总体

8、均值与方差不论总体服从什么分布，总体均值与方差 的矩估计量的表达式是相同的。的矩估计量的表达式是相同的。现在学习的是第12页，共34页(2).某种灯泡寿命的均值与方差的某种灯泡寿命的均值与方差的矩估计值矩估计值分布为分布为:现在学习的是第13页，共34页设设 X1,X2,Xn 是取自总体是取自总体 X 的一个样本，其的一个样本，其概率密度为：概率密度为：其中其中 为未知参数，为未知参数，例例 2.求：求：的矩估计量的矩估计量 由密度函数可知：由密度函数可知：具有均值为具有均值为 的指数分布，故有：的指数分布，故有：解解:现在学习的是第14页，共34页即：即：令：令：用样本矩估计总体矩解得解得：

9、即为总体参数即为总体参数 的矩估计量。的矩估计量。现在学习的是第15页，共34页,故令故令故令故令解得解得 的矩估计分别为的矩估计分别为的样本的样本,为为总体总体设设求未知参数求未知参数 的矩估计的矩估计.其中其中其中其中总体二阶总体二阶中心矩中心矩样本二阶样本二阶中心矩中心矩从直观看该结果是否合理？从直观看该结果是否合理？从直观看更好的估计应该是什么？从直观看更好的估计应该是什么？从直观看更好的估计应该是什么？从直观看更好的估计应该是什么？现在学习的是第16页，共34页 设设 为来自为来自总体总体 的样本，求未知参数的样本，求未知参数 的矩估计。的矩估计。总体一阶矩为总体一阶矩为总体一阶矩为

10、总体一阶矩为样本一阶矩为样本一阶矩为令令令令求得求得 的矩估计为的矩估计为 .如果如果 都未知，怎样求都未知，怎样求 的矩估计的矩估计？现在学习的是第17页，共34页 2.极大似然法极大似然法极极大大似似然然法法是是在在总总体体类类型型已已知知条条件件下下使使用用的的一一种种参参数数估估计计方方法法。它首先是由德国数学家它首先是由德国数学家高斯（高斯（Gauss）在在 1821 年提出的年提出的。Fisher然而，这个方法常归功于英国统计然而，这个方法常归功于英国统计学家学家费歇（费歇（Fisher），费歇），费歇在在 1922 年重新发现了这一方法，年重新发现了这一方法，并并首先研究了这种方

11、法的一些性质首先研究了这种方法的一些性质。Gauss现在学习的是第18页，共34页 极大似然法的基本思想极大似然法的基本思想引例引例 1若某位同学与一位猎人一起外出若某位同学与一位猎人一起外出打猎打猎。一只野兔从前方窜过，只听一只野兔从前方窜过，只听一声一声枪响枪响，野兔应声倒下，野兔应声倒下。试推测：试推测：这是谁打中的呢这是谁打中的呢？因为只发一枪便打中，猎人因为只发一枪便打中，猎人命中的概率一般命中的概率一般大于大于这位同学这位同学命中的概率。看来可推测这一命中的概率。看来可推测这一枪是猎人射中的枪是猎人射中的.现在学习的是第19页，共34页引例引例 2设设X B(1,p),p未知，若事

12、先知道未知，若事先知道 p 只有两只有两种可能种可能:试问：应如何估计试问：应如何估计 p?p=0.7 或或 p=0.3如今重复试验如今重复试验 3 次次,得结果得结果:0,0,0由概率论的知识，可知：由概率论的知识，可知：3 次试验中出现次试验中出现“1”的次数的次数k=0,1,2,3分析：分析：且：且：现将这计算结果列出如下：现将这计算结果列出如下：现在学习的是第20页，共34页 将计算结果列表如下：将计算结果列表如下：p值值P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027出现估计

13、出现出现出现估计估计估计0.3430.4410.4410.343注注:引例引例1与引例与引例2都体现了极大似然法的都体现了极大似然法的基本思想基本思想：当试验中得到一个结果时，应选择当试验中得到一个结果时，应选择使得这个试使得这个试验结果出现的概率达到最大验结果出现的概率达到最大的这个值作为参数的这个值作为参数的估计值。的估计值。现在学习的是第21页，共34页定义定义:作作似然函数：似然函数：(1).极大似然估计量的定义极大似然估计量的定义是相应于样本是相应于样本 的一组样本值。的一组样本值。其中其中设总体设总体X的概率密度函数为的概率密度函数为或分布律为或分布律为为未知参数。又设为未知参数。

14、又设使得似然函数使得似然函数 L 达到极大值的达到极大值的或或现在学习的是第22页，共34页称为参数称为参数 的的极大似然估计值极大似然估计值，记为：，记为：为参数为参数 的的极大似然估计量极大似然估计量注注:或随机点或随机点 取到取到 的概率。的概率。(它与样本值有关它与样本值有关)，记统计量：，记统计量：似然函数似然函数 L 是随机点是随机点 落在点落在点的邻域的邻域(边长分别为边长分别为的的 n 维立方体维立方体)内的概率；内的概率；似然函数似然函数 L 是是 的函数。的函数。现在学习的是第23页，共34页思路思路:从而此问题就转化为一般的求函数的最大值问题从而此问题就转化为一般的求函数

15、的最大值问题.(2).极大似然法的具体步骤极大似然法的具体步骤取到取到现要求现要求的最大值，即求的最大值，即求 取什么值时函数取什么值时函数 L达到最大。即其随机点达到最大。即其随机点 落在落在 的邻域内的概率或的邻域内的概率或 随机点随机点的概率最大。的概率最大。现在学习的是第24页，共34页 具体步骤具体步骤(1)作似然函数作似然函数 或或(2)当似然函数可微且当似然函数可微且 的最大值能在参数空间的最大值能在参数空间取得时，求方程组取得时，求方程组:的解，解得的解，解得一解为一解为 ，则，则 为极大似然估计量（值）。为极大似然估计量（值）。注注:因为因为 与与 有相同的最大值点，而有相同

16、的最大值点，而且对数函数是单调增的，求且对数函数是单调增的，求 比比求求 方便，所以常取前者作为似然方便，所以常取前者作为似然函数。函数。现在学习的是第25页，共34页按照求函数极值的方法，在求方程组：按照求函数极值的方法，在求方程组：的解后还应该用极值的的解后还应该用极值的充分条件充分条件对解做进一步的判断，但又由最值原理，如果最对解做进一步的判断，但又由最值原理，如果最值存在，此方程组求得的驻点即为所求的最值点。值存在，此方程组求得的驻点即为所求的最值点。极大似然估计法一般属于这种情况，所以可直接极大似然估计法一般属于这种情况，所以可直接按步骤按步骤(2)求的其值。求的其值。当似然函数当似

17、然函数不可微不可微或方程组或方程组无解无解时，则应根据定时，则应根据定义直接寻求能使义直接寻求能使 达到最大值的解作为极大达到最大值的解作为极大似然估计量。似然估计量。极大似然估计法也适用于极大似然估计法也适用于多个未知参数多个未知参数的情形。的情形。现在学习的是第26页，共34页例例3.求求:的极大似然估计量的极大似然估计量是是 X 的一个样本值的一个样本值设设 为未知参数，为未知参数，解解:的密度函数为：的密度函数为：作似然函数：作似然函数：为计算方便对为计算方便对 L 两边两边取对数取对数得得:现在学习的是第27页，共34页令：令：解得所求为解得所求为:与矩估计法所得的结论是一致的（见例

18、1）现在学习的是第28页，共34页似然函数为似然函数为似然函数为似然函数为设总体服从指数分布设总体服从指数分布 其密度为其密度为因为因为 与与 有相同的极值点，故令有相同的极值点，故令解似然方程，求得解似然方程，求得 的的 MLE 为为称为似然方程称为似然方程是来自总体的样本，试求是来自总体的样本，试求 的的现在学习的是第29页，共34页例例4.bujiang 设设 为参数都是未知的正态总体的为参数都是未知的正态总体的一个样本一个样本 求求:的极大似然估计的极大似然估计解解:未知未知现在学习的是第30页，共34页由例由例 2可知：可知：的极大似然估计为的极大似然估计为 的极大似然估计为的极大似

19、然估计为的的极大似然估计极大似然估计为：为：其中其中:设设 X1,X2,Xn 是取自总体是取自总体 X 的一个样本，其密度函的一个样本，其密度函数为：数为：其中其中求求 的极大似然估计的极大似然估计.例例5.现在学习的是第31页，共34页作似然函数：作似然函数：则对数似然函数为：则对数似然函数为：求导并令其为求导并令其为0：从中解得从中解得解：解：现在学习的是第32页，共34页(3).性质性质且具有单值反函数且具有单值反函数又设又设 是是 X 的概率的概率密度函数密度函数 中参数中参数 的极大似然估计，的极大似然估计，证证:是是 的极大似然估计。的极大似然估计。则则是是 的取的取值范围值范围现在学习的是第33页，共34页上式可写为上式可写为:即表明：即表明：是是 的极大似然估计的极大似然估计 注注:此性质对总体此性质对总体 X 中含有多个未知参数时也成立中含有多个未知参数时也成立.现在学习的是第34页，共34页