第三章参数估计优秀课件.ppt
《第三章参数估计优秀课件.ppt》由会员分享,可在线阅读,更多相关《第三章参数估计优秀课件.ppt(59页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第三章参数估计第1页,本讲稿共59页1第一节第一节 点估计点估计 一、点估计的概念一、点估计的概念设设设设 是总体是总体是总体是总体 的分布函数中的一个参数,的分布函数中的一个参数,的分布函数中的一个参数,的分布函数中的一个参数,是来自总体是来自总体是来自总体是来自总体 的一个样本,的一个样本,的一个样本,的一个样本,点估计点估计点估计点估计就是构造一个统计量就是构造一个统计量就是构造一个统计量就是构造一个统计量 作为参数作为参数作为参数作为参数 的估计,称的估计,称的估计,称的估计,称 为为为为 的的的的估计量估计量估计量估计量。如果经过一次试验,得到了样本如果经过一次试验,得到了样本如果经
2、过一次试验,得到了样本如果经过一次试验,得到了样本 的观测值为的观测值为的观测值为的观测值为 ,以,以,以,以 分别代替分别代替分别代替分别代替得到得到得到得到 ,称,称,称,称 为为为为 的的的的估计值估计值估计值估计值。第2页,本讲稿共59页2二、矩法估计及其原理二、矩法估计及其原理矩法估计矩法估计矩估计的原理矩估计的原理矩法估计也称矩估计矩法估计也称矩估计。其基本思想是把样本矩作其基本思想是把样本矩作为相应的总体矩的估计量。即将样本的为相应的总体矩的估计量。即将样本的k k阶原点矩阶原点矩作为总体的作为总体的k k阶原点矩的估计量,利用矩法估计得阶原点矩的估计量,利用矩法估计得到的总体未
3、知参数到的总体未知参数 的估计量的估计量 称为称为参数参数 的的矩估计量矩估计量,简称,简称矩估计矩估计。矩估计的原理为辛钦大数定律,即当随机矩估计的原理为辛钦大数定律,即当随机变量变量 相互独立同分布,且相互独立同分布,且 时有时有 于是在于是在 存在时,有存在时,有第3页,本讲稿共59页3例例2 2 设总体设总体 的均值与方差均存在,求它们的矩估计。的均值与方差均存在,求它们的矩估计。例例1 1 设总体设总体 服从服从0-10-1分布,即分布,即设设 ,其中,其中 是未知参数,求是未知参数,求 的矩估计的矩估计量。量。例例3 3 设总体设总体 概率密度为概率密度为其中其中 是未知参数,且是
4、未知参数,且 ,求总体概率密度中的参,求总体概率密度中的参数数 的矩估计量。的矩估计量。第4页,本讲稿共59页4 设总体设总体 的分布函数为的分布函数为 ,其中,其中 是未知参数,总体是未知参数,总体 的的 阶原点矩阶原点矩 是是 ,样本的,样本的 阶原点矩阶原点矩 为为 ,则方程组,则方程组的解的解 即为即为 的矩估计量。的矩估计量。第5页,本讲稿共59页5三、最大似然估计及其原理三、最大似然估计及其原理似然函数似然函数 若总体若总体 是连续型随机变量,其概率密度为是连续型随机变量,其概率密度为 ,其中,其中 是未知参数,则是未知参数,则总体总体 的样本的样本 的联合概率密度函数为的联合概率
5、密度函数为 ,对于样本对于样本 的一组的一组观测值观测值 ,它是,它是 的函数,记的函数,记为为称称 为为样本似然函数样本似然函数。连续型随连续型随机变量机变量第6页,本讲稿共59页6似然函数似然函数 若总体若总体 是离散型随机变量,其概率分布为是离散型随机变量,其概率分布为其中其中 是未知参数,则总体是未知参数,则总体 的样本的样本 的联合概率分布为的联合概率分布为 ,对于样本对于样本 的一组观测值的一组观测值 ,它是它是 的函数,记为的函数,记为称称 为为样本似然函数样本似然函数。离散型随离散型随机变量机变量最大似然估计的原理最大似然估计的原理 概率大的事件比概率小的事概率大的事件比概率小
6、的事件在一次试验中更容易出现件在一次试验中更容易出现第7页,本讲稿共59页7定义定义1 1 若似然函数若似然函数 在在 分别取分别取 时取得最大值,则分别称时取得最大值,则分别称 为为 的最大似然估计值,即的最大似然估计值,即可知,可知,必须满足必须满足称上式为似然方程组。称上式为似然方程组。或或 必须满足必须满足称上式为对数似然方程组。称上式为对数似然方程组。第8页,本讲稿共59页8最大似然估计法是寻找似然函数最大似然估计法是寻找似然函数 取到最大取到最大值的参数值的参数 的值的值 作为未知参数的估计量(值)的作为未知参数的估计量(值)的点估计方法。点估计方法。例例5 5 设总体设总体 服从
7、参数为服从参数为 的泊松分布,即的泊松分布,即求参数求参数 的最大似然估计。的最大似然估计。例例4 4 设总体设总体 服从服从0-10-1分布,即分布,即设设 ,其中,其中 是未知参数,求是未知参数,求 的最的最大似然估计量。大似然估计量。第9页,本讲稿共59页9例例6 6 设总体设总体 服从正态分布,即服从正态分布,即设设 是是 的样本,求的样本,求 的最大似然估计。的最大似然估计。例例8 8 设总体设总体 概率密度为概率密度为其中其中 是未知参数,且是未知参数,且 ,求总体概率密度中的参数,求总体概率密度中的参数 的最大似然估计量。的最大似然估计量。例例7 7 设总体设总体 服从区间服从区
8、间 上的均匀分布,其中上的均匀分布,其中 为为参数,即参数,即 的概率密度为的概率密度为求参数求参数 的最大似然估计量。的最大似然估计量。第10页,本讲稿共59页10四、贝叶斯估计四、贝叶斯估计前面涉及的未知参数前面涉及的未知参数 是非随机变量,在估是非随机变量,在估计之前,只知道其范围,然而实际中,有时计之前,只知道其范围,然而实际中,有时还知道还知道 的一些附加信息,把其看做随机变的一些附加信息,把其看做随机变量,并且已知其分布。如何应用量,并且已知其分布。如何应用 的分布估的分布估计计 便是下面要研究的方法,称为便是下面要研究的方法,称为贝叶斯估贝叶斯估计计方法。方法。决策理论的基本概念
9、决策理论的基本概念称对估计和检验问题的结果的评价为称对估计和检验问题的结果的评价为决策决策。第11页,本讲稿共59页111.1.决策空间决策空间设随机变量设随机变量 的概率函数或概率密度函数为的概率函数或概率密度函数为 ,其中,其中 未知。对参数未知。对参数 采取的所有采取的所有“行动行动”(估计)组成的集合称为(估计)组成的集合称为决策空间决策空间,记为,记为 。一般地,。一般地,为实可测集合。为实可测集合。2.2.损失函数损失函数设参数的真值为设参数的真值为 而采取的而采取的“行动行动”为为 ,换,换句话说,句话说,的估计为的估计为 ,通常用一个函数,通常用一个函数 来来度量度量 代替代替
10、 所造成的损失,称所造成的损失,称 为为损失函损失函数数。第12页,本讲稿共59页12常见的损失函数常见的损失函数1.平方误差损失函数平方误差损失函数2.绝对误差损失函数绝对误差损失函数3.一般损失函数一般损失函数第13页,本讲稿共59页133.3.决策函数决策函数 对未知参数对未知参数 作估计,实质上是对样本空间作估计,实质上是对样本空间W的每一点的每一点 ,在决策空间,在决策空间A中找一点中找一点 与与之对应。因此,选择样本的函数之对应。因此,选择样本的函数 其定义域为样本空间其定义域为样本空间W,W为为 或其子集,其值域或其子集,其值域为决策空间为决策空间A,则称,则称 为为决策函数决策
11、函数。对样本的一组观测值对样本的一组观测值 ,则采用决策为,则采用决策为 ,其损失为,其损失为第14页,本讲稿共59页144.4.风险函数风险函数 由于由于 是随机变量,所以评是随机变量,所以评价价 的优劣标准用平均损失的优劣标准用平均损失 ,即,即称称 为为 在在 处的处的风险函数风险函数。以后就把以后就把 作为我们采取任何作为我们采取任何“行动行动”的标准。的标准。第15页,本讲稿共59页15贝叶斯估计量贝叶斯估计量1.先验分布先验分布在获得样本的一组观测值之前,统计学家或实在获得样本的一组观测值之前,统计学家或实验工作者根据以往的经验和知识,确信验工作者根据以往的经验和知识,确信 是随是
12、随机变量,机变量,在参数空间服从某种概率分布,称在参数空间服从某种概率分布,称这个分布为这个分布为先验分布先验分布。若参数若参数 的的先验分布先验分布为离散分布,则称其离散概率分为离散分布,则称其离散概率分布函数为布函数为先验概率函数先验概率函数。用。用 表示。表示。若参数若参数 的的先验分布先验分布为连续分布,则称其概率分布密为连续分布,则称其概率分布密度函数为度函数为先验概率密度函数先验概率密度函数。用。用 表示。表示。第16页,本讲稿共59页162.后验分布后验分布 在获得样本的一组观测值之后,根据获得的总体的在获得样本的一组观测值之后,根据获得的总体的样本样本 ,由样本得到的未知参数,
13、由样本得到的未知参数 的条的条件分布称为参数件分布称为参数 的的后验分布后验分布。用。用 表示。表示。后验分布的求法后验分布的求法 设总体设总体 的条件概率函数或条件概率密度函数为的条件概率函数或条件概率密度函数为 ,假设,假设 的先验概率函数或先验概率密度函数为的先验概率函数或先验概率密度函数为 ,并设并设 是来自总体是来自总体 的样本,其观测值为的样本,其观测值为 。于是,样本。于是,样本 的条件概率密度函数为的条件概率密度函数为或或第17页,本讲稿共59页17样本样本 和和 联合概率分布为联合概率分布为 令令 表示表示 的后验概率函数或后验概率密度函的后验概率函数或后验概率密度函数,数,
14、表示表示 的的 联合边沿概率函数或联合边联合边沿概率函数或联合边沿概率密度函数,则沿概率密度函数,则于是于是后验分布后验分布第18页,本讲稿共59页18如果如果 是离散型随机变量,则是离散型随机变量,则如果如果 是连续型随机变量,则是连续型随机变量,则其中其中 例例9 9 设总体设总体 服从伯努利分布服从伯努利分布 ,其中参数,其中参数 未知,未知,且设且设 在(在(0 0,1 1)上服从均匀分布,)上服从均匀分布,是来自总是来自总体体 的样本,试求的样本,试求 的后验分布。的后验分布。第19页,本讲稿共59页193.贝叶斯估计量贝叶斯估计量 以下假设随机变量以下假设随机变量 的分布和的分布和
15、 的先验分布均为连续的先验分布均为连续型分布。如果分布为离散型,只要用概率函数代替密度函型分布。如果分布为离散型,只要用概率函数代替密度函数,求和代替求积分便可。数,求和代替求积分便可。假设假设 的先验概率密度函数为的先验概率密度函数为 ,且尚未获得样本观,且尚未获得样本观测值,则我们的愿望是选择一个估计值测值,则我们的愿望是选择一个估计值 ,使平均损失最,使平均损失最小,即使小,即使最小。最小。贝叶斯估计量的思想贝叶斯估计量的思想第20页,本讲稿共59页20贝叶斯估计量的定义贝叶斯估计量的定义 假设在估计参数假设在估计参数 之前,获得了一组样本观测值之前,获得了一组样本观测值 ,令,令 表示
16、表示 的后验概率密度函数,于是的后验概率密度函数,于是 对样本的一组观测值,若对样本的一组观测值,若 是使上式最小的估计值,是使上式最小的估计值,即即 使使 最小,则称最小,则称 为为 的贝叶斯估计量的贝叶斯估计量。可。可知知 满足下式满足下式第21页,本讲稿共59页21贝叶斯估计量的结论贝叶斯估计量的结论 定理定理 设总体设总体 的概率密度函数为的概率密度函数为 ,其中参数,其中参数 未知,且假定未知,且假定 的先验概率密度函数为的先验概率密度函数为 ,是来自总体是来自总体 的样本。如果损失函数为的样本。如果损失函数为 ,则对,则对样本的任何一次观测值样本的任何一次观测值 ,贝叶斯估计量为,
17、贝叶斯估计量为第22页,本讲稿共59页22 例例10 10 设总体设总体 服从伯努利分布服从伯努利分布 ,其中参数,其中参数 未知,未知,且设且设 在(在(0 0,1 1)上服从均匀分布,)上服从均匀分布,是来自总是来自总体体 的样本,给定损失函数为的样本,给定损失函数为 ,试求,试求 的贝的贝叶斯估计量。叶斯估计量。例例11 11 设总体设总体 服从正态分布服从正态分布 ,其中参数,其中参数 未知,未知,且设且设 服从正态分布服从正态分布 ,是来自总体是来自总体 的的样本,给定损失函数为样本,给定损失函数为 ,试求,试求 的贝叶斯估的贝叶斯估计量。计量。第23页,本讲稿共59页23点估计点估
18、计 从总体中抽取一个随机样本,构造样本的从总体中抽取一个随机样本,构造样本的统计统计量,然后把该统计量作为总体参数的估量,然后把该统计量作为总体参数的估计值,称为参数的点估计。计值,称为参数的点估计。简单,具体明确简单,具体明确优点优点缺点缺点无法控制误差,仅适用于对推断的准无法控制误差,仅适用于对推断的准确程度与可靠程度要求不高的情况确程度与可靠程度要求不高的情况第24页,本讲稿共59页24 的抽样分布的抽样分布点估计的最大好处:给出确定的值点估计点估计的最大好处:给出确定的值点估计的最大问题:的最大问题:无法控制误差无法控制误差第25页,本讲稿共59页25问题:问题:第一,我们为什么以这一
19、个而不是那一个统计量来估第一,我们为什么以这一个而不是那一个统计量来估计某个总体参数?计某个总体参数?第二,如果有两个以上的统计量可以用来估计某个第二,如果有两个以上的统计量可以用来估计某个总体参数,其估计结果是否一致?是否一个统计量要优于另总体参数,其估计结果是否一致?是否一个统计量要优于另一个?一个?估计量的优良标准:估计量的优良标准:无偏性、有效性、一致性无偏性、有效性、一致性估计量优良性的评价标准估计量优良性的评价标准第26页,本讲稿共59页26点估计量的优良标准点估计量的优良标准设为待估计的总体参数,设为待估计的总体参数,为样本统计量,为样本统计量,则的优良标准为则的优良标准为:若若
20、,则称为的,则称为的无偏估计量无偏估计量指样本指标的均值应等于被估计指样本指标的均值应等于被估计的总体指标的总体指标1.无偏性无偏性意义意义:多次对样本进行观测,得到参数的多个估计值,这多次对样本进行观测,得到参数的多个估计值,这些估计值的算术平均值与参数的真值基本上相等些估计值的算术平均值与参数的真值基本上相等。第27页,本讲稿共59页27例例12 12 设设 是总体是总体 的样本,证明:当的样本,证明:当 为正为正整数)存在时,样本的整数)存在时,样本的 阶原点矩阶原点矩 是总体的是总体的 阶原点矩的无偏估计量。阶原点矩的无偏估计量。例例13 13 已知已知 是总体是总体 的样本,证明:样
21、本未修正的样本,证明:样本未修正方差方差 不是总体方差不是总体方差 的无偏估计量。的无偏估计量。2.有效性有效性作为优良的估计量,除了满足无偏性的要求外,作为优良的估计量,除了满足无偏性的要求外,作为优良的估计量,除了满足无偏性的要求外,作为优良的估计量,除了满足无偏性的要求外,其方差应比较小其方差应比较小其方差应比较小其方差应比较小.定义定义3 3 若,都是参数若,都是参数 的无偏估计量,若有的无偏估计量,若有 ,则称为比更有效的估计量。,则称为比更有效的估计量。意义意义 若,都是参数若,都是参数 的无偏估计量,若的无偏估计量,若 比更有比更有效,则效,则 比比 取值更集中在取值更集中在 的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第三 参数估计 优秀 课件
限制150内