第三章参数估计PPT讲稿.ppt
《第三章参数估计PPT讲稿.ppt》由会员分享,可在线阅读,更多相关《第三章参数估计PPT讲稿.ppt(59页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第三章参数估计第1页,共59页,编辑于2022年,星期二1第一节第一节 点估计点估计 一、点估计的概念一、点估计的概念设设设设 是总体是总体是总体是总体 的分布函数中的一个参数,的分布函数中的一个参数,的分布函数中的一个参数,的分布函数中的一个参数,是来自总体是来自总体是来自总体是来自总体 的一个样本,的一个样本,的一个样本,的一个样本,点估计点估计点估计点估计就是构造一个统计量就是构造一个统计量就是构造一个统计量就是构造一个统计量 作为参数作为参数作为参数作为参数 的估计,称的估计,称的估计,称的估计,称 为为为为 的的的的估计量估计量估计量估计量。如果经过一次试验,得到了样本如果经过一次试
2、验,得到了样本如果经过一次试验,得到了样本如果经过一次试验,得到了样本 的观测值为的观测值为的观测值为的观测值为 ,以,以,以,以 分别代替分别代替分别代替分别代替得到得到得到得到 ,称,称,称,称 为为为为 的的的的估计值估计值估计值估计值。第2页,共59页,编辑于2022年,星期二2二、矩法估计及其原理二、矩法估计及其原理矩法估计矩法估计矩估计的原理矩估计的原理矩法估计也称矩估计矩法估计也称矩估计。其基本思想是把样本矩作为相应其基本思想是把样本矩作为相应的总体矩的估计量。即将样本的的总体矩的估计量。即将样本的k k阶原点矩作为总体的阶原点矩作为总体的k k阶原点矩的估计量,利用矩法估计得到
3、的总体未知参阶原点矩的估计量,利用矩法估计得到的总体未知参数数 的估计量的估计量 称为称为参数参数 的矩估计量的矩估计量,简称,简称矩估计矩估计。矩估计的原理为辛钦大数定律,即当随机变矩估计的原理为辛钦大数定律,即当随机变量量 相互独立同分布,且相互独立同分布,且 时有时有 于是在于是在 存在时,有存在时,有第3页,共59页,编辑于2022年,星期二3例例2 2 设总体设总体 的均值与方差均存在,求它们的矩估的均值与方差均存在,求它们的矩估计。计。例例1 1 设总体设总体 服从服从0-10-1分布,即分布,即设设 ,其中,其中 是未知参数,求是未知参数,求 的矩的矩估计量。估计量。例例3 3
4、设总体设总体 概率密度为概率密度为其中其中 是未知参数,且是未知参数,且 ,求总体概率密度中的参,求总体概率密度中的参数数 的矩估计量。的矩估计量。第4页,共59页,编辑于2022年,星期二4 设总体设总体 的分布函数为的分布函数为 ,其中,其中 是未知参数,总体是未知参数,总体 的的 阶原点矩阶原点矩 是是 ,样本的,样本的 阶原点矩阶原点矩 为为 ,则方程组,则方程组的解的解 即为即为 的矩估计量。的矩估计量。第5页,共59页,编辑于2022年,星期二5三、最大似然估计及其原理三、最大似然估计及其原理似然函数似然函数 若总体若总体 是连续型随机变量,其概率密度为是连续型随机变量,其概率密度
5、为 ,其中,其中 是未知参数,则总体是未知参数,则总体 的样本的样本 的联合概率密度函数为的联合概率密度函数为 ,对于样本对于样本 的一组观测的一组观测值值 ,它是,它是 的函数,记为的函数,记为称称 为为样本似然函数样本似然函数。连续型随机连续型随机变量变量第6页,共59页,编辑于2022年,星期二6似然函数似然函数 若总体若总体 是离散型随机变量,其概率分布为是离散型随机变量,其概率分布为其中其中 是未知参数,则总体是未知参数,则总体 的样本的样本 的联合概率分布为的联合概率分布为 ,对于样本对于样本 的一组观测值的一组观测值 ,它是,它是 的函数,记的函数,记为为称称 为为样本似然函数样
6、本似然函数。离散型随机离散型随机变量变量最大似然估计的原理最大似然估计的原理 概率大的事件比概率小的事件在概率大的事件比概率小的事件在一次试验中更容易出现一次试验中更容易出现第7页,共59页,编辑于2022年,星期二7定义定义1 1 若似然函数若似然函数 在在 分别取分别取 时取得最大值,则分别称时取得最大值,则分别称 为为 的最大似然估计值,即的最大似然估计值,即可知,可知,必须满足必须满足称上式为似然方程组。称上式为似然方程组。或或 必须满足必须满足称上式为对数似然方程组。称上式为对数似然方程组。第8页,共59页,编辑于2022年,星期二8最大似然估计法是寻找似然函数最大似然估计法是寻找似
7、然函数 取到最大值取到最大值的参数的参数 的值的值 作为未知参数的估计量(值)的点估作为未知参数的估计量(值)的点估计方法。计方法。例例5 5 设总体设总体 服从参数为服从参数为 的泊松分布,即的泊松分布,即求参数求参数 的最大似然估计。的最大似然估计。例例4 4 设总体设总体 服从服从0-10-1分布,即分布,即设设 ,其中,其中 是未知参数,求是未知参数,求 的最的最大似然估计量。大似然估计量。第9页,共59页,编辑于2022年,星期二9例例6 6 设总体设总体 服从正态分布,即服从正态分布,即设设 是是 的样本,求的样本,求 的最大似然估计。的最大似然估计。例例8 8 设总体设总体 概率
8、密度为概率密度为其中其中 是未知参数,且是未知参数,且 ,求总体概率密度中的参数,求总体概率密度中的参数 的最的最大似然估计量。大似然估计量。例例7 7 设总体设总体 服从区间服从区间 上的均匀分布,其中上的均匀分布,其中 为参为参数,即数,即 的概率密度为的概率密度为求参数求参数 的最大似然估计量。的最大似然估计量。第10页,共59页,编辑于2022年,星期二10四、贝叶斯估计四、贝叶斯估计前面涉及的未知参数前面涉及的未知参数 是非随机变量,在估计是非随机变量,在估计之前,只知道其范围,然而实际中,有时还知之前,只知道其范围,然而实际中,有时还知道道 的一些附加信息,把其看做随机变量,并的一
9、些附加信息,把其看做随机变量,并且已知其分布。如何应用且已知其分布。如何应用 的分布估计的分布估计 便是便是下面要研究的方法,称为下面要研究的方法,称为贝叶斯估计贝叶斯估计方法。方法。决策理论的基本概念决策理论的基本概念称对估计和检验问题的结果的评价为称对估计和检验问题的结果的评价为决策决策。第11页,共59页,编辑于2022年,星期二111.1.决策空间决策空间设随机变量设随机变量 的概率函数或概率密度函数为的概率函数或概率密度函数为 ,其中,其中 未知。对参数未知。对参数 采取的所有采取的所有“行行动动”(估计)组成的集合称为(估计)组成的集合称为决策空间决策空间,记,记为为 。一般地,。
10、一般地,为实可测集合。为实可测集合。2.2.损失函数损失函数设参数的真值为设参数的真值为 而采取的而采取的“行动行动”为为 ,换句,换句话说,话说,的估计为的估计为 ,通常用一个函数,通常用一个函数 来度来度量量 代替代替 所造成的损失,称所造成的损失,称 为为损失函数损失函数。第12页,共59页,编辑于2022年,星期二12常见的损失函数常见的损失函数1.平方误差损失函数平方误差损失函数2.绝对误差损失函数绝对误差损失函数3.一般损失函数一般损失函数第13页,共59页,编辑于2022年,星期二133.3.决策函数决策函数 对未知参数对未知参数 作估计,实质上是对样本空间作估计,实质上是对样本
11、空间W的每一点的每一点 ,在决策空间,在决策空间A中找一点中找一点 与与之对应。因此,选择样本的函数之对应。因此,选择样本的函数 其定义域为样本空间其定义域为样本空间W,W为为 或其子集,其值域或其子集,其值域为决策空间为决策空间A,则称,则称 为为决策函数决策函数。对样本的一组观测值对样本的一组观测值 ,则采用决策,则采用决策为为 ,其损失为,其损失为第14页,共59页,编辑于2022年,星期二144.4.风险函数风险函数 由于由于 是随机变量,所以评价是随机变量,所以评价 的优劣标准用平均损失的优劣标准用平均损失 ,即,即称称 为为 在在 处的处的风险函数风险函数。以后就把以后就把 作为我
12、们采取任何作为我们采取任何“行动行动”的标准。的标准。第15页,共59页,编辑于2022年,星期二15贝叶斯估计量贝叶斯估计量1.先验分布先验分布在获得样本的一组观测值之前,统计学家或实验工在获得样本的一组观测值之前,统计学家或实验工作者根据以往的经验和知识,确信作者根据以往的经验和知识,确信 是随机变量,是随机变量,在参数空间服从某种概率分布,称这个分布为在参数空间服从某种概率分布,称这个分布为先验先验分布分布。若参数若参数 的的先验分布先验分布为离散分布,则称其离散概率为离散分布,则称其离散概率分布函数为分布函数为先验概率函数先验概率函数。用。用 表示。表示。若参数若参数 的的先验分布先验
13、分布为连续分布,则称其概率分为连续分布,则称其概率分布密度函数为布密度函数为先验概率密度函数先验概率密度函数。用。用 表示。表示。第16页,共59页,编辑于2022年,星期二162.后验分布后验分布 在获得样本的一组观测值之后,根据获得的总在获得样本的一组观测值之后,根据获得的总体的样本体的样本 ,由样本得到的未知参,由样本得到的未知参数数 的条件分布称为参数的条件分布称为参数 的的后验分布后验分布。用。用 表示。表示。后验分布的求法后验分布的求法 设总体设总体 的条件概率函数或条件概率密度函数为的条件概率函数或条件概率密度函数为 ,假设,假设 的先验概率函数或先验概率密度函数为的先验概率函数
14、或先验概率密度函数为 ,并设,并设 是来自总体是来自总体 的样本,其观测值为的样本,其观测值为 。于是,样。于是,样本本 的条件概率密度函数为的条件概率密度函数为或或第17页,共59页,编辑于2022年,星期二17样本样本 和和 联合概率分布为联合概率分布为 令令 表示表示 的后验概率函数或后验概率密度函的后验概率函数或后验概率密度函数,数,表示表示 的的 联合边沿概率函数或联合边沿联合边沿概率函数或联合边沿概率密度函数,则概率密度函数,则于是于是后验分布后验分布第18页,共59页,编辑于2022年,星期二18如果如果 是离散型随机变量,则是离散型随机变量,则如果如果 是连续型随机变量,则是连
15、续型随机变量,则其中其中 例例9 9 设总体设总体 服从伯努利分布服从伯努利分布 ,其中参数,其中参数 未知,且设未知,且设 在在(0 0,1 1)上服从均匀分布,)上服从均匀分布,是来自总体是来自总体 的样本,试求的样本,试求 的后验分布。的后验分布。第19页,共59页,编辑于2022年,星期二193.贝叶斯估计量贝叶斯估计量 以下假设随机变量以下假设随机变量 的分布和的分布和 的先验分布均为的先验分布均为连续型分布。如果分布为离散型,只要用概率函数代连续型分布。如果分布为离散型,只要用概率函数代替密度函数,求和代替求积分便可。替密度函数,求和代替求积分便可。假设假设 的先验概率密度函数为的
16、先验概率密度函数为 ,且尚未获得样本,且尚未获得样本观测值,则我们的愿望是选择一个估计值观测值,则我们的愿望是选择一个估计值 ,使平均损,使平均损失最小,即使失最小,即使最小。最小。贝叶斯估计量的思想贝叶斯估计量的思想第20页,共59页,编辑于2022年,星期二20贝叶斯估计量的定义贝叶斯估计量的定义 假设在估计参数假设在估计参数 之前,获得了一组样本观测值之前,获得了一组样本观测值 ,令,令 表示表示 的后验概率密度函数,于是的后验概率密度函数,于是 对样本的一组观测值,若对样本的一组观测值,若 是使上式最小的估计值,是使上式最小的估计值,即即 使使 最小,则称最小,则称 为为 的贝叶斯估计
17、量的贝叶斯估计量。可。可知知 满足下式满足下式第21页,共59页,编辑于2022年,星期二21贝叶斯估计量的结论贝叶斯估计量的结论 定理定理 设总体设总体 的概率密度函数为的概率密度函数为 ,其中参数,其中参数 未知,且假定未知,且假定 的先验概率密度函数为的先验概率密度函数为 ,是来自总体是来自总体 的样本。如果损失函数为的样本。如果损失函数为 ,则,则对样本的任何一次观测值对样本的任何一次观测值 ,贝叶斯估计量,贝叶斯估计量为为第22页,共59页,编辑于2022年,星期二22 例例10 10 设总体设总体 服从伯努利分布服从伯努利分布 ,其中参数,其中参数 未知,且设未知,且设 在在(0
18、0,1 1)上服从均匀分布,)上服从均匀分布,是来自总体是来自总体 的样本,给定损失的样本,给定损失函数为函数为 ,试求,试求 的贝叶斯估计量。的贝叶斯估计量。例例11 11 设总体设总体 服从正态分布服从正态分布 ,其中参数,其中参数 未知,且设未知,且设 服从服从正态分布正态分布 ,是来自总体是来自总体 的样本,给定损失函数为的样本,给定损失函数为 ,试求,试求 的贝叶斯估计量。的贝叶斯估计量。第23页,共59页,编辑于2022年,星期二23点估计点估计 从总体中抽取一个随机样本,构造样本的统从总体中抽取一个随机样本,构造样本的统计计量,然后把该统计量作为总体参数的估计量,然后把该统计量作
19、为总体参数的估计值,称为参数的点估计。值,称为参数的点估计。简单,具体明确简单,具体明确优点优点缺点缺点无法控制误差,仅适用于对推断的准无法控制误差,仅适用于对推断的准确程度与可靠程度要求不高的情况确程度与可靠程度要求不高的情况第24页,共59页,编辑于2022年,星期二24 的抽样分布的抽样分布点估计的最大好处:给出确定的值点估计的点估计的最大好处:给出确定的值点估计的最大问题:最大问题:无法控制误差无法控制误差第25页,共59页,编辑于2022年,星期二25问题:问题:第一,我们为什么以这一个而不是那一个统计量来第一,我们为什么以这一个而不是那一个统计量来估计某个总体参数?估计某个总体参数
20、?第二,如果有两个以上的统计量可以用来估计某第二,如果有两个以上的统计量可以用来估计某个总体参数,其估计结果是否一致?是否一个统计量要个总体参数,其估计结果是否一致?是否一个统计量要优于另一个?优于另一个?估计量的优良标准:估计量的优良标准:无偏性、有效性、一致性无偏性、有效性、一致性估计量优良性的评价标准估计量优良性的评价标准第26页,共59页,编辑于2022年,星期二26点估计量的优良标准点估计量的优良标准设为待估计的总体参数,设为待估计的总体参数,为样本统计量,为样本统计量,则的优良标准为则的优良标准为:若若,则称为的,则称为的无偏估计量无偏估计量指样本指标的均值应等于被估计指样本指标的
21、均值应等于被估计的总体指标的总体指标1.无偏性无偏性意义意义:多次对样本进行观测,得到参数的多个估计值,这多次对样本进行观测,得到参数的多个估计值,这些估计值的算术平均值与参数的真值基本上相等些估计值的算术平均值与参数的真值基本上相等。第27页,共59页,编辑于2022年,星期二27例例12 12 设设 是总体是总体 的样本,证明:当的样本,证明:当 为正整数)存在为正整数)存在时,样本的时,样本的 阶原点矩阶原点矩 是总体的是总体的 阶原点矩的无偏估计量。阶原点矩的无偏估计量。例例13 13 已知已知 是总体是总体 的样本,证明:样本未修正方差的样本,证明:样本未修正方差 不是总体方差不是总
22、体方差 的无偏估计量。的无偏估计量。2.有效性有效性作为优良的估计量,除了满足无偏性的作为优良的估计量,除了满足无偏性的作为优良的估计量,除了满足无偏性的作为优良的估计量,除了满足无偏性的要求外,其方差应比较小要求外,其方差应比较小要求外,其方差应比较小要求外,其方差应比较小.定义定义3 3 若,都是参数若,都是参数 的无偏估计量,若的无偏估计量,若有有 ,则称为比更有效的估计量。,则称为比更有效的估计量。意义意义 若,都是参数若,都是参数 的无偏估计量,若的无偏估计量,若 比更有比更有效,则效,则 比比 取值更集中在取值更集中在 的附近。的附近。第28页,共59页,编辑于2022年,星期二2
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第三 参数估计 PPT 讲稿
限制150内