先验分布和后验分布ppt课件.ppt
《先验分布和后验分布ppt课件.ppt》由会员分享,可在线阅读,更多相关《先验分布和后验分布ppt课件.ppt(64页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多一、先验分布和后验分布一、先验分布和后验分布二、共轭先验分布二、共轭先验分布三、贝叶斯风险三、贝叶斯风险第第3.2节贝叶斯估计节贝叶斯估计四、贝叶斯估计四、贝叶斯估计寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多一、先验分布与后验分布一、先验分布与后验分布 上一章提出用风险函数衡量决策函数的好坏,但上一章提出用风险函数衡量决策函数的好坏,但是由于风险函数为二元函数,很难进行全面比较。是由于风险函数为二元函数,很
2、难进行全面比较。贝叶斯通过引入先验分布,给出了整体比较贝叶斯通过引入先验分布,给出了整体比较 的指标的指标.1 1、先验信息、先验信息 在抽取样本之前,人们对所要估计的未知参数在抽取样本之前,人们对所要估计的未知参数所了解的信息,通常称为所了解的信息,通常称为先验信息先验信息.例例1(p841(p84例例3.6)3.6)某学生通过物理试验来确定当地某学生通过物理试验来确定当地的重力加速度,测得的数据为的重力加速度,测得的数据为(m/s):9.80,9.79,9.78,6.81,6.80试求当地的重力加速度试求当地的重力加速度.寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而
3、有意义的寒假。但是,目前社会上寒假招工的陷阱很多解解 用样本均值估计其重力加速度应该是合理的,即用样本均值估计其重力加速度应该是合理的,即由经验可知,此结果是不符合事实的。在估计之前由经验可知,此结果是不符合事实的。在估计之前我们知道,重力加速度应该在我们知道,重力加速度应该在9.80附近,即附近,即这个信息就是重力加速度的这个信息就是重力加速度的先验信息先验信息.在统计学中,先验信息可以更好的帮助人们解决在统计学中,先验信息可以更好的帮助人们解决统计决策问题统计决策问题.贝叶斯将此思想应用于统计决策中,贝叶斯将此思想应用于统计决策中,形成了完整的贝叶斯统计方法形成了完整的贝叶斯统计方法.寒假
4、来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多2 2、先验分布、先验分布 对未知参数对未知参数的先验信息用一个分布形式的先验信息用一个分布形式()来来表示,此分布表示,此分布()称为称为未知参数未知参数的的先验分布先验分布.例如例如例例1中重力加速度的先验分布为中重力加速度的先验分布为3 3、后验分布、后验分布 在抽取样本之前,人们对未知参数有个了解,在抽取样本之前,人们对未知参数有个了解,即先验分布。抽取样本之后,由于样本中包含未知即先验分布。抽取样本之后,由于样本中包含未知参数的信息,而这些关于未知参数新的信息可以帮参数的信
5、息,而这些关于未知参数新的信息可以帮助人们修正抽样之前的先验信息。助人们修正抽样之前的先验信息。寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多 而样本值是在知道而样本值是在知道的先验分布的前提下的先验分布的前提下得到的,得到的,因而上述分布可以改写为因而上述分布可以改写为寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多由此可以得到由此可以得到例例2(p862(p86例例3.7)3.7)为了提高某产品的质量,公司经理为了提高某产品的质量,公司经理考虑增加投资来
6、改进生产设备,预计需投资考虑增加投资来改进生产设备,预计需投资90万元,万元,但从投资效果来看,顾问们提出两种不同的意见:但从投资效果来看,顾问们提出两种不同的意见:寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多经理根据以往的经验,两个顾问建议可信度分别为经理根据以往的经验,两个顾问建议可信度分别为 这两个概率是经理的主观判断(也就是先验概率),这两个概率是经理的主观判断(也就是先验概率),为了得到更准确的信息,经理决定进行小规模的试验,为了得到更准确的信息,经理决定进行小规模的试验,实验结果如下:实验结果如下:A:试制:试
7、制5个产品,全是正品,个产品,全是正品,由此可以得到条件分布:由此可以得到条件分布:寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多由全概率公式可以得到:由全概率公式可以得到:其后验概率为:其后验概率为:显然经理对二位顾问的看法已经做了修改,为了得显然经理对二位顾问的看法已经做了修改,为了得到更准确的信息,经理又做了一次试验,结果为到更准确的信息,经理又做了一次试验,结果为寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多B:试制:试制10个产品,个产品,9个是
8、正品,个是正品,由此可见后验分布更能准确描述事情真相由此可见后验分布更能准确描述事情真相.寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多二、共轭先验分布二、共轭先验分布为了使得后验分布计算简单,为此引入共轭先验分布为了使得后验分布计算简单,为此引入共轭先验分布.定义定义3.5注注共轭分布族总是针对分布中的某个参数而言的共轭分布族总是针对分布中的某个参数而言的.1 1、共轭分布族、共轭分布族寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多2 2、后验分布核、后
9、验分布核由上一小节内容可知,后验分布为由上一小节内容可知,后验分布为 可以看出,可以看出,m(x)不依赖于参数不依赖于参数,因而因而参数参数的后的后验验分布可以写为如下等价形式:分布可以写为如下等价形式:寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多3 3、共轭先验分布族的构造方法、共轭先验分布族的构造方法共轭先验分布族共有共轭先验分布族共有两种两种构造方法构造方法.第一种方法第一种方法首先计算似然函数首先计算似然函数q(x|),根据似然根据似然函数所含函数所含的因式情况,选取与似然函数具有相同核的因式情况,选取与似然函数具
10、有相同核的分布作为先验分布的分布作为先验分布.例例3(p883(p88例例3.8)3.8)寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多哪一个分布具有上述核?结论是倒哪一个分布具有上述核?结论是倒 分布,这是因为分布,这是因为 分布的密度函数为分布的密度函数为寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多 此分布密度为倒此分布密度为倒 分布的密度函数分布的密度函数,设设 的先验分的先验分布为布为倒倒 分布,即分布,即寒假来临,不少的高中毕业生和大学在校生都
11、选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多则则 的后验分布为的后验分布为 显然此分布仍为倒显然此分布仍为倒 分布,即先验分布与后验分分布,即先验分布与后验分布都为倒布都为倒 分布,因而分布,因而倒倒 分布是分布是 的共轭先验分布的共轭先验分布族族.寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多例例3(p883(p88例例4.9)4.9)哪一个分布具有上述核?结论是哪一个分布具有上述核?结论是分布,这是因为分布,这是因为分布的密度函数为分布的密度函数为寒假来临,不少的高中毕业生和大学在校生都选
12、择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多 设设的先验分布为的先验分布为分布,即分布,即寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多则则的后验分布为的后验分布为 显然此分布是显然此分布是分布的核,因而分布的核,因而分布是分布是的共的共轭先验分布族轭先验分布族.经计算可知经计算可知寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多第二种方法第二种方法设总体设总体X的分布密度为的分布密度为p(x|),统计量统计量定理定理3.1则则
13、是共轭先验分布族,其中是共轭先验分布族,其中寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多例例4(p894(p89例例3.10)3.10)解解其似然函数为其似然函数为寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多 显然此共轭分布族为显然此共轭分布族为分布的子族,因而,两点分布的子族,因而,两点分布的共轭先验分布族为分布的共轭先验分布族为分布分布.常见共轭先验分布常见共轭先验分布倒倒 分布分布方差方差 正态分布(均正态分布(均值已知)值已知)正态分布正态分布
14、N(,)均值均值正态分布正态分布(方差已知)(方差已知)分布分布()均值的倒数均值的倒数 指数分布指数分布 分布分布()均值均值 泊松分布泊松分布分布分布(,)成功概率成功概率p二项分布二项分布共轭先验分布共轭先验分布参数参数总体分布总体分布寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多三、贝叶斯风险三、贝叶斯风险 由第一小节内容可知,给定损失函数以后,风险由第一小节内容可知,给定损失函数以后,风险函数定义为函数定义为此积分仍为此积分仍为的函数,在给定的函数,在给定的先验分布的先验分布()时,定义时,定义为决策函数为决策函数
15、d在给定先验分布在给定先验分布()下的贝叶斯风险,简下的贝叶斯风险,简称为称为d的贝叶斯风险的贝叶斯风险.1 1、贝叶斯风险的定义、贝叶斯风险的定义寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多2 2、贝叶斯风险的计算、贝叶斯风险的计算当当X与与都是连续性随机变量时,贝叶斯风险为都是连续性随机变量时,贝叶斯风险为寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多当当X与与都是离散型随机变量时,贝叶斯风险为都是离散型随机变量时,贝叶斯风险为注注由上述计算可以看出
16、,贝叶斯风险为计算两次由上述计算可以看出,贝叶斯风险为计算两次期望值得到期望值得到,即即此风险大小只与决策函数此风险大小只与决策函数d有关,而不再依赖有关,而不再依赖参数参数.因此以此来衡量决策函数优良性更合理因此以此来衡量决策函数优良性更合理寒假来临,不少的高中毕业生和大学在校生都选择去打工。准备过一个充实而有意义的寒假。但是,目前社会上寒假招工的陷阱很多四四、贝叶斯估计、贝叶斯估计1 1、贝叶斯点估计、贝叶斯点估计定义定义3.6若总体若总体X的分布函数的分布函数F(x,)中参数中参数为随为随机机变量,变量,()为为的先验分布,若决策函数类的先验分布,若决策函数类D中存在中存在一个决策函数使
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 先验 分布 ppt 课件
限制150内