一先验分布和后验分布.pptx

一、先验分布与后验分布 上一章提出用风险函数衡量决策函数的好坏，但是由于风险函数为二元函数，很难进行全面比较。贝叶斯通过引入先验分布，给出了整体比较 的指标.1、先验信息 在抽取样本之前，人们对所要估计的未知参数所了解的信息，通常称为先验信息.例1(p84例3.6)某学生通过物理试验来确定当地的重力加速度，测得的数据为(m/s):9.80,9.79,9.78,6.81,6.80试求当地的重力加速度.第1页/共64页解用样本均值估计其重力加速度应该是合理的，即由经验可知，此结果是不符合事实的。在估计之前我们知道，重力加速度应该在9.80附近，即这个信息就是重力加速度的先验信息.在统计学中，先验信息可以更好的帮助人们解决统计决策问题.贝叶斯将此思想应用于统计决策中，形成了完整的贝叶斯统计方法.第2页/共64页2、先验分布 对未知参数的先验信息用一个分布形式()来表示，此分布()称为未知参数的先验分布.例如例1中重力加速度的先验分布为3、后验分布 在抽取样本之前，人们对未知参数有个了解，即先验分布。抽取样本之后，由于样本中包含未知参数的信息，而这些关于未知参数新的信息可以帮助人们修正抽样之前的先验信息。第3页/共64页 而样本值是在知道的先验分布的前提下得到的，因而上述分布可以改写为第4页/共64页由此可以得到例2(p86例3.7)为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资90万元，但从投资效果来看，顾问们提出两种不同的意见：第5页/共64页经理根据以往的经验，两个顾问建议可信度分别为 这两个概率是经理的主观判断（也就是先验概率），为了得到更准确的信息，经理决定进行小规模的试验，实验结果如下：A：试制5个产品，全是正品，由此可以得到条件分布：第6页/共64页由全概率公式可以得到：其后验概率为：显然经理对二位顾问的看法已经做了修改，为了得到更准确的信息，经理又做了一次试验，结果为第7页/共64页B：试制10个产品，9个是正品，由此可见后验分布更能准确描述事情真相.第8页/共64页二、共轭先验分布为了使得后验分布计算简单，为此引入共轭先验分布.定义3.5注共轭分布族总是针对分布中的某个参数而言的.1、共轭分布族第9页/共64页2、后验分布核由上一小节内容可知，后验分布为 可以看出，m(x)不依赖于参数,因而参数的后验分布可以写为如下等价形式：第10页/共64页3、共轭先验分布族的构造方法共轭先验分布族共有两种构造方法.第一种方法首先计算似然函数q(x|),根据似然函数所含的因式情况，选取与似然函数具有相同核的分布作为先验分布.例3(p88例3.8)第11页/共64页哪一个分布具有上述核？结论是倒分布，这是因为分布的密度函数为第12页/共64页 此分布密度为倒分布的密度函数,设 的先验分布为倒分布，即第13页/共64页则 的后验分布为 显然此分布仍为倒分布，即先验分布与后验分布都为倒分布，因而倒分布是 的共轭先验分布族.第14页/共64页例3(p88例4.9)哪一个分布具有上述核？结论是分布，这是因为分布的密度函数为第15页/共64页 设的先验分布为分布，即第16页/共64页则的后验分布为 显然此分布是分布的核，因而分布是的共轭先验分布族.经计算可知第17页/共64页第二种方法设总体X的分布密度为p(x|),统计量定理3.1则是共轭先验分布族，其中第18页/共64页例4(p89例3.10)解其似然函数为第19页/共64页 显然此共轭分布族为分布的子族，因而，两点分布的共轭先验分布族为分布.常见共轭先验分布倒分布方差正态分布（均值已知）正态分布N(,)均值正态分布（方差已知）分布()均值的倒数指数分布分布()均值泊松分布分布(,)成功概率p二项分布共轭先验分布参数总体分布第20页/共64页三、贝叶斯风险 由第一小节内容可知，给定损失函数以后，风险函数定义为此积分仍为的函数，在给定的先验分布()时，定义为决策函数d在给定先验分布()下的贝叶斯风险，简称为d的贝叶斯风险.1、贝叶斯风险的定义第21页/共64页2、贝叶斯风险的计算当X与都是连续性随机变量时，贝叶斯风险为第22页/共64页当X与都是离散型随机变量时，贝叶斯风险为注由上述计算可以看出，贝叶斯风险为计算两次期望值得到,即此风险大小只与决策函数d有关，而不再依赖参数.因此以此来衡量决策函数优良性更合理第23页/共64页四、贝叶斯估计1、贝叶斯点估计定义3.6若总体X的分布函数F(x,)中参数为随机变量，()为的先验分布，若决策函数类D中存在一个决策函数使得对决策函数类中的任一决策函数均有第24页/共64页注1、贝叶斯估计是使贝叶斯风险达到最小的决策 函数.2、不同的先验分布，对应不同的贝叶斯估计2、贝叶斯点估计的计算平方损失下的贝叶斯估计定理3.2设的先验分布为()和损失函数为则的贝叶斯估计为第25页/共64页证首先对贝叶斯风险做变换又因为第26页/共64页又因为则因而第27页/共64页定理3.3 设的先验分布为()和损失函数为加权平方损失则的贝叶斯估计为证明略，此证明定理3.2的证明类似.第28页/共64页定理3.4 设参数为随机向量，先验分布为()和损失函数为二次损失函数注其中Q为正定矩阵，则的贝叶斯估计为后验分布h(|x)的均值向量，即 定理表明，正定二次损失下，的贝叶斯估计不受正定矩阵Q的选取干扰，表现出其稳健性.第29页/共64页证在二次损失下，任一个决策函数向量d(x)=其中第二项为常数，而第一项非负，因而只需当第30页/共64页定义3.7设d=d(x)为决策函数类D中任一决策函数，损失函数为L(,d(x),则L(,d(x),对后验分布h(|x)的数学期望称为后验风险，记为注如果存在一个决策函数，使得则称此决策为后验风险准则下的最优决策函数，或称为贝叶斯（后验型）决策函数。第31页/共64页定理3.5对给定的统计决策问题(包含先验分布给定的情形）和决策函数类D,当贝叶斯风险满足如下条件：定理表明：如果决策函数使得贝叶斯风险最小，此决策函数也使得后验风险最小，反之，也成立.证明从略第32页/共64页定理3.6设的先验分布为()和损失函数为证则的贝叶斯估计为设m为h(|x)的中位数，又设d=d(x)为的另一估计，为确定期间，先设dm,由绝对损失函数的定义可得第33页/共64页又由于则由于m是中位数，因而则有第34页/共64页于是，当dm时同理可证，当dm时因而第35页/共64页定理3.7设的先验分布为()和损失函数为则的贝叶斯估计为证首先计算任一决策函数d(x)的后验风险第36页/共64页为了得到R(d|x)的极小值，关于等式两边求导：即则第37页/共64页例5(p94 例3.11)设总体X服从两点分布B(1,p),其中参数p未知，而p在0,1上服从均匀分布，样本试求参数p的贝叶斯估计与贝叶斯风险?解平方损失下的贝叶斯估计为：而第38页/共64页第39页/共64页第40页/共64页其贝叶斯风险为第41页/共64页又因为则所以第42页/共64页例6(p96 例3.12)设总体X服从正态分布N(,1),其中参数未知，而服从标准正态布在N(0,1)，样本试求参数的贝叶斯估计?解平方损失下的贝叶斯估计为：而第43页/共64页第44页/共64页化简得第45页/共64页例7(p97 例3.13)设总体X服从均匀分布U(0,),其中参数未知，而服从pareto分布，其分布函数与密度函数分别为 试求参数的贝叶斯估计?第46页/共64页解第47页/共64页 根据定理3.6可知，绝对值损失对应的贝叶斯估计为后验分布的中位数,即则 根据定理3.4可知，平方损失对应的贝叶斯估计为后验分布的均值,即第48页/共64页例8(p97 例3.14)设总体X服从伽玛分布(r,),试求参数的贝叶斯估计?解第49页/共64页第50页/共64页第51页/共64页第52页/共64页第53页/共64页3、贝叶斯估计的误差 在计算的估计时，用到了的后验分布，因此考察估计值与真实值之间的误差时，也应考虑的后验分布，误差定义如下：定义3.8参数的后验分布为h(|x),其贝叶斯估计第54页/共64页后验均方差与后验方差的关系第55页/共64页后验均方差与后验方差的优点1、二者只依赖与样本，不依赖参数.2、二者的计算不依赖与统计量的分布，即抽样分布 3、贝叶斯估计不考虑无偏性，因为贝叶斯估计只考虑出现的样本，不考虑没出现的样本.第56页/共64页4、贝叶斯区间估计定义定义第57页/共64页定义3.9设参数的后验分布为h(|x)，对给定的第58页/共64页注贝叶斯置信区间依赖于先验分布，不需要抽样分布，计算相对简单.正态分布均值的贝叶斯置信区间例9(p100例3.15)解首先计算参数的后验分布第59页/共64页第60页/共64页由此可见于是可得置信区间为第61页/共64页例10(p101例3.16)对某儿童进行智力测验，设测验结果服从N(,100),其中为心理学中儿童的智商，的先验分布为N(100,225),试求的置信为0.95的贝叶斯置信区间.解将相关数据代入上述置信区间公式可得：的置信度为0.95的置信区间为94.07,126.69而用表3.2（不用先验分布）可得的置信度为0.95的置信区间为95.4,134.6第62页/共64页再 见第63页/共64页Thanks！第64页/共64页