一、先验分布和后验分布.ppt

《一、先验分布和后验分布.ppt》由会员分享，可在线阅读，更多相关《一、先验分布和后验分布.ppt（64页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、一、先验分布和后验分布一、先验分布和后验分布二、共轭先验分布二、共轭先验分布三、贝叶斯风险三、贝叶斯风险第第3.2节贝叶斯估计节贝叶斯估计四、贝叶斯估计四、贝叶斯估计一、先验分布与后验分布一、先验分布与后验分布 上一章提出用风险函数衡量决策函数的好坏，但上一章提出用风险函数衡量决策函数的好坏，但是由于风险函数为二元函数，很难进行全面比较。是由于风险函数为二元函数，很难进行全面比较。贝叶斯通过引入先验分布，给出了整体比较贝叶斯通过引入先验分布，给出了整体比较 的指标的指标.1 1、先验信息、先验信息 在抽取样本之前，人们对所要估计的未知参数在抽取样本之前，人们对所要估计的未知参数所了解的信息，通

2、常称为所了解的信息，通常称为先验信息先验信息.例例1(p841(p84例例3.6)3.6)某学生通过物理试验来确定当地某学生通过物理试验来确定当地的重力加速度，测得的数据为的重力加速度，测得的数据为(m/s):9.80,9.79,9.78,6.81,6.80试求当地的重力加速度试求当地的重力加速度.解解 用样本均值估计其重力加速度应该是合理的，即用样本均值估计其重力加速度应该是合理的，即由经验可知，此结果是不符合事实的。在估计之前由经验可知，此结果是不符合事实的。在估计之前我们知道，重力加速度应该在我们知道，重力加速度应该在9.80附近，即附近，即这个信息就是重力加速度的这个信息就是重力加速度

3、的先验信息先验信息.在统计学中，先验信息可以更好的帮助人们解决在统计学中，先验信息可以更好的帮助人们解决统计决策问题统计决策问题.贝叶斯将此思想应用于统计决策中，贝叶斯将此思想应用于统计决策中，形成了完整的贝叶斯统计方法形成了完整的贝叶斯统计方法.2 2、先验分布、先验分布 对未知参数对未知参数的先验信息用一个分布形式的先验信息用一个分布形式()来来表示，此分布表示，此分布()称为称为未知参数未知参数的的先验分布先验分布.例如例如例例1中重力加速度的先验分布为中重力加速度的先验分布为3 3、后验分布、后验分布 在抽取样本之前，人们对未知参数有个了解，在抽取样本之前，人们对未知参数有个了解，即先

4、验分布。抽取样本之后，由于样本中包含未知即先验分布。抽取样本之后，由于样本中包含未知参数的信息，而这些关于未知参数新的信息可以帮参数的信息，而这些关于未知参数新的信息可以帮助人们修正抽样之前的先验信息。助人们修正抽样之前的先验信息。而样本值是在知道而样本值是在知道的先验分布的前提下的先验分布的前提下得到的，得到的，因而上述分布可以改写为因而上述分布可以改写为由此可以得到由此可以得到例例2(p862(p86例例3.7)3.7)为了提高某产品的质量，公司经理为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资考虑增加投资来改进生产设备，预计需投资90万元，万元，但从投资效果来看，顾

5、问们提出两种不同的意见：但从投资效果来看，顾问们提出两种不同的意见：经理根据以往的经验，两个顾问建议可信度分别为经理根据以往的经验，两个顾问建议可信度分别为 这两个概率是经理的主观判断（也就是先验概率），这两个概率是经理的主观判断（也就是先验概率），为了得到更准确的信息，经理决定进行小规模的试验，为了得到更准确的信息，经理决定进行小规模的试验，实验结果如下：实验结果如下：A：试制：试制5个产品，全是正品，个产品，全是正品，由此可以得到条件分布：由此可以得到条件分布：由全概率公式可以得到：由全概率公式可以得到：其后验概率为：其后验概率为：显然经理对二位顾问的看法已经做了修改，为了得显然经理对二位

6、顾问的看法已经做了修改，为了得到更准确的信息，经理又做了一次试验，结果为到更准确的信息，经理又做了一次试验，结果为B：试制：试制10个产品，个产品，9个是正品，个是正品，由此可见后验分布更能准确描述事情真相由此可见后验分布更能准确描述事情真相.二、共轭先验分布二、共轭先验分布为了使得后验分布计算简单，为此引入共轭先验分布为了使得后验分布计算简单，为此引入共轭先验分布.定义定义3.5注注共轭分布族总是针对分布中的某个参数而言的共轭分布族总是针对分布中的某个参数而言的.1 1、共轭分布族、共轭分布族2 2、后验分布核、后验分布核由上一小节内容可知，后验分布为由上一小节内容可知，后验分布为 可以看出

7、，可以看出，m(x)不依赖于参数不依赖于参数,因而因而参数参数的后的后验验分布可以写为如下等价形式：分布可以写为如下等价形式：3 3、共轭先验分布族的构造方法、共轭先验分布族的构造方法共轭先验分布族共有共轭先验分布族共有两种两种构造方法构造方法.第一种方法第一种方法首先计算似然函数首先计算似然函数q(x|),根据似然根据似然函数所含函数所含的因式情况，选取与似然函数具有相同核的因式情况，选取与似然函数具有相同核的分布作为先验分布的分布作为先验分布.例例3(p883(p88例例3.8)3.8)哪一个分布具有上述核？结论是倒哪一个分布具有上述核？结论是倒 分布，这是因为分布，这是因为 分布的密度函

8、数为分布的密度函数为 此分布密度为倒此分布密度为倒 分布的密度函数分布的密度函数,设设 的先验分的先验分布为布为倒倒 分布，即分布，即则则 的后验分布为的后验分布为 显然此分布仍为倒显然此分布仍为倒 分布，即先验分布与后验分分布，即先验分布与后验分布都为倒布都为倒 分布，因而分布，因而倒倒 分布是分布是 的共轭先验分布的共轭先验分布族族.例例3(p883(p88例例4.9)4.9)哪一个分布具有上述核？结论是哪一个分布具有上述核？结论是分布，这是因为分布，这是因为分布的密度函数为分布的密度函数为 设设的先验分布为的先验分布为分布，即分布，即则则的后验分布为的后验分布为 显然此分布是显然此分布是

9、分布的核，因而分布的核，因而分布是分布是的共的共轭先验分布族轭先验分布族.经计算可知经计算可知第二种方法第二种方法设总体设总体X的分布密度为的分布密度为p(x|),统计量统计量定理定理3.1则则是共轭先验分布族，其中是共轭先验分布族，其中例例4(p894(p89例例3.10)3.10)解解其似然函数为其似然函数为 显然此共轭分布族为显然此共轭分布族为分布的子族，因而，两点分布的子族，因而，两点分布的共轭先验分布族为分布的共轭先验分布族为分布分布.常见共轭先验分布常见共轭先验分布倒倒 分布分布方差方差 正态分布（均正态分布（均值已知）值已知）正态分布正态分布N(,)均值均值正态分布正态分布（方差

10、已知）（方差已知）分布分布()均值的倒数均值的倒数 指数分布指数分布 分布分布()均值均值 泊松分布泊松分布分布分布(,)成功概率成功概率p二项分布二项分布共轭先验分布共轭先验分布参数参数总体分布总体分布三、贝叶斯风险三、贝叶斯风险 由第一小节内容可知，给定损失函数以后，风险由第一小节内容可知，给定损失函数以后，风险函数定义为函数定义为此积分仍为此积分仍为的函数，在给定的函数，在给定的先验分布的先验分布()时，定义时，定义为决策函数为决策函数d在给定先验分布在给定先验分布()下的贝叶斯风险，简下的贝叶斯风险，简称为称为d的贝叶斯风险的贝叶斯风险.1 1、贝叶斯风险的定义、贝叶斯风险的定义2 2

11、、贝叶斯风险的计算、贝叶斯风险的计算当当X与与都是连续性随机变量时，贝叶斯风险为都是连续性随机变量时，贝叶斯风险为当当X与与都是离散型随机变量时，贝叶斯风险为都是离散型随机变量时，贝叶斯风险为注注由上述计算可以看出，贝叶斯风险为计算两次由上述计算可以看出，贝叶斯风险为计算两次期望值得到期望值得到,即即此风险大小只与决策函数此风险大小只与决策函数d有关，而不再依赖有关，而不再依赖参数参数.因此以此来衡量决策函数优良性更合理因此以此来衡量决策函数优良性更合理四四、贝叶斯估计、贝叶斯估计1 1、贝叶斯点估计、贝叶斯点估计定义定义3.6若总体若总体X的分布函数的分布函数F(x,)中参数中参数为随为随机

12、机变量，变量，()为为的先验分布，若决策函数类的先验分布，若决策函数类D中存在中存在一个决策函数使得对决策函数类中的任一决策函数一个决策函数使得对决策函数类中的任一决策函数均有均有注注1、贝叶斯估计是使贝叶斯风险达到最小的决策、贝叶斯估计是使贝叶斯风险达到最小的决策 函数函数.2、不同的先验分布，对应不同的贝叶斯估计、不同的先验分布，对应不同的贝叶斯估计2 2、贝叶斯点估计的计算、贝叶斯点估计的计算平方损失下的贝叶斯估计平方损失下的贝叶斯估计定理定理3.2设设的先验分布为的先验分布为()和损失函数为和损失函数为则则的贝叶斯估计为的贝叶斯估计为证证首先对贝叶斯风险做变换首先对贝叶斯风险做变换又因

13、为又因为又因为又因为则则因而因而定理定理3.3 设设的先验分布为的先验分布为()和损失函数为和损失函数为加权平方损失加权平方损失则则的贝叶斯估计为的贝叶斯估计为证明略，此证明定理证明略，此证明定理3.2的证明类似的证明类似.定理定理3.4 设参数设参数为随机向量，先验分布为为随机向量，先验分布为()和损失函数为二次损失函数和损失函数为二次损失函数注注其中其中Q为正定矩阵，则为正定矩阵，则的贝叶斯估计为后验分布的贝叶斯估计为后验分布h(|x)的均值向量，即的均值向量，即 定理表明，正定二次损失下，定理表明，正定二次损失下，的贝叶斯估计的贝叶斯估计不受正定矩阵不受正定矩阵Q的选取干扰，表现出其稳健

14、性的选取干扰，表现出其稳健性.证证在二次损失下，任一个决策函数向量在二次损失下，任一个决策函数向量d(x)=其中第二项为常数，而第一项非负，因而只需当其中第二项为常数，而第一项非负，因而只需当定义定义3.7 设设d=d(x)为为决策函数类决策函数类D中任一决策函数，中任一决策函数，损失函数为损失函数为L(,d(x),则则L(,d(x),对后验分布对后验分布h(|x)的的数学期望称为后验风险数学期望称为后验风险，记为，记为注注 如果存在一个决策函数，使得如果存在一个决策函数，使得则称此决策为后验风险准则下的最优决策函数，或称则称此决策为后验风险准则下的最优决策函数，或称为贝叶斯（后验型）决策函数

15、。为贝叶斯（后验型）决策函数。定理定理3.5 对给定的统计决策问题对给定的统计决策问题(包含先验分布给包含先验分布给定的情形）和决策函数类定的情形）和决策函数类D,当贝叶斯风险满足如下条当贝叶斯风险满足如下条件：件：定理表明：如果决策函数使得贝叶斯风险最小，定理表明：如果决策函数使得贝叶斯风险最小，此决策函数也使得后验风险最小，反之，也成立此决策函数也使得后验风险最小，反之，也成立.证明从略证明从略定理定理3.6设设的先验分布为的先验分布为()和损失函数为和损失函数为证证则则的贝叶斯估计为的贝叶斯估计为设设m为为h(|x)的中位数，又设的中位数，又设d=d(x)为为的另一的另一估计，为确定期间

16、，先设估计，为确定期间，先设dm,由绝对损失函数的定由绝对损失函数的定义可得义可得又由于又由于则则由于由于m是中位数，因而是中位数，因而则有则有于是，当于是，当dm时时同理可证，当同理可证，当dm时时因而因而定理定理3.7设设的先验分布为的先验分布为()和损失函数为和损失函数为则则的贝叶斯估计为的贝叶斯估计为证证首先计算任一决策函数首先计算任一决策函数d(x)的后验风险的后验风险为了得到为了得到R(d|x)的极小值，关于等式两边求导：的极小值，关于等式两边求导：即即则则例例5(p94 例例3.11)设总体设总体X服从两点分布服从两点分布B(1,p),其中参数其中参数p未知，而未知，而p在在0,

17、1上服从均匀分布，样本上服从均匀分布，样本试求参数试求参数p的贝叶斯估计与贝叶斯风险的贝叶斯估计与贝叶斯风险?解解平方损失下的贝叶斯估计为：平方损失下的贝叶斯估计为：而而其贝叶斯风险为其贝叶斯风险为又因为又因为则则所以所以例例6(p96 例例3.12)设总体设总体X服从正态分布服从正态分布N(,1),其中参数其中参数未知，而未知，而服从标准正态布在服从标准正态布在N(0,1)，样本样本试求参数试求参数的贝叶斯估计的贝叶斯估计?解解平方损失下的贝叶斯估计为：平方损失下的贝叶斯估计为：而而化简得化简得例例7(p97 例例3.13)设总体设总体X服从均匀分布服从均匀分布U(0,),其中参数其中参数未

18、知，而未知，而服从服从pareto分布，其分布函数与分布，其分布函数与密度函数分别为密度函数分别为 试求参数试求参数的贝叶斯估计的贝叶斯估计?解解 根据定理根据定理3.6可知，绝对值损失对应的贝叶斯估计为可知，绝对值损失对应的贝叶斯估计为后验分布的中位数后验分布的中位数,即即则则 根据定理根据定理3.4可知，平方损失对应的贝叶斯估计为可知，平方损失对应的贝叶斯估计为后验分布的均值后验分布的均值,即即例例8(p97 例例3.14)设总体设总体X服从伽玛分布服从伽玛分布(r,),试求参数试求参数的贝叶斯估计的贝叶斯估计?解解3 3、贝叶斯估计的误差、贝叶斯估计的误差 在计算在计算的估计时，用到了的

19、估计时，用到了的后验分布，因此的后验分布，因此考考察估计值与真实值之间的误差时，也应考虑察估计值与真实值之间的误差时，也应考虑的后验的后验分布，误差定义如下：分布，误差定义如下：定义定义3.8 参数参数的后验分布为的后验分布为h(|x),其贝叶斯估计其贝叶斯估计后验均方差与后验方差的关系后验均方差与后验方差的关系后验均方差与后验方差的优点后验均方差与后验方差的优点1、二者只依赖与样本，不依赖参数、二者只依赖与样本，不依赖参数.2、二者的计算不依赖与统计量的分布，即抽样、二者的计算不依赖与统计量的分布，即抽样分布分布 3、贝叶斯估计不考虑无偏性，因为贝叶斯估计、贝叶斯估计不考虑无偏性，因为贝叶斯

20、估计只考虑出现的样本，不考虑没出现的样本只考虑出现的样本，不考虑没出现的样本.4 4、贝叶斯区间估计、贝叶斯区间估计定义定义定义定义定义定义3.9设参数设参数的后验分布为的后验分布为h(|x)，对给定的对给定的注注贝叶斯置信区间依赖于先验分布，不需要抽样贝叶斯置信区间依赖于先验分布，不需要抽样分布，计算相对简单分布，计算相对简单.正态分布均值的贝叶斯置信区间正态分布均值的贝叶斯置信区间例例9(p1009(p100例例3.15)3.15)解解首先计算参数首先计算参数的后验分布的后验分布由此可见由此可见于是可得于是可得置信区间为置信区间为例例10(p10110(p101例例3.16)3.16)对某儿童进行智力测验，设测验对某儿童进行智力测验，设测验结果服从结果服从N(,100),其中其中为心理学中儿童的智商，为心理学中儿童的智商，的的先验分布为先验分布为N(100,225),试求试求的置信为的置信为0.95的贝叶斯的贝叶斯置信区间置信区间.解解将相关数据代入上述置信区间公式可得：将相关数据代入上述置信区间公式可得：的的置信度为置信度为0.95的置信区间为的置信区间为94.07,126.69而用表而用表3.2（不用先验分布）可得（不用先验分布）可得的的置信度为置信度为0.95的的置信区间为置信区间为95.4,134.6再再 见见