贝叶斯统计学.pptx

《贝叶斯统计学.pptx》由会员分享，可在线阅读，更多相关《贝叶斯统计学.pptx（100页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、贝叶斯统计学贝叶斯统计简介贝叶斯统计简介：贝叶斯统计是英国统计学家贝叶斯（贝叶斯统计是英国统计学家贝叶斯（1702170217611761）首先提出的。贝叶斯统计是在与经典统计理论的长）首先提出的。贝叶斯统计是在与经典统计理论的长期争论中发展起来的。形成了两大重要的统计学派（贝派和期争论中发展起来的。形成了两大重要的统计学派（贝派和频派）。贝叶斯统计主要在统计决策理论中应用广泛。尽管频派）。贝叶斯统计主要在统计决策理论中应用广泛。尽管很早就产生贝叶斯统计，但它真正得到发展是二次世界大战很早就产生贝叶斯统计，但它真正得到发展是二次世界大战以后，特别是上个世纪初。以后，特别是上个世纪初。学习的目的

2、学习的目的：介绍贝叶斯统计的基本思想和基本方法，给学生介绍贝叶斯统计的基本思想和基本方法，给学生提供一种新的统计思维方式，丰富统计知识提供一种新的统计思维方式，丰富统计知识-锦上添锦上添花。同时提供一种研究实际统计问题的新方法。花。同时提供一种研究实际统计问题的新方法。学习方法学习方法：以概率论为基础，系统学习。注重方法的基本思想以概率论为基础，系统学习。注重方法的基本思想和原理。学会运用有关工具，加强练习。和原理。学会运用有关工具，加强练习。教学计划安排：教学计划安排：重点介绍重点介绍1 13 3章（原理），适当介绍章（原理），适当介绍4 45 5章。章。第1页/共100页第一章第一章 先验

3、分布与后验分布先验分布与后验分布 1.1 1.1 三种信息三种信息（总体信息、样本信息和先验信息总体信息、样本信息和先验信息）1.2 1.2 贝叶斯公式贝叶斯公式（事件形式和密度函数形式事件形式和密度函数形式）1.3 1.3 共轭先验分布共轭先验分布 1.4 1.4 超参数及其确定超参数及其确定 1.5 1.5 多参数模型多参数模型 1.6 1.6 充分统计量充分统计量第2页/共100页1.11.1三种信息三种信息 三种信息及对应的统计分科三种信息及对应的统计分科 贝叶斯统计与经典统计的主要区别贝叶斯统计与经典统计的主要区别第3页/共100页1.三种信息及对应的统计分科总体信息：是人们对总体的

4、了解，所带来的有关信息，总体信息包括总体分布或者总体分布族的有关信息。例如：“总体属于正态分布”、“它的密度函数是钟型曲线”等等。样本信息：是通过样本而给我们提供的有关信息。这类“信息”是最具价值和与实际联系最紧密的信息。人们总是希望这类信息越多越好。样本信息越多一般对总体推断越准确。基于以上两种信息所作出的统计推断被称为经典统计。其特征主要是：把样本数据看成是来自具有一定概率分布的总体，所研究的对象是总体，而不是立足与数据本身。第4页/共100页事实上，在现实活动中，还有一类信息可以用来进行统计推断-先验信息。先验信息：是在抽样之前有关所要研究的问题的一些信息。来源于经验和历史资料的总结。先

5、验信息是现实活动中一种有用的信息应该加以充分利用，但经典统计忽视了，对于统计推断是一个损失。利用先验信息进行统计推断的统计理论就是贝叶斯统计。第5页/共100页例11 英国统计学家Savage(1961)曾考察如下二个统计实验：A一位常饮牛奶加茶的妇女声称，她能辨别先倒进杯子里的是茶还是牛奶。对此做了十次试验，她都正确地说出了。B一位音乐家声称，他能从一页乐谱辨别出是海顿(Haydn)还是莫扎特(Mozart)的作品。在十次这样的试验中，他都能正确辨别。在这两个统计试验中，假如认为被实验者是在猜测，每次成功概率为05，那么十次都猜中的概率为（2的负十次方）2-1000009766，这是一个很小

6、的概率，是几乎不可能发生的，所以“每次成功概率为o5”的假设应被拒绝。被实验者每次成功概率要比o5大得多。这就不是猜测，而是他们的经验在帮了他们的忙。可见经验(先验信息的一种)在推断中不可忽视，应加以利用。第6页/共100页例12 “免检产品”是怎样决定的?某厂的产品每天都要抽检几件，获得不合格品率的估计。经过一段时间后就积累大量的资料，根据这些历史资料(先验信息的一种)对过去产品的不合格率可构造一个分布：P(P(i/n)=i/n)=i i i i=0,1,2=0,1,2.n.n这个对先验信息进行加工获得的分布今后称为先验分布。这个先验分布是综合了该厂过去产品的质量情况。如果这个分布的概率绝大

7、部分集中在0 0附近，那该产品可认为是“信得过产品”。假如以后的多次抽检结果与历史资料提供的先验分布是一致的。使用单位就可以对它作出“免检产品”的决定，或者每月抽检一、二次就足够了，这就省去了大量的人力与物力。可见历史资料在统计推断中应加以利用。第7页/共100页2.贝叶斯统计与经典统计主要区别（1 1）统计推断所依据信息不同）统计推断所依据信息不同（2 2）对总体参数的认识不同）对总体参数的认识不同（3 3）对概率的理解不同）对概率的理解不同（4 4）对样本利用方式上不同）对样本利用方式上不同（5 5）应用领域不同）应用领域不同第8页/共100页1.21.2贝叶斯公式贝叶斯公式 事件形式的贝

8、叶斯公式事件形式的贝叶斯公式 密度函数形式贝叶斯公式密度函数形式贝叶斯公式 贝叶斯统计学派主要观点贝叶斯统计学派主要观点 后验分布及其与三种信息的关系后验分布及其与三种信息的关系第9页/共100页1.1.事件形式的贝叶斯公式事件形式的贝叶斯公式（1 1）全概公式）全概公式：设有事件设有事件A A只能与一完备事件组只能与一完备事件组 中之一事件同时发生，则事件中之一事件同时发生，则事件A A出现出现的概率的概率称上式为全概公式。称上式为全概公式。（2 2）贝叶斯公式）贝叶斯公式：设有事件设有事件A A只能与一完备事件组只能与一完备事件组 中之一事件同时发生，则事件中之一事件同时发生，则事件A A

9、发生发生的条件下的条件下 发生的概率发生的概率-称之为贝叶斯公式称之为贝叶斯公式m=1.nm=1.n第10页/共100页2.2.密度函数形式的贝叶斯公式密度函数形式的贝叶斯公式定定义义 设设在在给给定定样样本本x x后后，的的 后后验验分分布布为为 ，它它是是给给定定样本观测值样本观测值x x后的条件分布。若又设后的条件分布。若又设 和和x x具有联合密度具有联合密度 （x x为样本，下同为样本，下同）其中，其中，为为 的先验分布。的先验分布。x x的边缘密度（边际密度）为的边缘密度（边际密度）为 （为连续随机变量为连续随机变量）（为离散随机变量上式求和为离散随机变量上式求和）显然，显然，的后

10、验分布为（的后验分布为（m(x)m(x)0 0）称此为贝叶斯公式的密度函数形式。称此为贝叶斯公式的密度函数形式。第11页/共100页第12页/共100页3.3.贝叶斯学派主要认识贝叶斯学派主要认识（1 1）贝叶斯统计中）贝叶斯统计中 表示表示 给定时，某值给定时，某值x x的条件分布。的条件分布。（2 2）根据参数的先验信息确定的分布就是先验分布）根据参数的先验信息确定的分布就是先验分布（3 3 3 3）从贝叶斯观点来看，样本一般分两步进行，首先从）从贝叶斯观点来看，样本一般分两步进行，首先从 产生一个产生一个，第二步是，第二步是在分布在分布 产生一个样本。产生一个样本。（4 4）样本似然函数

11、为）样本似然函数为（5 5）h h将三种信息综合进去了。将三种信息综合进去了。（6 6）是将是将h h中与中与 无关即我们研究的问题无关的信息消除。基于后验分布作出无关即我们研究的问题无关的信息消除。基于后验分布作出推断。推断。第13页/共100页4.4.后验分布与三种信息的关系后验分布与三种信息的关系后验分布是利用总体信息、样本信息和先验信息进后验分布是利用总体信息、样本信息和先验信息进行综合处理（去粗取精）得到后验信息（即后验分行综合处理（去粗取精）得到后验信息（即后验分布）的过程。贝叶斯统计可就是以后验分布为基础布）的过程。贝叶斯统计可就是以后验分布为基础的统计学。的统计学。对理解后验分

12、布，可以这样看：事先人们对总体和对理解后验分布，可以这样看：事先人们对总体和 有一个初步的经验的认识这就是有一个初步的经验的认识这就是 ，当样本取得，当样本取得以后，根据样本的以后，根据样本的“鲜活鲜活”信息调整人们事先对总信息调整人们事先对总体和参数体和参数 的认识，得到后验分布的认识，得到后验分布 ，贝叶斯，贝叶斯统计再根据后验分布进行估计推断。统计再根据后验分布进行估计推断。对样本理解：样本在没有抽选之前，与经典统计一对样本理解：样本在没有抽选之前，与经典统计一样，抽样过程是随机的（样本值是随机变量），但样，抽样过程是随机的（样本值是随机变量），但一旦抽中就将其看作是总体的代表，而且提供

13、的信一旦抽中就将其看作是总体的代表，而且提供的信息是总体特征的反映，可以以此为基础影响统计推息是总体特征的反映，可以以此为基础影响统计推断。断。第14页/共100页例：例：设事件设事件A A发生发生的概率为的概率为，即，即(A)(A)。为了估计。为了估计 而作而作n n次独立观察。其中，事件次独立观察。其中，事件A A出现次数为出现次数为X X，显然，显然，X X服从二项服从二项分布分布b(n,b(n,)即即 （x=0,1,2,x=0,1,2,.n.n）若取若取 的先验分布为（的先验分布为（0,10,1）上的均匀分布，试求）上的均匀分布，试求 的后验分布。的后验分布。第15页/共100页解：由

14、于取先验分布为（0,1）上的均匀分布，即所以，利用贝叶斯公式，将抽样信息和先验信息进行综合。为此，计算样本x和参数的联合分布：（x=0,1,2x=0,1,2n n。00 11）由此，x的边缘分布为第16页/共100页第17页/共100页所以后验密度为所以后验密度为 贝塔分布贝塔分布,记为记为/x/xBe(x+1,n-x+1)Be(x+1,n-x+1)第18页/共100页 由此可见，后验分布只不过是样本信息出现以后人们对总体认识的一种合理调整，因为我们现在得到了“新鲜”样本信息。在调整的过程中，样本信息、总体信息和先验信息都以不同的方式影响着后验分布从而影响统计推断和统计决策过程。第19页/共1

15、00页各种信息对后验分布的影响总体分布对后验分布的影响是显然的，通过似然函数和样本发生的可能性来发挥作用。样本数据（信息）通过似然函数达到对后验分布的影响。我们相信在一次抽样中样本发生，就意味着已经取得的样本出现的概率最大。样本不同对总体认识不同。先验信息（包括先验分布形式、参数大小等）对后验分布均有较大影响。第20页/共100页拉普拉斯实例（拉普拉斯实例（p910p910）17861786年拉普拉斯研究巴黎男婴诞生的比率年拉普拉斯研究巴黎男婴诞生的比率:他希望检验男婴出生比率他希望检验男婴出生比率 是否大于是否大于0.50.5。收集收集17451745年年17701770年婴儿出生数据：男年

16、婴儿出生数据：男251527251527个；女婴个；女婴241945241945个。个。选用先验分布：选用先验分布：在在n=251527+241945=493472,x=251527n=251527+241945=493472,x=251527时，代入时，代入/x/xBe(x+1,n-Be(x+1,n-x+1)x+1)得后验分布为：得后验分布为：第21页/共100页第22页/共100页根据上式计算0.5的概率第23页/共100页P(0.5/x)=1.1510-42在样本出现以前，在01之间处处等可能取值。在样本出现以后，按分布/xBe(x+1,n-x+1)在01之间取值。这是调整以后的结果。由

17、于从调整以后结果来看，小于0.5的概率非常小，所以认为应该大于0.5。第24页/共100页进一步研究考察样本是如何对先验分布进行调整的。在此，最初先验分布是一个均匀分布，即：第25页/共100页第26页/共100页第27页/共100页第28页/共100页第29页/共100页第30页/共100页第31页/共100页第32页/共100页例例 验验血血可可以以帮帮助助判判断断一一个个人人是是否否有有某某种种疾疾病病，化化验验结结果果或或者者为为阳阳性性（x x=1=1表表示示），或或者者为为阴阴性性（以以x x0 0表表示示）。令令1 1表表示示状状态态“有有病病”，2 2表表示示状状态态“无无病病

18、”。又又知知p(x=1/p(x=1/1 1)=0.8)=0.8，p(x=0/p(x=0/1 1)=0.2)=0.2，p(x=1/p(x=1/2 2)0.30.3，p(x=0/p(x=0/2 2)0.70.7。又又设设有有先先验验分分布布（信信息息）（1 1）0.050.05，（2 2）0.950.95，求求后后验验分分布布，并并体体验验样样本本调调整整先先验验分布为后验分布的过程。分布为后验分布的过程。第33页/共100页解：解：为了计算后验分布（概率）先计算边缘分布：为了计算后验分布（概率）先计算边缘分布：(将将f f都应换成都应换成p p)m(1)=p(1/m(1)=p(1/1 1)（1

19、1）p(1/p(1/2 2)（2 2）=0.04+0.285=0.325=0.04+0.285=0.325第34页/共100页例例1 16 6 伊伊索索寓寓言言“孩孩子子与与狼狼”讲讲的的是是一一个个小小孩孩每每天天到到山山上上放放羊羊，山山里里有有狼狼出出没没，第第一一天天他他在在山山上上喊喊：“狼狼来来了了!狼狼来来了了!”山山下下的的村村民民们们闻闻声声便便去去打打狼狼，可可到到了了山山上上，发发现现狼狼没没有有来来；第第二二天天仍仍是是如如此此；第第三三天天，狼狼真真的的来来了了，可可无无论论小小孩孩怎怎么么喊喊叫叫，也也没没有有人人来来救救他他，因因为为前前二二次次他他说说了了谎谎话

20、话，人人们们不不再再相相信信他他了了。用用贝贝叶叶斯斯统统计计来来分分析析这个寓言中村民的心理活动。这个寓言中村民的心理活动。第35页/共100页解解：为为此此先先要要作作一一些些假假设设。首首先先假假设设村村民民们们对对这这个个小小孩孩的的印印象象一一般般，他他爱爱说说谎话谎话(记为记为1 1)和爱说和爱说真话真话(记为记为2 2)的概率相同，即设的概率相同，即设 （1 1）1/2 1/2 （2 2）1/21/2 另另外外再再假假设设：爱爱说说谎谎话话的的孩孩子子喊喊狼狼来来了了(记记为为x x1 1)时时，狼狼来来的的概概率率为为1 13 3，爱爱说说真真话话的的孩孩子子喊喊狼狼来来了了时

21、时，狼狼来来的的概概率率为为3 34 4，相相应应地地狼狼没没有有来来（记记为为x x2 2），所所以有以有p(xp(x1 1/1 1)=1/3 p(x)=1/3 p(x1 1/2 2)=3/4)=3/4p(xp(x2 2/1 1)=2/3 p(x)=2/3 p(x2 2/2 2)=1/4)=1/4当当第第一一次次村村民民上上山山打打狼狼，发发现现狼狼没没有有来来(x(x2 2发发生生了了)时时，村村民民们们对对说说谎谎话话小小孩孩的的认认识识集集中中体体现现在在条条件件概概率率(1 1/x x2 2)上上，根根据据上上述述假假设设，利利用用贝贝叶叶斯斯公公式式不不难难算得算得第36页/共10

22、0页类似地，可以计算得(2/x2)0.2727，这表明村民们对这个小孩说谎的概率由0.5调整到0.7273，若我们进一步将调整后的概率看作先验分布，即记（1）0.7273=8/11 （2）0.2727=3/11在此基础上，村民第二次上山打狼，仍没有看见狼，这时村民再一次调整对这个小孩说谎的认识，即再一次计算后验概率这表明：村民们经过两次上当，对这个小孩说谎话的概率从0.5上升到0.8767，即十句话中有近九句话在说谎，给村民留下这种印象，他们听到第三次呼叫时怎么再会上山打狼呢?从这里我们可以体会先验分布是怎样调整到后验分布的。第37页/共100页1.3 共轭先验分布 共轭先验分布的定义及计算

23、共轭先验分布计算中的有关规定 共轭先验分布优缺点 常用共轭先验分布第38页/共100页1.共轭先验分布的定义及计算 共轭先验分布定义：设共轭先验分布定义：设 是总体分布中的某需研究参数（或参数向量），是总体分布中的某需研究参数（或参数向量），是是 的的先验密度函数，若通过抽样数据算得的后验密度函数先验密度函数，若通过抽样数据算得的后验密度函数 与先验密度函数与先验密度函数 有相同的函数形式，则称有相同的函数形式，则称 是是 的共轭先验分布。的共轭先验分布。特别需要指出的是：共轭先验分布是针对某一具体分布的具体参数而言的，离开了某特别需要指出的是：共轭先验分布是针对某一具体分布的具体参数而言的，

24、离开了某一具体分布和某一具体参数谈共轭先验分布是没有意义的。一具体分布和某一具体参数谈共轭先验分布是没有意义的。共轭先验分布的计算：实际上就是确定后验分布，然后比较后验分布与先验分布的形共轭先验分布的计算：实际上就是确定后验分布，然后比较后验分布与先验分布的形式。式。第39页/共100页例例 设设x x1 1，x x2 2，x xn n是是来来自自正正态态分分布布 N N（，2 2）的的一一个个样样本本观观测测值值。其其中中，假假定定2 2已已知知。试试证证正正态态分分布布（方方差差已已知知）的的共共轭轭先先验验分分布布仍仍然然是是正正态态分分布。（布。（见见HH共轭共轭）第40页/共100页

25、2.2.共轭先验分布计算中的有关规定共轭先验分布计算中的有关规定 在给定样本似然函数（总体分布与样本结合）和先验分布可利用贝叶斯公式计算后验分布：在给定样本似然函数（总体分布与样本结合）和先验分布可利用贝叶斯公式计算后验分布：由于由于m(x)m(x)不依赖于不依赖于，在计算后验分布时仅起到一个正则化因子的作用，并不影响后验分，在计算后验分布时仅起到一个正则化因子的作用，并不影响后验分布的形式，因此为了简便，通常只考察后验分布的布的形式，因此为了简便，通常只考察后验分布的 “核核”，即如下等价形式，即如下等价形式第41页/共100页其中：其中：1.1.符号符号“”两边仅相差一个常数因子。两边仅相

26、差一个常数因子。2.2.符号符号“”的右边是后验分布的的右边是后验分布的“核核”，只要核与，只要核与某已知分布的核相同就可断定后验分布所属的分布簇。某已知分布的核相同就可断定后验分布所属的分布簇。3.3.其基本作用是简化计算。其基本作用是简化计算。第42页/共100页例例 验验证证：泊泊松松分分布布的的均均值值的的共共轭轭先先验验分分布布是是伽伽玛玛分分布布。设设x x(x(x1 1，x x2 2，x xn n)是是来来自总体自总体X XP P（）的样本。）的样本。第43页/共100页证：证：由于由于 x x(x(x1 1，x x2 2，x xn n)是来自总体是来自总体X XP P（）的样本

27、。所以，）的样本。所以，若取若取的先验分布为的先验分布为Ga(Ga(，)，即，即第44页/共100页 后验分布后验分布 .这正是伽玛分布这正是伽玛分布 的核。的核。泊松分布的均值泊松分布的均值的共轭先验分布是伽玛分布。的共轭先验分布是伽玛分布。第45页/共100页3.3.共轭先验的优缺点共轭先验的优缺点 1.1.优点：优点：1 1）计算方便）计算方便 2 2）后验分布的参数可以得到很好的解释。）后验分布的参数可以得到很好的解释。3 3）便于对历史数据的充分利用。）便于对历史数据的充分利用。2.2.缺点：缺点：1 1）合理性与共轭分布需要不一致。）合理性与共轭分布需要不一致。2 2）追求形式一致

28、，易于掩盖事实引起误用。）追求形式一致，易于掩盖事实引起误用。第46页/共100页例如：共轭2第47页/共100页4.其他常用共轭先验分布 共轭先验分布规律：共轭先验分布规律：1)1)共轭先验分布的选取，不能每次都来大海捞针式的将所有分布一一代入计算，这样也是共轭先验分布的选取，不能每次都来大海捞针式的将所有分布一一代入计算，这样也是不现实的。不现实的。2)2)共轭先验分布的选取与似然函数的形式有关共轭先验分布的选取与似然函数的形式有关-一般只要选取与似然函数同一般只要选取与似然函数同“核核”的分的分布作为先验分布，这样的先验分布一定是共轭先验分布，即与之同布作为先验分布，这样的先验分布一定是

29、共轭先验分布，即与之同“核核”第48页/共100页例：设 是来自正态分布 的一个样本，其中是已知，现求方差 的共轭先验分布解：由于总体分布为正态分布 所以其似然函数为 第49页/共100页将 看作变量来分析与上式的“核”相同的分布的函数形式，我们立即可知这是一个倒伽玛分布。所以我们选倒伽玛分布作为（正态分布中）参数 的共轭先验分布。第50页/共100页注：倒伽玛分布形式为若若X X服从服从GaGa（，），即），即令令 ，现在（利用公式法）求，现在（利用公式法）求y y的密度，的密度，所以所以 因此有因此有第51页/共100页这就是所谓倒伽玛分布。所以，倒伽玛分布这就是所谓倒伽玛分布。所以，倒伽

30、玛分布就是伽玛分布倒数的分布。就是伽玛分布倒数的分布。第52页/共100页所以，我们取倒伽玛分布为所以，我们取倒伽玛分布为 的先验分布，的先验分布，其中其中 与与 均为已知，则密度函数为均为已知，则密度函数为则后验分布为则后验分布为第53页/共100页容易看出，这正是一个倒伽玛分布。记为第54页/共100页例：设 为来自总体为指数分布exp()的样本，求均值的倒数的共轭先验分布。证：由于总体分布为指数分布exp()，所以似然函数为第55页/共100页由于其类似伽玛分布的“核”，所以取的先验分布为伽玛分布Ga（，），即第56页/共100页所以，的后验分布为这正是伽玛分布的“核”，所以指数分布均值

31、倒数的共轭先验分布为伽玛分布。第57页/共100页1.4 超参数及其确定1.超参数的定义。2.超参数的确定方法。1）利用先验矩；2）利用先验分位数；3）利用先验矩和分为数结合；4）其他方法。第58页/共100页1.超参数的定义先验分布中所含有的未知先验分布中所含有的未知参数称为超参数参数称为超参数第59页/共100页2.2.利用先验矩确定超参数利用先验矩确定超参数 其基本方法是先用实际数据估计先验分布的各阶矩，例如在已知其基本方法是先用实际数据估计先验分布的各阶矩，例如在已知 利用这些数据可计算一阶原点矩和二阶中心矩：利用这些数据可计算一阶原点矩和二阶中心矩：，第60页/共100页 令各阶实际

32、计算的经验矩与先验分布的理论上的同阶矩相等构成方程（或方令各阶实际计算的经验矩与先验分布的理论上的同阶矩相等构成方程（或方程组）。程组）。解方程即可求得各超参数。如以贝塔分布解方程即可求得各超参数。如以贝塔分布BeBe（，）为例有：）为例有：第61页/共100页解方程得：第62页/共100页例：设 是来自指数分布Exp()的样本指数分布的密度函数为（1）验证伽玛分布Ga(，)是参数 的共轭先验分布。（2）若从先验信息得知，先验均值为0.0002,先验标准差0.0001,请确定其超参数。第63页/共100页解（1）对于参数的共轭先验分布问题前面已经验证，在此不重述。（2）由题意知，又伽玛分布的均

33、值和方差分别为所以有方程：第64页/共100页解得：第65页/共100页2.利用先验分位数假定通过先验信息可以确定先验分布的两个分位假定通过先验信息可以确定先验分布的两个分位数数 ，则从理论上讲可以利用这两个分位，则从理论上讲可以利用这两个分位数来确定超参数。数来确定超参数。仍以贝塔分布仍以贝塔分布BeBe（，）为例来说明有）为例来说明有解之便可得超参数。解之便可得超参数。第66页/共100页3.3.利用先验分位数和先验矩利用先验分位数和先验矩 根据有关的先验信息假定获取先验均值（或先验方差等）和根据有关的先验信息假定获取先验均值（或先验方差等）和p p分位数分位数 则从理则从理论上讲，可同时

34、利用先验矩和论上讲，可同时利用先验矩和p p分位数，来确定超参数。分位数，来确定超参数。仍以贝塔分布为例有仍以贝塔分布为例有第67页/共100页4.其他方法 其他方法主要是利用所获的的不全面的先验信息进行分析的方法。其他方法主要是利用所获的的不全面的先验信息进行分析的方法。原则是：在不知到其他信息的条件下，超参数的确定应该使得先验分布的方差较小。原则是：在不知到其他信息的条件下，超参数的确定应该使得先验分布的方差较小。即在即在的条件下，确定的条件下，确定 和和，使得方差，使得方差var()var()较小。较小。第68页/共100页1.51.5多参数模型多参数模型 在统计学中实际上很多实际问题都

35、含有多个未知参数，如正态分布可能有两在统计学中实际上很多实际问题都含有多个未知参数，如正态分布可能有两个未知参数，二项分布也可能有两个参数等。个未知参数，二项分布也可能有两个参数等。这类问题应该来说在实际工作中是普遍存在的现象。处理这类问题其原理本这类问题应该来说在实际工作中是普遍存在的现象。处理这类问题其原理本质上与单参数问题是一致的。质上与单参数问题是一致的。第69页/共100页为了简便以两参数为例阐述原理 一般地，设总体含有二参数一般地，设总体含有二参数 ，总体密度函数为，总体密度函数为 ，若从该总体中抽，若从该总体中抽得样本得样本 。又设。又设 的联合先验分布为的联合先验分布为 ，根据

36、贝叶斯公式，根据贝叶斯公式，后验分布为：后验分布为：通常人们所关心的是部分参数，其余参数被称为讨厌参数或多余参数。通常人们所关心的是部分参数，其余参数被称为讨厌参数或多余参数。第70页/共100页 按照概率分布的有关理论，当联合后验分布确定以后，为了获得我们所关心的参数按照概率分布的有关理论，当联合后验分布确定以后，为了获得我们所关心的参数的后验密度只需要对讨厌参数积分即可的后验密度只需要对讨厌参数积分即可 对于先验分布对于先验分布 的确定，也应该考虑到的确定，也应该考虑到 中各参数之间会有一定中各参数之间会有一定的相互影响，因此按照有关原理（例见多参的相互影响，因此按照有关原理（例见多参1

37、1）第71页/共100页1.6 1.6 充分统计量充分统计量 研究充分统计量的意义研究充分统计量的意义 充分统计量的定义充分统计量的定义 充分统计量的等价定义（判别定理充分统计量的等价定义（判别定理1 1）因子分解定理（判别定理因子分解定理（判别定理2 2）第72页/共100页1.1.研究充分统计量的意义研究充分统计量的意义 研究充分统计量在简化统计研究的过程上，具有重要意义。研究充分统计量在简化统计研究的过程上，具有重要意义。充分统计量是经典统计和贝叶斯统计几个少有的一致的论点。充分统计量是经典统计和贝叶斯统计几个少有的一致的论点。研究充分统计量的目的就在于化简计算过程。研究充分统计量的目的

38、就在于化简计算过程。充分统计量意味着从充分统计量意味着从 原始数据中获取的关于原始数据中获取的关于 信息，完全可信息，完全可以从统计量以从统计量 获得。获得。第73页/共100页2.2.充分统计量的定义（充分统计量的定义（一般或原始）设设 为一来自某一（依赖于为一来自某一（依赖于 ）总体的样本，除）总体的样本，除 以外，其他参数均为已以外，其他参数均为已知。知。的函数的函数 被称为充分统计量，若被称为充分统计量，若 在给定在给定 的条件下的条件的条件下的条件分布与分布与 无关，即无关，即第74页/共100页例：设 是来自于总体 的样本（独立），若有 ，请判断 是 的充分统计量。解：由于解：由于

39、第75页/共100页第76页/共100页它显然与它显然与 无关，所以无关，所以T(x)=tT(x)=t是是 的充分统计的充分统计量。量。第77页/共100页3.充分统计量的等价定义（判别定理判别定理1 1）对于参数对于参数 而言，统计量而言，统计量T(x)T(x)称为充分统计量，如果不论称为充分统计量，如果不论 的先验分布为什么，相应的的先验分布为什么，相应的后验分布后验分布 总是总是 和和T(x)T(x)的函数。的函数。换一句话说：设换一句话说：设 是来自是来自 的一个样本的一个样本 T(x)=tT(x)=t是统计量，它的密度是统计量，它的密度函数设为函数设为 则则 T(x)=tT(x)=t

40、是充分统计量的充分必要条件是对任意先验分布总有是充分统计量的充分必要条件是对任意先验分布总有第78页/共100页4.4.因子分解定理因子分解定理 一个统计量一个统计量T(x)T(x)对参数对参数 是充分的充分必要条件是存在一个是充分的充分必要条件是存在一个t t和和 的函数的函数g(t,)g(t,)和一个样本的函数和一个样本的函数h(x)h(x)，使得对任意的样本和任意的，使得对任意的样本和任意的，样本的联合，样本的联合密度密度 可表示为它们的乘积，即可表示为它们的乘积，即第79页/共100页证明：必要性。若 则任给一个先验分布 相应的后验分布为第80页/共100页显然，上式右端只与T(x)和

41、有关，所以当 时T(x)是的充分统计量。充分性。（即T(x)是的充分统计量则应该有 ）若T(x)对是充分的，则取一先验分布 ，由充分性的定义知 可写成函数 （根据等价定义）第81页/共100页第82页/共100页即令证毕。第83页/共100页例：设有一批产品，废品率未知，进行有放回抽样，抽取n件产品，令则 是得到的样本，请判断T(x)的充分性。第84页/共100页解：首先来考察其样本的密度联合分布密度解：首先来考察其样本的密度联合分布密度记记T=xT=x，即，即第85页/共100页这里令：所以T(x)是的充分统计量。第86页/共100页在这里，T(x)实际上就是抽出的n件产品中所包含的废品件数

42、。从直观来看，T(x)包含了原始数据x中的有关的全部信息。因为样本x*，无非提供这样两方面信息抽出的n件产品中有几件废品；这几件次品是那几次抽出来的。尽管T(x)只包含了第一种信息，而实际上不包括第二种信息，但第二种信息的丢弃并不会对废品率产生什么影响，也就是说，在知道第一种信息以后，再知道第二种信息并不会使我们对（废品率）有更多的了解，所以T(x)相对于来说是充分的。第87页/共100页例：设 是来自正态分布 的一个样本。试利用贝叶斯公式证明二维统计量 是参数向量 的充分统计量。其中 第88页/共100页证明：证明：样本联合分布函数为样本联合分布函数为其中，其中，第89页/共100页设设 是任意一个先验分布，则是任意一个先验分布，则 的后验分布的后验分布为为第90页/共100页根据有关知识又知根据有关知识又知由此可得，由此可得，第91页/共100页由于 独立，所以二者的联合密度为利用先验分布 可得后验分布第92页/共100页所以有：可见 是 的充分统计量。第93页/共100页第94页/共100页第95页/共100页第96页/共100页第97页/共100页第98页/共100页第99页/共100页感谢您的观看。第100页/共100页