6统计决策与贝叶斯估计dmk.pptx

《6统计决策与贝叶斯估计dmk.pptx》由会员分享，可在线阅读，更多相关《6统计决策与贝叶斯估计dmk.pptx（82页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、参数估计 参数估计5/21/2023 5/21/2023第 第 1 1页 页11、统计决策统计决策o 一、统计决策的三个要素 1 样本空间和分布族设总体X的分布函数为 F(x;),是未知参数，若 是未知参数，若设X1,Xn是来自总体X的一个样本，则样本所有可能值组成的集合称为样本空间，记为X参数估计 参数估计5/21/2023 5/21/2023第 第 2 2页 页 2 决策空间（判决空间）对于任何参数估计，每一个具体的估计值，就是一个回答，称为一个决策，一个统计问题中可能选取的全部决策组成的集合称为决策空间，一个决策空间至少应有两个决策。3 损失函数 统计决策的一个基本假定是，每采取一个决策

2、，必然有一定的后果，统计决策是将不同决策以数量的形式表示出来参数估计 参数估计5/21/2023 5/21/2023第 第 3 3页 页o 常见的损失函数有以下几种（1）线性损失函数 绝对损失函数（2）平方损失函数（3）凸损失函数（4）多元二次损失函数参数估计 参数估计5/21/2023 5/21/2023第 第 4 4页 页o二、统计决策函数及风险函数 1 统计决策函数 定义3.1：定义在样本空间上X，取值于决策空间A 内的函数d(x)，称为统计决策函数，简称决策函数 决策函数就是一个行动方案，如果用表达式处理，d(x)=d(x1,x2,xn)本质上就是一个统计量参数估计 参数估计5/21/

3、2023 5/21/2023第 第 5 5页 页 2 风险函数 决策函数 d(X)，完全取决于样本，损失函数 L(,d)也是样本X 的函数,当样本取不同的值x时，决策 d(X)可能不同，所以损失函数值 L(,d)也不同，不能判断决策的好坏，一般从总体上来评价、比较决策函数，取平均损失，就是风险函数 定义3.2 设样本空间，分布族分别为X，F*，决策空间为A，损失函数为 L(,d),d(X)为决策函数,为决策函数d(X)的风险函数，R(,d),表示采取决策d(X)所蒙受的平均损失（L(,d)的数学期望）参数估计 参数估计5/21/2023 5/21/2023第 第 6 6页 页优良性准则优良性准

4、则 定义3.3 设d1,d2 是统计问题中的两个决策函数，若其风险函数满足不等式 则称决策函数d1 优于d2参数估计 参数估计5/21/2023 5/21/2023第 第 7 7页 页 定义3.4 设D=d(X)是一切定义在样本空间X 上，取值于决策空间A 上的决策函数全体，若存在一个决策函数d*(X)，使对任意一个d(X)都有 则称d*(X)为一致最小风险决策函数，或一致最优决策函数参数估计 参数估计5/21/2023 5/21/2023第 第 8 8页 页参数估计 参数估计5/21/2023 5/21/2023第 第 9 9页 页参数估计 参数估计5/21/2023 5/21/2023第

5、第 10 10页 页问题总结o 1 风险函数是二元函数，极值往往不存在或不唯一o 2 在某个区间内的逐点比较不现实（麻烦）o 3 对应不同参数的，同一决策函数，风险值不相等o 4 由统计规律的特性决定不能点点比较o 5 必须由一个整体指标来代替点点比较参数估计 参数估计5/21/2023 5/21/2023第 第 11 11页 页2.贝叶斯估计 1)统计推断的基础 经典学派的观点：统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总体信息和样本信息；贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。参数估计 参数估计5/21/2023 5/

6、21/2023第 第 12 12页 页（1）总体信息:总体分布提供的信息。（2）样本信息:抽取样本所得观测值提供的信息。（3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。参数估计 参数估计5/21/2023 5/21/2023第 第 13 13页 页 基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信

7、息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。参数估计 参数估计5/21/2023 5/21/2023第 第 14 14页 页 贝叶斯学派的基本观点：任一未知量 都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量 新的分布后验分布；任何关于 的统计推断都应该基于 的后验分布进行。参数估计 参数估计5/21/2023 5/21/2023第 第 15 15页 页o 2)先验分布利用先验信息的前提（1）

8、参数是随机的，但有一定的分布规律（2）参数是某一常数，但无法知道目标：充分利用参数的先验信息对未知参数作出更准确的估计。贝叶斯方法就是把未知参数视为具有已知分布的随机变量，将先验信息数字化并利用的一种方法，一般先验分布记为()参数估计 参数估计5/21/2023 5/21/2023第 第 16 16页 页3)3)贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式(后验分布）后验分布）设总体X 的分布密度函数P(x;)在贝叶斯统计中记为P(x|)，它表示在随机变量取某个给定值时总体的条件概率密度函数；P(x;)=P(x|)根据参数 的先验信息确定先验分布()；样本 x1,x2,xn 的联合条件分布

9、密度函数为 这个分布综合了总体信息和样本信息；参数估计 参数估计5/21/2023 5/21/2023第 第 17 17页 页 0 是未知的，它是按先验分布()产生的。为把先验信息综合进去，不能只考虑0，对的其它值发生的可能性也要加以考虑，故要用()进行综合。这样一来，样本x1,xn和参数 的联合分布为:f(x1,x2,xn,)=q(x1,x2,xn)()，简记为 f(x,)=q(x)()这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；参数估计 参数估计5/21/2023 5/21/2023第 第 18 18页 页 在有了样本观察值 x1,x2,xn 之后，则应依据 f(x

10、,)对 作出推断。由于 f(x,)=h(x1,x2,xn)m(x1,x2,xn)，其中m(x1,x2,xn)是x1,x2,xn 的边际概率函数，它与 无关。因此能用来对 作出推断的仅是条件分布h(x1,x2,xn)，它的计算公式是 参数估计 参数估计5/21/2023 5/21/2023第 第 19 19页 页 这个条件分布称为 的后验分布，它集中了总体、样本和先验中有关 的一切信息。后验分布h(x1,x2,xn)的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布()作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。参数估计 参数估计5/21/2023 5/21/2023

11、第 第 20 20页 页44）共轭先验分布）共轭先验分布o定义：设总体X 的分布密度为 p(x|),F*为 的一个分布族，()为 的任意一个先验分布，()F*,若对样本的任意观测值x,的后验分布h(|x|x)仍在F*内，称F*为关于分布密度 p(x|)的共轭先验分布族，简称共轭族。o计算共轭先验分布的方法 参数估计 参数估计5/21/2023 5/21/2023第 第 21 21页 页当给定样本的分布（似然函数）q(x|)和先验分布()；由贝叶斯公式得 h(x|)=()q(x)/m(x)由于m(x)不依赖于,改写为 h(x|)()q(x)上式不是正常的密度函数,是h(x|)的主要部分,称为h(

12、x|)的核参数估计 参数估计5/21/2023 5/21/2023第 第 22 22页 页o例8 X1,X2,Xn来自正态分布N(,2)的一个样本，其中 已知，求方差2的共轭先验分布参数估计 参数估计5/21/2023 5/21/2023第 第 23 23页 页o例9 X1,X2,Xn来自二项分布B(N,)的一个样本，求的共轭先验分布参数估计 参数估计5/21/2023 5/21/2023第 第 24 24页 页o计算共轭先验分布的方法 1.h(|x|x)=)=()q(x|)/m(x),m(x)不依赖于 先求出先求出qq(xx|),),再选取与再选取与qq(xx|)具有相同具有相同形式的分布作

13、为先验分布，就是共轭分布形式的分布作为先验分布，就是共轭分布 2.当参数 存在适当的统计量时，设存在适当的统计量时，设X X 的分的分布密度为布密度为 pp(xx|),),TT(XX)是是 的充分统计量的充分统计量,再由定理3.1，求得共轭先验分布族参数估计 参数估计5/21/2023 5/21/2023第 第 25 25页 页o定理3.1设f()为任一固定的函数,满足 参数估计 参数估计5/21/2023 5/21/2023第 第 26 26页 页 若后验分布h(x)与()属于同一个分布族，则称该分布族是 的共轭先验分布(族)。o 二项分布b(n,)中的成功概率 的共轭先验分布是贝塔分布Be

14、(a,b)；泊松分布P()中的均值 的共轭先验分布是伽玛 分布(,)；o 指数分布中均值的倒数的共轭先验分布是伽玛分布(,)；o 在方差已知时，正态均值 的共轭先验分布是正态分布N(,2);o 在均值已知时，正态方差 2的共轭先验分布是倒伽玛分布I(,)。参数估计 参数估计5/21/2023 5/21/2023第 第 27 27页 页55）贝叶斯风险）贝叶斯风险o定义：称为决策函数d(X)在给定先验分布()下的贝叶斯风险，简称d(X)的贝叶斯风险参数估计 参数估计5/21/2023 5/21/2023第 第 28 28页 页相当于随机损失函数求两次期望，一次对后验分布，一次对X 的边缘分布参数

15、估计 参数估计5/21/2023 5/21/2023第 第 29 29页 页6)6)贝叶斯点估计贝叶斯点估计定义：设总体X 的分布函数F(x,)中参数为随机变量，()为的先验分布，若在决策函数类D中存在一个决策函数d*(X)，使得对决策函数类D中的任一决策函数d(X)，均有 则称为d*(X)参数 的贝叶斯估计量参数估计 参数估计5/21/2023 5/21/2023第 第 30 30页 页定理3.2 设 的先验分布为()，损失函数为 L(,d,d)=(=(-d-d)22,则 的贝叶斯估计是 其中h(|x)|x)为参数 的后验密度。参数估计 参数估计5/21/2023 5/21/2023第 第

16、31 31页 页参数估计 参数估计5/21/2023 5/21/2023第 第 32 32页 页定理3.33.7，给出了各种损失函数下的贝叶斯估计，不证参数估计 参数估计5/21/2023 5/21/2023第 第 33 33页 页o定理3.3 设 的先验分布为()，取损失函数为加权平方损失函数 则 的贝叶斯估计为定理定理3.43.4 设(11,22,pp)TT 的先验分布为()，损失函数为则 的贝叶斯估计为参数估计 参数估计5/21/2023 5/21/2023第 第 34 34页 页定义：设d=d(x)为任一决策函数，损失函数为L(,d,d)，则L(,d,d)对后验分布h(|x|x)的数学

17、期望称为后验风险，记作 若存在一个决策函数d*(x)使得则d*(x)称为在后验风险准则下的最优决策函数参数估计 参数估计5/21/2023 5/21/2023第 第 35 35页 页定理3.5 对给定的统计决策问题（包括先验分布）和决策函数类D当满足 则贝叶斯决策函数d*(x)与贝叶斯后验型决策函数d*(x)等价定理定理3.6 3.6 设的先验分布为设的先验分布为()，损失函数为，损失函数为绝对值损失绝对值损失则则 的贝叶斯估计的贝叶斯估计d*(x)为后验分布为后验分布h(|xx)的的中位数中位数参数估计 参数估计5/21/2023 5/21/2023第 第 36 36页 页定理定理3.73.

18、7 设设 的先验分布为的先验分布为()，在线性损失，在线性损失函数函数 下下,则则 的贝叶斯估计的贝叶斯估计d*(x)为后验分布为后验分布h(|xx)的的kk11/(/(kk00+kk11)上侧分位数上侧分位数参数估计 参数估计5/21/2023 5/21/2023第 第 37 37页 页 常用贝叶斯估计 基于后验分布h(x)的贝叶斯估计，常用如下三种：o用后验分布的密度函数最大值作为 的点估计，称为最大后验估计；用后验分布的中位数作为 的点估计，称为后验中位数估计；用后验分布的均值作为 的点估计，称为后验期望估计。用得最多的是后验期望估计，简称为贝叶斯估计，记为。参数估计 参数估计5/21/

19、2023 5/21/2023第 第 38 38页 页求贝叶斯估计的一般步骤求贝叶斯估计的一般步骤o 1.根据总体X 的分布，求得条件概率q(x|)o 2.在已知 的先验分布()下，求得x与 的联合分布密度 f(x,)=)=()q(x|)o 3.求得X 的边缘分布m(x)o 4.计算h(|x|x)=)=()q(x|)/m(x)o 5.求数学期望o 6.求得贝叶斯风险（如果需要的话）参数估计 参数估计5/21/2023 5/21/2023第 第 39 39页 页o例3.11 设总体XB(1,p)，其中参数p未知，且服从0,1上的均匀分布，损失函数取二次损失函数L(,d,d)=(=(-d-d)22，

20、求参数p的贝叶斯估计及贝叶斯风险参数估计 参数估计5/21/2023 5/21/2023第 第 40 40页 页参数估计 参数估计5/21/2023 5/21/2023第 第 41 41页 页参数估计 参数估计5/21/2023 5/21/2023第 第 42 42页 页参数估计 参数估计5/21/2023 5/21/2023第 第 43 43页 页 若在试验前对事件A没有什么了解，对其发生的概率 也没有任何信息。贝叶斯本人建议采用“同等无知”的原则使用区间（0,1）上的均匀分布U(0,1)作为 的先验分布，因为取（0,1）上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。参数估计

21、参数估计5/21/2023 5/21/2023第 第 44 44页 页某些场合，贝叶斯估计要比极大似然估计更合理一点。比如:“抽检3个全是合格品”与“抽检10个全是合格品”，后者的质量比前者更信得过。这种差别在不合格品率的极大似然估计中反映不出来（两者都为0），而用贝叶斯估计两者分别是 0.2 和 0.83。由此可以看到，在这些极端情况下，贝叶斯估计比极大似然估计更符合人们的理念。参数估计 参数估计5/21/2023 5/21/2023第 第 45 45页 页例设总体XN(,1)，其中未知，假定N(0,1)，对于给定的损失函数L(,d,d)=(=(-d-d)22，求 的贝叶斯估计量参数估计 参

22、数估计5/21/2023 5/21/2023第 第 46 46页 页参数估计 参数估计5/21/2023 5/21/2023第 第 47 47页 页参数估计 参数估计5/21/2023 5/21/2023第 第 48 48页 页例3.15X1,X2,Xn来自正态分布N(,02)的一个样本，其中02已知，未知，假设 的先验分布为正态分布N(,2)，其中先验均值 和先验方差 2均已知，试求 的贝叶斯估计。解：样本x的联合分布和 的先验分布分别为参数估计 参数估计5/21/2023 5/21/2023第 第 49 49页 页由此可以写出x与 的联合分布其中，若记则有参数估计 参数估计5/21/202

23、3 5/21/2023第 第 50 50页 页 注意到A,B,C均与 无关，样本的边际密度函数 应用贝叶斯公式即可得到后验分布 这说明在样本给定后，的后验分布为 N(B/A,1/A)，即|x N(B/A,1/A)参数估计 参数估计5/21/2023 5/21/2023第 第 51 51页 页 后验均值即为其贝叶斯估计：它是样本均值 与先验均值的加权平均。参数估计 参数估计5/21/2023 5/21/2023第 第 52 52页 页贝叶斯估计的误差贝叶斯估计的误差参数估计 参数估计5/21/2023 5/21/2023第 第 53 53页 页参数估计 参数估计5/21/2023 5/21/20

24、23第 第 54 54页 页贝叶斯区间估计贝叶斯区间估计参数估计 参数估计5/21/2023 5/21/2023第 第 55 55页 页o两种区间估计的区别 1）构造一个统计量，并求得其概率分布 2）利用参数的后验分布o区间估计求解步骤 前面同贝叶斯点估计；求得后验分布后按置信度，分开单侧、双侧查表，得出置信上下界。注意：贝叶斯区间估计的置信区间较短；贝叶斯点估计不再要求无偏性。参数估计 参数估计5/21/2023 5/21/2023第 第 56 56页 页o例3.15x1,x2,xn来自正态分布N(,02)的一个样本，其中02已知，未知，假设 的先验分布为正态分布N(,2)，其中先验均值 和

25、先验方差 2均已知，试求 的贝叶斯区间估计。解：由贝叶斯点估计知参数估计 参数估计5/21/2023 5/21/2023第 第 57 57页 页参数估计 参数估计5/21/2023 5/21/2023第 第 58 58页 页o例3.16 对某一儿童做智力测验x=115，设结果为XN(,100),为智商，根据经验 N(100,225)，求该儿童智商的0.95贝叶斯置信区间o解：由上题结论知，的后验分布服从正态分布 参数估计 参数估计5/21/2023 5/21/2023第 第 59 59页 页参数估计 参数估计5/21/2023 5/21/2023第 第 60 60页 页最大最小估计（极大极小）

26、最大最小估计（极大极小）minmaxminmaxo定义：设D是决策函数的集合，若有d*(x)=d*(x1,x2,xn),d*D，使得对任意一个决策函数d(x1,x2,xn)，总有 则称d*为最大最小决策函数，当上界能取到时可记为参数估计 参数估计5/21/2023 5/21/2023第 第 61 61页 页解题步骤解题步骤（11）对）对D D 中所有决策函数求最大风险中所有决策函数求最大风险（22）在所有最大风险值中选取最小值）在所有最大风险值中选取最小值 此最小值所对应的决策函数就是最大最小此最小值所对应的决策函数就是最大最小决策函数。决策函数。参数估计 参数估计5/21/2023 5/21

27、/2023第 第 62 62页 页o例设总体 X 服从两点分布，试求 p 的极大极小估计量，其中L(p,d)d=0.25 d=0.5P1=0.25 1 4P2=0.5 3 2参数估计 参数估计5/21/2023 5/21/2023第 第 63 63页 页o解：决策空间为A=0.25,0.5，选取容量为1的子样，x只能取0,1 a只能取0.25，0.5，则决策函数d(x)有四个：dx ad1(x)d2(x)d3(x)d4(x)0 0.25 0.5 0.25 0.51 0.25 0.5 0.5 0.25参数估计 参数估计5/21/2023 5/21/2023第 第 64 64页 页o风险函数R(p

28、,d)R(p1,di)R(p2,di)maxR(pi,dj)d1 1 3 3d2 4 3 4d3 7/4 5/2 5/2d4 13/4 5/2 13/4参数估计 参数估计5/21/2023 5/21/2023第 第 65 65页 页min(maxR(pi,dj)=5/2则极大极小估计为R(p,d)计算举例参数估计 参数估计5/21/2023 5/21/2023第 第 66 66页 页o例：地质学家把地层状态分为0，1两种，并把当地无石油记为0，有石油记为1，分布规律如下表o x0 10（无油）0.6 0.41（有油）0.3 0.7参数估计 参数估计5/21/2023 5/21/2023第 第

29、67 67页 页决策空间为A=a1,a2,a3，其中a1为钻探石油，a2为出卖土地，a3为开发旅游。损失函数L(,a)取下表 aa1 a2 a30（无油）12 1 61（有油）0 10 5参数估计 参数估计5/21/2023 5/21/2023第 第 68 68页 页 决策函数d(x)取下表(取n=1)（9个决策函数）x1 d1 d2 d3 d4 d5 d6 d7 d8 d90 a1 a1 a1 a2 a2 a2 a3 a3 a31 a1 a2 a3 a1 a2 a3 a1 a2 a3参数估计 参数估计5/21/2023 5/21/2023第 第 69 69页 页风险函数R(i,dj)及最大值

30、表di(x1)d1 d2 d3 d4 d5 d6 d7 d8 d9R(0,di)12 7.6 9.6 5.4 1 3 8.4 4 6R(1,di)0 7 3.5 3 10 6.5 1.5 8.5 5maxR(,di)12 7.6 9.6 5.4 10 6.5 8.4 8.5 6参数估计 参数估计5/21/2023 5/21/2023第 第 70 70页 页 可知：min(maxR(,di)=5.4，其对应的决策函数为d4，所以d4是这个统计决策问题的最大最小决策函数。d4 为：d4(0)=a2,d4(1)=a1 即当地质学家的结论是无油时出卖土地，有油时钻探石油。参数估计 参数估计5/21/2

31、023 5/21/2023第 第 71 71页 页R(,d)计算举例参数估计 参数估计5/21/2023 5/21/2023第 第 72 72页 页o定理3.8 给定一个统计决策问题，如果存在某个先验分布下的贝叶斯决策函数的风险函数是一个常数，那么该决策函数必定是这个统计问题的一个最大最小决策函数。o若给定的统计决策问题是参数的点估计，在定理条件下，相应的决策函数必为参数的最大最小估计量参数估计 参数估计5/21/2023 5/21/2023第 第 73 73页 页例3.18 设总体XB(1,p)，p未知，服从分布损失函数为 L(,d,d)=(=(-d-d)22，参数p的贝叶斯估计 为p的最大

32、最小估计 参数估计 参数估计5/21/2023 5/21/2023第 第 74 74页 页参数估计 参数估计5/21/2023 5/21/2023第 第 75 75页 页参数估计 参数估计5/21/2023 5/21/2023第 第 76 76页 页o定理3.9 给定一个贝叶斯决策问题，设 k():k 1为参数空间上的先验分布列，dk:k1和RB(dk):k1分别为相应的贝叶斯估计列和贝叶斯风险列，若d0是 的一个估计，且风险函数满足，则d0为 的最大最小估计参数估计 参数估计5/21/2023 5/21/2023第 第 77 77页 页o定理3.10 给定一个贝叶斯决策问题，若d0是 的一个

33、估计，其风险函数R(,d0)在参数空间上为常数，且 k():k 1为先验分布列，使得相应的贝叶斯估计列dk:k1的贝叶斯风险满足 则d0为 的最大最小估计参数估计 参数估计5/21/2023 5/21/2023第 第 78 78页 页o例3.19 x1,x2,xn来自正态分布N(,1)的一个样本，设 的先验分布N(0,2)，其中 2已知，在0-1损失函数下 的贝叶斯为估计 证明样本均值是 的最大最小估计参数估计 参数估计5/21/2023 5/21/2023第 第 79 79页 页证明：由例证明：由例3.153.15知知参数估计 参数估计5/21/2023 5/21/2023第 第 80 80页 页o 的贝叶斯为估计为参数估计 参数估计5/21/2023 5/21/2023第 第 81 81页 页参数估计 参数估计5/21/2023 5/21/2023第 第 82 82页 页演讲完毕，谢谢观看！