贝叶斯分析学习.pptx

《贝叶斯分析学习.pptx》由会员分享，可在线阅读，更多相关《贝叶斯分析学习.pptx（73页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、风险型决策问题的决策准则最大可能值准则先看发生概率最大，再看损失值最小；效用则反之。如P73例1贝叶斯准则后果的期望效用最大；或损失的期望效用最小。第1页/共73页风险型决策问题的决策准则E-V准则优势原则与随机性决策准则（1）当概率不能确定时采用；（2）优势原则：见课本75页例题（3）随机策略：删除最劣方案第2页/共73页损失函数、风险函数和贝叶斯风险第3页/共73页损失函数、风险函数和贝叶斯风险 损失函数记作l(,a)，它表示一决策问题当状态为，决策人的行动为a时，所产生的后果使决策人遭受的损失。由于损失函数可能为负值，因此它也能反映决策人获得的收益。后果的效用越大，损失越小。故用效用函数

2、去定义损失函数的一种简单办法，是令 l(,a)=-u(,a)为了使损失函数非负，可以定义为 由于损失函数经过任何正线性变换仍然是同一优先关系的效用函数，因此以上两种形式的损失函数都会得到同样的分析结果。第4页/共73页 给定的，观察的结果（信息）X是一随机变量，用F(x)记X的条件分布函数，用f(x)记X的条件密度函数，用 记随机变量的样本空间。决策规则 就是由所有可能信息值的集合到所有可能行动的集合的一个映射。换句话说，决策规则是这样一个规则，按照这个规则，对于每一个信息值X均有唯一确定的可行行动a=(x)与之对应。设给定一个决策规则(x)，在任一状态下，当信息值X确定后，它所对应的行动(x

3、)也就确定了，从而(x)的损失值为l(,(x)，它也是一随机变量。当给定，l(,(x)对X的期望值称为风险函数，并记为R(,)，R(,)=E x l(,(x)第5页/共73页若X为离散随机变量，则由于决策认事先不知道真实状态，他只能对随机状态的先验密度()作出主观估计。所以进行决策分析时，还需要将损失函数R(,(x)对取期望值，即第6页/共73页如为连续随机变量，则如为离散随机变量，则第7页/共73页 r(,)称为决策规则 相对于 的贝叶斯风险。对于固定的决策规则(x)，其贝叶斯风险为一常数，它反映出利用这一决策规则决策的平均损失。三种标准的“损失函数”：（1）平方损失：更一般的平方损失是加权

4、平方损失，其形式是第8页/共73页 线性损失 “0-1”损失第9页/共73页例.有两类盒子：甲类盒子只有一个，其中装有80个红球，20个白球；乙类盒子共有三个，每个盒子均装有20个红球，80个白球。四个盒子外表一样，内容不知。今从中任取一盒，请你猜它是哪类的。如果猜中，付你1元钱；如果未猜中，不付你钱。那么你怎样猜法？如果从这个盒子中任意抽取N个球（回置地），让你观察，你如何根据这N个球的性质来选择自己的行动？当容量为1或2的抽样时，求各决策规则的风险函数和贝叶斯风险，并分别指出最佳决策规则。解：令表示所取出的这个盒子中红球所占的比例。显然，只能取两个值：若这个盒子是甲类的，=1=0.8；若这

5、个盒子是乙类的，=1=0.2。用a1、a2分别表示猜这个盒子是甲类的和猜它是乙类的这两个行动方案。显然收益矩阵如表5.1所示。第10页/共73页表5.1猜盒问题的收益矩阵 1 2 1/4 3/4 a110a201假设N=1，即从你猜的那个盒子中取出1个球来观察。规定：对于红球，x=1；对于白球，x=0，其抽样分布如表5.2所示：第11页/共73页表5.2N=1时猜盒问题的抽样分布矩阵P()P(x=0/)P(x=1/)11/40.20.823/40.80.2第12页/共73页P(x=0/)表示从甲类盒子中抽取1球是白球的概率，显然它等于0.2。对另外三个概率可作类似理解。利用先验分布和抽样分布计

6、算后验分布：P(x=0)=0.21/4+0.83/4=0.65P(1/x=0)=0.05/0.65=1/13P(2/x=0)=0.60/0.65=12/13P(x=1)=0.81/4+0.23/4=0.35P(1/x=1)=0.2/0.35=4/7P(2/x=1)=0.15/0.35=3/7第13页/共73页表5.3N=1时猜盒问题的后验分布矩阵XP(x)P(1/x)P(2/x)00.651/1312/1310.354/73/7第14页/共73页样本容量N=2时，表5.4N=2时猜盒问题的抽样分布矩阵P()P(x=0/)P(x=1/)P(x=2/)11/40.040.320.6423/40.6

7、40.320.04第15页/共73页表5.5N=2时猜盒问题的后验分布矩阵XP(x)P(1/x)P(2/x)00.491/4948/4910.321/43/420.1916/193/19第16页/共73页本例中，如果样本容量为1，由于所有可能的抽样结果有2个，可行行动也有2个，故决策规则共有22=4个：1(x)=a12(x)=3(x)=4(x)=a2如果样本容量为2，那么抽样结果有3种可能，可行行动海时2个，因此决策规则共有23=8个。一般地，对于有S个可行行动的决策问题，若补充信息值有n个，则决策规则共有Sn个。第17页/共73页对于决策法则1(x)，无论是x=0或x=1，都有l(1,1(x

8、)=l(1,a1)=0l(2,1(x)=l(2,a1)=1于是 R(1,1(x)=l(1,1(x)=0R(2,1(x)=l(1,1(x)=1即1(x)的风险函数为其贝叶斯风险：r(,1)=R(1,1)P(1)+R(2,1)P(2)=0.75第18页/共73页对于决策规则2(x)，l(1,2(0)=l(1,a1)=0l(1,1(1)=l(1,a2)=1于是R(1,2(x)=R(1,2(0)P(x=0/1)+R(1,2(1)P(x=1/1)=10.8+00.2=0.8同样地，l(2,2(0)=l(2,a1)=1l(2,2(1)=l(2,a2)=0R(2,2(x)=R(2,2(0)P(x=0/2)+

9、R(2,2(1)P(x=1/2)=10.8+00.2=0.8因此，2(x)的风险函数为R(,2)=0.8其贝叶斯风险为r(,2)=0.8类似地，可以求出3和4的贝叶斯风险分别为r(,3)=0.2，r(,4)=0.25最佳决策规则为3第19页/共73页贝叶斯定理第20页/共73页贝叶斯定理贝叶斯定理：令A1,A2,An 为事件空间的某个划分，即=且 对于j l，AjAl=。令B是概率非零的任意事件，即P(B)0，则有P(AlB)=贝叶斯定理给出了先验分布和后验分布之间的关系。第21页/共73页给定x后的后验分布（或简称为后验）由(x)表示，正如符号所表示的，它定义为给定样本观测值x后的条件分布。

10、注意，和X的联合密度是h(x,)=()f(x)“后验分布”这个名称预示着(x)的作用，正如先验分布反映先于试验的对的信念。后验分布把的先验信念与含于样本x内关于的信息结合起来得出对的最后信念的合成图像。设状态的先验密度为()，贝叶斯定理指出，由观察X所确定的后验密度是(x)是第22页/共73页上式中的f(x)称为似然函数，m(x)称为预测密度。当为连续变量时，当为离散变量时，第23页/共73页第24页/共73页第25页/共73页贝叶斯分析第26页/共73页随机决策规则 有时需要以一种随机的方式采取行动，这类情况在有一个聪明的对手参与时尤为常见。例如硬币博弈。例3.3（硬币博弈）你和你的对手同时

11、亮出一枚硬币，若两枚硬币都是正面或都是反面，你赢对手1美元，否则你输对手1美元。你可采取的行为是a1选正面，或a2选反面。而初始状态可能为 1对手的硬币为正面，及 2对手的硬币为反面。a1和a2都是容许行为。如果这个博弈进行多次，显然若总采取a1或总是采取a2都是不明智的，因为对手将很快会掌握你的策略，从而决定出一个他稳操胜券的行为。同样地，对a1和a2任何有规律的选取方式也都会被聪明的对手识破，从而他会采取使他获胜的策略。所以避免这种根本性失败的唯一方法，是按随机的 第27页/共73页方式选取a1和a2。定义 对每一观察x，一个随机化决策规则*(x,)是行动集合 上的一个概率分布。它可解释为

12、，若x为观察值，则*(x,A)(A是的一个子集)为A内的一个行动被选中的概率。第28页/共73页 关于随机化决策规则的用途作一些讨论。先介绍一个记述随机化应用的颇为幽默的报告（引自Williams(1954)），即“Blotto上校问题”。它涉及一次军事战役，有趣的是，在Blotto上校征求下一步该如何行动的意见时，他的参谋（一个有丰富统计学知识的人）回答说：“用眼睛盯着地图框上的那只蚂蚁，当他爬到油斑点时，看一下你的手表秒针。如果秒针指在6秒或少于6秒时，应把你的军队平均布置在受威胁的各点上；如果秒针指在6秒和30秒之间，把整个后备军开赴达那（Dana）；如果秒针指在30-54秒之间，把后备

13、军开赴哈瑞（Harry）；如果秒针指在54-60秒之间，则重新注视另一只蚂蚁。”这个例子使随机化看起来很愚蠢。但用于上述情况，它可能是很有道理的。Blotto上校的军事敌方可能是非常聪明的对手，那么最好的办法就是随机选择一个行为，所叙述的蚂蚁爬到油斑的随机化方案可以认为是一个聪明的方法。第29页/共73页定义 决策规则1是比决策规则2R-优的，如果满足R(,1)R(,2)对所有的成立，而且存在一些使以上不等式严格成立。若R(,1)=R(,2)对所有成立，则称决策规则1与2是R-等价的。定义 若不存在比 R-优的决策规则，则称决策规则是容许的。若存在比 R-优的决策规则，则称决策规则是非容许的。

14、实际上，决策分析的目的是选择一种决策规则使它按某种意义最优。在随机决策分析中，最广泛使用的决策原则是贝叶斯原则，此外还有极小化极大原则和不变性原则等。决策原则第30页/共73页第31页/共73页第32页/共73页第33页/共73页第34页/共73页第35页/共73页第36页/共73页贝叶斯分析的正规型和扩展型贝叶斯分析的正规型贝叶斯分析的正规型 利用先验分布或后验分布求出贝叶斯风险r(,)，然后选择一决策规则，使r(,)为极小。这中分析方法称为贝叶斯分析的正规型。但是，用分析的正规型解题，计算非常困难。注意到r(,)的展开式，只要被积函数l(,(x)是有下界的并且概率测度是有限的，则由Fubi

15、ni定理，积分次序就可以交换。改变积分次序后，得 第37页/共73页使上式为极小，必须对每个xX X，选择，使积分 （4.56）为极小。如果将x识别为决策行动a，并对上式乘以(m(x)-1，m(x)是预测分布，则 （4.57）其中(x)是的后验密度。如果对于每个给定的x，选择一行动a使（4.56）式极小，它也必然会使（4.57）式的后验期望损失为极小。因此：第38页/共73页结论：如对于每个x选择一行动a使后验期望损失为极小，或等价地使 （4.58）为极小，就能得到贝叶斯行动a和对应的贝叶斯规则x。这个规则称为形式贝叶斯规则，相应的行动称为形式贝叶斯行动。由（4.57）或（4.58）式去寻求形

16、式贝叶斯规则，称为贝叶斯分析的扩展型。第39页/共73页第40页/共73页第41页/共73页第42页/共73页第43页/共73页第44页/共73页第45页/共73页第46页/共73页第47页/共73页第48页/共73页第49页/共73页第50页/共73页第51页/共73页第52页/共73页第53页/共73页第54页/共73页第55页/共73页第56页/共73页第57页/共73页进行实验在经济上是否合算，如果通过实验收集新信息虽能降低期望损失，但所增加的收入若不能支付实验费用，则得不偿失。因此需要计算由实验获得的信息能使期望损失的值降低多少。（一）完全信息期望值和抽样信息期望值决策人根据完全信息

17、取采取行动，必然能使他的损失为极小。在这种理想情况下的期望损失是信息的价值第58页/共73页它表明先根据给定的状态去选择行动a，使损失l(,a)为极小，然后再按照的先验密度去取损失函数的期望值。它是对未来状态完全掌握，或说得到了对未来状态有百分之百的准确度的信息（又叫完全信息）时的最大（小）盈利（费用），是一个理论上（或称理想的，实际上难于达到）的最佳值（因为实际上是很难获得对未来不确定状态的完全信息的）。如果决策人事先并不知道状态的值，他只能根据期望的损失去选择最好的行动，即选择一行动使期望损失为极小。因此，在没有完全信息时的期望损失是第59页/共73页EVPI（expectedvalueo

18、fperfectinformation）体现了由于信息不准（不完全）而取期望之最优法决策造成的盈利（费用）的减少（增大），此即是由获得完全信息时可避免的损失，故定义为完全信息价值（期望金额）。它亦等于最小的期望机会损失总额值。期望机会损失达到这个总额值的方案，就是最优方案。如果EVPI的值很小，甚至低于实验费用，则实验不宜进行。采用完全信息期望值取计算的一个主要优点是EVPI容易计算。但由于是极限值，所以偏大。如果采用抽样信息去计算贝叶斯风险，第60页/共73页能定义另一个量抽样信息期望值EVSI(expectedvalueofsampleinformation)，它表示极小贝叶斯风险和极小期

19、望损失之差，即一般EVSI的值要比EVPI的值小。第61页/共73页第62页/共73页第63页/共73页第64页/共73页第65页/共73页第66页/共73页第67页/共73页第68页/共73页作业：1.一个药物公司要决定是否将一种新的止痛药投放市场。影响这一决定的有许多因素，其中有两个是这样的：一个是在服此药的人中将证明此药有效的人数所占的比例（1）；另一个是在市场占领中此药将会占的比例（2）。其最终目的是决定：是否将此药投放市场；投放多少；价格如何等等。过去类似的新药介绍到市场的情形给2提供了大量的先验信息。比如说，过去类似新药占领市场率为1/10到1/5，而且在1/10到1/5之间的任何

20、值式等可能的。那么这个人的先验信息可被模型化为具有先验密度U(0.1,0.2)。公司确定的损失函数为求在状态为2时的风险函数第69页/共73页2.某企业拟生产销售某种产品，但对产品投入市场后的销售情况不太了解。为此，该企业作了初步调查和预测，了解到市场销售情况有销路好(1)、销路中等(2)和销路差(3)三种状态，并估算了相应的发生概率（即先验概率）和损益值。具体数据见下表。表1销售状态()先验概率P()损益值（百万元）销路好(1)0.2575销路中等(2)0.305销路差(3)0.45-30第70页/共73页由于该企业不知道表1中各销售状态的先验概率是否准确，因此想聘请一市场调查机构做一次全面

21、细致的市场调查和预测，以得到更位可靠的后验概率。但是聘请市场调查机构进行市场调查和预测需付给报酬30000元，而且其调查和预测的结果也有三种可能，即市场销路好(x1)、销路中等(x2)和销路差(x3)。由于该企业事先不知道聘请市场调查机构进行市场调查和预测的准确性如何，因此先要用历史数据进行预测分析。表2中的数据是依据过去的实际记录统计计算得到的，可作为预测分析的依据。第71页/共73页销售状态()销路好(1)销路中等(2)销路差(3)概率P调查预测结论xj销路好(x1)0.650.250.10销路中等(x2)0.250.450.15销路差(x3)0.100.300.75问：（1）企业有无必要聘请市场调查机构进行市场调查和预测？（2）企业是否继续生产销售该种产品？第72页/共73页感谢您的观看。第73页/共73页