贝叶斯分析决策27396.docx

《贝叶斯分析决策27396.docx》由会员分享，可在线阅读，更多相关《贝叶斯分析决策27396.docx（16页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、贝叶斯分析Bayessean Anallysiss4.0引引言一、决策问问题的表格格表示损失矩阵阵 对对无观察(No-ddata)问题 a= 可可用表格(损失矩阵阵)替代决策策树来描述述决策问题题的后果(损失): ()()()或 ()()()损失矩阵直直观、运算算方便 二、决策原原则 通通常，要根根据某种原原则来选择择决策规则则，使结果果最优(或满意)，这种原原则就叫决决策原则，贝贝叶斯分析析的决策原原则是使期期望效用极极大。本章章在介绍贝贝叶斯分析析以前先介介绍芙他决决策原则。三、决策问问题的分类类：1.不确定定型(非确定型型) 自自然状态不不确定,且各种状状态的概率率无法估计计.2.风险型

2、型 自自然状态不不确定,但各种状状态的概率率可以估计计.四、按状态态优于： I, 且至少少对某个ii严格不等等式成立, 则称行行动按状态态优于4.1 不确定定型决策问问题一、极小化化极大(wwald)原则(法则、准准则) ll ( , ) 或 例:1087941921316121469810 各各行动最大大损失: 113 116 12 14 其其中损失最最小的损失失对应于行行动. 采采用该原则则者极端保保守, 是悲观观主义者, 认为老老天总跟自自己作对.二、极小化化极小 l ( , ) 或或 例:1087941921316121469810 各各行动最小小损失: 4 1 7 2 其其中损失最最

3、小的是行行动. 采采用该原则则者极端冒冒险，是乐乐观主义者者，认为总总能撞大运运。三、Hurrwitzz准则上两法的折折衷，取乐乐观系数入入 l ( , )（1 l ( , )例如 =0.5时时 : 2 0.5 3.5 11 （1: 6.5 88 66 7 两者之和和： 8.5 88.5 9.5 8其中损失最最小的是：行动四、等概率率准则(LLaplaace) 用 来评价行行动 的优劣 选 上例例： : 33 344 366 355 其中行动动 的损失最最小五、后梅值值极小化极极大准则(svagge-Niiehanns)定义后梅值值 =- 其中为为自然状态态为 时采取不不同行动时时的最小损损失

4、.构成后梅值值(机会成本本)矩阵 S= ,使后梅梅值极小化化极大,即: 例:损失矩矩阵同上, 后梅值值矩阵为: 3 1 0 2 3 0 8 1 1 4 0 2 0 3 2 4各种行动的的最大后梅梅值为: 3 4 8 4 其其中行动aa1 的最大大后梅值最最小,所以按后后梅值极小小化极大准准则应采取取行动1.六、Kreelle准准则：使损失是效效用的负数数(后果的效效用化),再用等概概率(Laaplacce)准则则.七、莫尔诺诺(Mollnor)对理想决决策准则的的要求 (19554) 1.能把方案案或行动排排居完全序序； 2.优劣次序序与行动及及状态的编编号无关； 3.若行动 按状态优优于，则

5、应应有 优于 ； 4.无关方案案独立性：已经考虑虑过的若干干行动的优优劣不因增增加新的行行动而改变变； 5.在损失矩矩阵的任一一行中各元元素加同一一常数时，各各行动间的的优劣次序序不变； 6.在损失矩矩阵中添加加一行，这这一行与原原矩阵中的的某行相同同，则各行行动的优劣劣次序不变变。4.2 风险型决决策问题的的决策原则则一、最大可可能值准则则 令 ()=maax() 选 使使 l(,)=l(,)例：()0.276.560.53450.3410 () 概率最最大, 各行动动损失为 3 4 5 应选行动动二、贝叶斯斯原则使期望损失失极小： l( , ) () 上例中,各行动的的期望损失失分别为 4

6、.1 3.66 3.7, 对应于的期期望损失33.6最小小应选.三、贝努利利原则损失函数取取后果效用用的负值,再用Bayyes原则则求最优行行动.四、EVV(均值方差)准则 若若 且 则优于通常不存在在这样的 上例中中: E 4.1 3.6 33.7 V() 22.29 3.799 5.9967不存在符合合EV准则的行行动, 这时可可采用f(,)的值来判判断(为效益型型后果的期期望) - ff( ，)= - -(+) f越大越越优.五、不完全全信息情况况下的决策策原则(HHodgees-Leehmannn原则) 状态态概率分布布不可靠时时, 可采用用: ()= + i=1,2, ,m j=1,

7、2,n 越大越优优.4.3贝贝叶斯定理理一、条件概概率1.A、BB为随机试试验E中的两个个事件 P(AAB)=PP(AB)/P(BB)由全概率公公式: jj=1,22,n 是样样本空间的的一个划分分, P(B)=PP(B|)P()得Bayees公式 P(|B)=P(B|)P()/PP(B) = P(B|)P()/P(BB|)P()2. 对,两个随机机变量条件概率率密度 ff(| x)=f(xx |)f()/f(x) 在主观概概率论中 (| x)=f(xx |)()/m(x)其中：()是的先验概概率密度函函数 f(xx)是出现时，xx的条件概概率密度,又称似然然函数. m(xx)是x的边缘密密度

8、, 或称预预测密度. m(xx)= ff(x |)() d 或 p(x|)() (x)是观察察值为x的后验概概率密度。例：A 坛坛中白球330%黑球球70% B 坛中中白球700%黑球30%两坛外形相相同，从中中任取一坛坛，作放回回摸球122次,其中白球球4次，黑球球8次，求所所取为A坛的概率率.解：设观察察值4白8黑事件为为x，记取A坛为 , 取B坛为 在在未作观察察时，先验验概率p()=p()=0.5 则在作观观察后，后后验概率 PP(|x)=p(xx|)p()p(x|)p()+p(x|)p() =0.5(0.5+0.5) =() =0.240110.24482 =0.967 显显然, 通

9、过试试验、观察察、可修正正先验分布布.4.4 贝叶斯分分析的正规规型与扩展展型一、正规型型分析由Bayssean原原则：先验验分布为()时，最优优的决策规规则是贝叶斯斯规则,使贝叶斯斯风险 r(, )= r(,(x)其中：r(,(x)= R(,(x) = l(,(x) = l(,(x) f(xx |)dx() d (1) 据据(1)式，选选使r(，)达到极小小，这就是是正规型的的贝叶斯分分析。 在在解实际问问题时，求求使(1)式极小的的(x)往往往十分困难难，尤其在在状态和观观察值比较较复杂时，集中的策略数目很大，穷举所有的(x)有困难，且计算量颇大。实际上可用下法：二、扩展型型贝叶斯分分析(

10、Exxtenssive Formm Anaalysiis)在(1)式式中因l(,)-，f(x)，()均为有限限值。由Fubbini定定理，积分分次序可换换即r(,(x)= ll(,(x) f(xx |)dx() d = ll(,(x) f(xx |)() ddx (22)显然，要使使(2)式达达到极小，应应当对每个个xX，选择，使 ll(,(x) f(xx |)() d （2）为极极小(x)=a 若对给定定的x,选a，使 l(,(x) f(xx |)() d 为极小亦即，使 l(,a) f(x |)() d =l(,a) (|x) d 或 l(,a)p(|xx) (3) 达极小小，即可使使(1

11、)式为为极小.结论： 对对每个x，选择行行动a，使之对对给定x时的后验分分布(x)的期望望损失为极极小，即可可求得贝叶叶斯规则。 这这种方法叫叫贝叶斯分分析的扩展展型，由此此确定的贝贝叶斯规则则叫forrmal Bayeeseann Rulle Raiiffa Sehllaifeer,19961年提提出。Notee使(3)式达极小小的行动可可能不只一一个，即可可能有多个个贝叶斯规规则；扩展型比比正规型更更直观，也也容易计算算，故更常常用；许多分析析人员只承承认扩型，理理由是： ii，(x)描述了了试验后的的的分布，比比()更客观，因因此，只要要损失函数数是由效用用理论导出出的(即考虑了了DMe

12、rr的价值判判断、风险险偏好)，在评价价行动a的优劣时时就应当用用后验期望望损失。 iii, rr(，)是根据()求出的，而而用先验分分布()来确定行行动a并不一定定适当。 从根根本上讲，这这种观点是是正确的。无论从何何种观点来来进行贝叶叶斯分析，从从理论上讲讲，结果是是一样的，所所以采用何何种方法可可视具体问问题，据计计算方便而而定。已经证明明，形式贝贝叶斯分析析对一类非非随机性决决策规则是是成立的，也也可以证明明它对随机机性决策规规则同样成成立。使所所有x上后验期期望损失极极小的贝叶叶斯规则也也是随机性性规则集*中的Bayyes规则则，因此，总总可以找到到一验期望望损失极小小的非随机机性规

13、则。三、例(先先看无观察察问题)农民选择作作物问题，设设某地旱年年占60%，正正常年景占占40%; 种植耐旱旱作物种不耐旱作作物，后果果矩阵为: 20 0 60 1100决策人的效效用函数 u(y)=(1-)解：i令：l(y)=1-uu(y) ii,作决决策树：iii, 在无观察察时, RR=l, r= l(,a)() rr(, )=ll(,)()+l(,)() =0.662 0.6+0.199 0.4 =0.4448 rr(, )= l(,)()+l(,)() =1.00 0.6+0 0.4 =0.66风险r小者者优, =，是贝叶叶斯规则, 即贝叶叶斯行动.即应选择择耐旱作物物。四、例(续续

14、上)设气象预报报的准确性性是0.88，即p(|)=0.8 pp(|)=0.8其中，预报报干旱 预报正正常年景则 mm()=pp(|)()+p(|)() =00.8 0.6+0.2 0.4=0.566 m()=0.444 (|)=p(|)()m() =0.8 0.60.566=0.886 (|)=p(|)()m() =0.2 0.60.444=0.227 (|)=0.14 (|)=0.731. 正规型分析析策略: = () =()r(, )=l (,()p(|)()4-7 = l (,)p(|)()+l (,)p(|)() + ll (,)p(|)()+l (,)p(|)() =0.6220.8

15、0.6+1.0 0.20.6+0.199 0.20.4+0.0 0.880.4 =0.43328策略: =() =() r(, )=l (, ()pp(|)() = l (,)p(|)()+l (,)p(|)() + l (,)p(|)()+l (,)p(|)() = 0.620.20.6+1.00.80.6+0.1990.8 0.44+0.000.8 0.44 =0.66152策略: = () =() r(, )=00.45策略： =（） =（） r(, )=00.6r(, ) r(, ) r(, ) r(, ) fff 是是贝叶斯行行动。 482.扩展型之之一：据(2) : l(,(x)

16、f(xx |)() d 记作r给定(预预报干旱):采用 rr=l (,)p(|)() = ll (,)p(|)() + l (,)p(|)() = 00.620.80.6+0.199 0.20.4 =0.31288采用 rr= ll (,)p(|)() + l (,)p(|)() =0.48 风险小者者优 给定应选给定(预预报天气正正常) 采用 rr= ll (,)p(|)() + l (,)p(|)() =0.620.20.6 + 0.19 0.88 0.44 =0.135 采用 rr= ll (,)p(|)() + l (,)p(|)() =1.00.20.6 + 0 =0.12 给给定应

17、选由此得形式式Bayees规则 : = () =() 3.扩展型之之二：据(3)式 即l(,a) (|x) d 或 l(,a)(|x)(记作r”)给定, 采用 r”= l(,)(|) = l(,)(|) + l(,)(|) =0.662 0.866 + 00.19 0.144 =0.556 采用 r”= l(,)(|) + l(,)(|) = 1.0 0.866 + 0 0.114 =0.886给定，应应选行动.给定 采用用 r”= l(,)(|) = l(,)(|) + l(,)(|) =00.62 0.277 + 00.19 0.733 = 00.30661 采用用 r”= l(,)(|)

18、 = l(,)(|) + ll(,)(|) =11.0 0.277 + 00 0.733 =0.27给定 应选择行行动.形式Baayes规规则: = () =()4.5 非正常先先验与广义义贝叶斯规规则一、非正常常先验(IImprooper Prioor)概率测度的的三个条件件：i,规范性性：P()=1ii,非负负性：0P(A)1iii,可可列可加性性在设定先验验分布时，若若不满足规规范性，则则称为非正正常先验.二、广义贝贝叶斯规则则(Generral BBayessean Rule)1.定义：决策问题的的损失函数数为l(,a)，()为非正常常先验分布布，对给定定的，使i, l(,(x) f(

19、xx |)() d 为极小，或或者ii, 00m(x)时,使 l(,a) (|x) d 为极小的的策略(行动)，构成广广义贝叶斯斯规则.2.Nolle：在许多重重要场合，所所有允许的的都是GBBR 在无法得得到正常先先验时，除除此别无良良策； GBR不一一定是最好好的决策规规则4.6 一种具具有部分先先验信息的的贝叶斯分分析法一、概述1.思路：在部分先先验信息难难以唯一地地确定()时，抛开开唯一性要要求，转而而确定与已已知先验信息相符的的先验分布布的集。2.符号i, 和A为有限集集：=, AA=, 损失失矩阵L= =l (,)ii,根据据贝叶斯分分析的扩展展型 给定xx，应从集集合A中选一行行

20、动 ，使 q(a)= l (,a) p(|)() 为极小小,亦即 = aarg qq(a) 或 q()q() j=1,2,m (44) 则 为贝贝叶斯行动动.记p(|)为(x) , () 为L=, =,则 l (,aa) p(|)()=Ldiaag(xx) (4)式可可表示成 Ldiaag(xx)Ldiaag(xx) i=11,2, ,n (55) jj=1,22, ,m(5)式即即 (L-1 L) diiag(x) 0 (5)记 (L-1 L) diiag(x) 为D(x), 式(5)可表示为为: DD(x) 0 (55”)3. (55”)式的的含义(1)给定定x，先验分分布为时，应选选 使

21、5(即5, 亦即5”)式成立。(2) 对给定的xx，要使 成为贝叶叶斯行动,应满足 55(即5, 亦即5”)式. 由(22)可以定定义 (x)= | D(x) 0 ;, 0 式中, 是先验分分布的所有有可能的集集, (x) 是的一个子子集，它能能i,使 对给定定x为Bayees行动 iii,满足足规范性和和非负性二、分析步步骤1. 确定定(x)2. 确定定先验信息息对先验分分布()的约束： Q= | A0, , 0 式中中, A0是先验信信息对先验验分布()的约束.3.结论：当 (x) 与Q有非空交交集时，为为Bayees行动.三、例已知：i, Q= | 0.5, , , ii,由已往的的统计

22、资料料，三种病病患者的白白血球计数数： ff(x| )= NN( 30000, 10000 ) ff(x| )= NN( 30000, 10000 ) ff(x| )= NN( 30000, 10000 ) iiii,观察：x=50000要求判定：患者得什什么病解：p(xx|)= p(50000|) = eedx 令x= = eedx =0.97988 - 00.97444 = 0.00054同理可得: p(x| )=00.00991 p(x| )=00.000001055L= , 1 = , L-1 = , diiag(x)= DD= D(50000) 0 即(50000)= | -1.69 0, -00.0033150, 同理可得(50000)和 (50000)三、几何意意义1. 由 2.Q: 由先验信信息确定红红框内为QQ3.从 DD(x) 0 得, .4- 16