贝叶斯网络学习.pptx

《贝叶斯网络学习.pptx》由会员分享，可在线阅读，更多相关《贝叶斯网络学习.pptx（44页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、贝叶斯网络是20世纪80年代发展起来的，最早由Judea Pearl于1986年提出，多用于专家系统，成为表示不确定性知识和推理问题的流行方法。贝叶斯网络最早起源于贝叶斯统计分析，它是概率理论和图论相结合的产物。本章通过引例讨论贝叶斯网络需要解决的问题；介绍贝叶斯概率基础；对贝叶斯网络进行概述；讲解贝叶斯网络的预测、诊断和训练算法；讲述SQL Server 2005中贝叶斯网络的应用方法。第1页/共44页第7章 目 录引例12贝叶斯概率基础贝叶斯网络概述3贝叶斯网络的预测、诊断和训练算法4SQL server2005中的贝叶斯网络应用5小结6第2页/共44页7.1引例先看一个关于概率推理的例子

2、。图71中有6个结点：参加晚会(party，PT)、宿醉(hangover，HO)、患脑瘤(brain tumor，BT)、头疼(headache，HA)、有酒精味(smell alcohol，SA)和X射线检查呈阳性(posxray，PX)。可以把图71想象成为这样一个场景：一个中学生回家后，其父母猜测她参加了晚会，并且喝了酒；第二天这个学生感到头疼，她的父母带她到医院做头部的X光检查图7.1 基于结点间概率关系的推理第3页/共44页7.1引例通过长期的观察，或者从别人那里了解，这个中学生的父母知道他们的女儿参加晚会的概率。通过长时间的数据积累，他们也知道他们的女儿参加晚会后宿醉的概率。因此

3、，结点party和结点hangover之间有一条连线。同样，有明显的因果关系或相关关系的结点之间都有一条连线，并且连线从原因结点出发，指向结果结点。针对图71所示的网络，有许多问题需要解决。例如:1)如果父母已知他们的女儿参加了晚会，那么第二天一早，她呼出的气体中有酒精味的概率有多大?也就是说，当party发生时，smell alcohol发生的概率有多大?2)如果他们的女儿头疼，那么她患脑瘤的概率有多大?这时，如果他们又知道昨晚她参加了晚会，那么综合这些情况，她患脑瘤的可能性有多大?第4页/共44页7.1引例这两个例子一个是从原因推理结果的，另外一个是从结果推导原因。还有一个是综合的问题。还

4、有许多从结果反推原因的例子。例如，如果父母早晨闻到他们的女儿呼出的气体中有酒精味，那么她昨晚参加晚会的概率有多大?等等。为了系统地解决上面的各类问题，需要先掌握一定的概率基础知识。第5页/共44页第7章 目 录引例12贝叶斯概率基础贝叶斯网络概述3贝叶斯网络的预测、诊断和训练算法4SQL server2005中的贝叶斯网络应用5小结6第6页/共44页7.2贝叶斯概率基础贝叶斯概率是贝叶斯网络运行的理论基础。就贝叶斯概率而言，其原理和应用都比较简单。但贝叶斯概率理论经历了长时间的波折才被逐渐认可，直到20世纪60年代，贝叶斯概率理论才被广泛接受并大量应用。下面将从基本的条件概率公式和全概率公式入

5、手介绍贝叶斯概率。先验概率、后验概率和条件概率条件概率公式全概率公式贝叶斯公式第7页/共44页下面介绍贝叶斯概率中用到的有关概率论的基本概念。先验概率、后验概率和条件概率 (1)先验概率。先验概率是指根据历史的资料或主观判断所确定的各种事件发生的概率，该概率没有经过实验证实，属于检验前的概率。(2)后验概率。后验概率一般是指通过贝叶斯公式，结合调查等方式获取了新的附加信息，对先验概率修正后得到的更符合实际的概率。(3)条件概率。当条件确定时，某事件发生的条件概率就是该事件的条件概率。第8页/共44页条件概率公式若(，F，P)是一个概率空间，BF，若P(B)O，则对于任意的AF，称 为已知事件B

6、发生的条件下，事件A发生的条件概率。由 P(AB)=P(BA)=P(AB)P(B)=P(BA)P(A)(72)可以得到 例如，已知任何时刻阴天的概率为03，记为P(A)=03，下雨的概率为02，记为P(B)=02。阴天之后3小时之内下雨的概率为06，记为条件概率P(BA)=06。那么在下雨的条件下，3小时前是阴天的概率是多少呢?根据条件概率公式，得:即如果下雨，3小时前是阴天的概率为09。ABAB第9页/共44页全概率公式例如，1号箱中有2个白球和4个红球，2号箱中有5个白球和3个红球，现随机地从1号箱中取出一球放人2号箱，然后从2号箱随机取出一球，问从2号箱取出红球的概率是多少?【解】令A表

7、示事件“最后从2号箱中取出的是红球”；令B表示从1号箱中取出的是红球。则 由式(75)：设A，B是两个事件，那么A可以表示为:显然，如果P(B)0，则:第10页/共44页全概率公式 上例采用的方法是概率论中常用的方法，为了求复杂事件的概率，往往可以把它分解成若干个互不相容的简单事件，然后利用条件概率和乘法公式，求出这些简单事件的概率，最后利用概率可加性，得到最终结果，这一方法的一般化就是所谓的全概率公式。设为试验E的样本空间，A为E的事件，B1，B2，Bn为E的一组事件，若满足以下两个条件：则称B1，B2，Bn为样本空间的一个分割。若B1，B2，Bn为样本空间的一个分割，那么，对每一次试验，事

8、件B1，B2，Bn必有一个且仅有一个发生。第11页/共44页全概率公式12 例如，设实验E为“掷一颗骰子观察其点数”。它的样本空间=1，2，3，4，5，6)。的一组事件B1=l，2，B2=3，4)，B3=5，6是样本空间的一个分割。而事件组B1=1，2，3)，B2=3，4)，B3=5，6)不是样本空间的一个分割，因为B1B2=3。设实验E为样本空间，A为E的事件，B1，B2，Bn为的一个分割，且P(Bi)0，i=1，2，n,则式(76)被称为全概率公式。第12页/共44页全概率公式 【例】甲、乙、丙三人向同一飞机射击。设甲、乙、丙射中的概率分别为04，05和07。又设若只有一人射中，飞机坠落的

9、概率为02；若有两人射中，飞机坠落的概率为06；若有三人射中，飞机必坠落。求飞机坠落的概率。【解】记A=飞机坠落)，Bi=共i个人射中飞机)，i=1，2，3。Bi分别为：B1=(甲射中，乙丙未射中)+(乙射中，甲丙未射中)+(丙射中，甲乙未射中)B2=(甲未射中，乙丙射中)+(乙未射中，甲丙射中)+(丙未射中，甲乙射中)B3=(甲乙丙均射中)可以计算i个人射中飞机的概率 P(B1)=040503+060503+060507=036 P(B2)=060507+040507+040503=041 P(B3)=040507=014 再由题设，P(A|B1)=02，P(A|B2)=O6，P(A|B3)

10、=1。利用全概率公式第13页/共44页贝叶斯公式 设实验E为样本空间，A为E的事件，B1，B2，Bn为的一个分割，且P(Bi)0，i=1，2，n，则由：式(77)被称为贝叶斯公式。例如，某电子设备厂所用的元件是由三家元件厂提供的，根据以往的记录，这三个厂家的次品率分别为002，001，003，提供元件的份额分别为015，08，005，设这三个厂家的产品在仓库是均匀混合的，且无区别的标志。问题1：在仓库中随机地取一个元件，求它是次品的概率。问题2：在仓库中随机地取一个元件，若已知它是次品，为分析此次品出自何厂，需求出此元件由三个厂家分别生产的概率是多少?有：（7-7）第14页/共44页贝叶斯公式

11、=015002+080001+005003 =0012 5 对于问题2，由贝叶斯公式：【解】设A取到的元件是次品，Bi标识取到的元件是由第i个厂家生产的，则P(B1)=015，P(B2)=08，P(B3)=005对于问题1，由全概率公式：以上结果表明，这个次品来自第2家工厂的可能性最大，来自第1家工厂的概率次之，来自第3家工厂的概率最小。第15页/共44页第7章 目 录引例12贝叶斯概率基础贝叶斯网络概述3贝叶斯网络的预测、诊断和训练算法4SQL server2005中的贝叶斯网络应用5小结6第16页/共44页7.3 贝叶斯网络概述贝叶斯网络的组成和结构贝叶斯网络的优越性贝叶斯网络的三个议题贝

12、叶斯网络是一种图形模型(概率理论和图论相结合的产物)，又被称为贝叶斯信念网络、因果网络，是描述随机变量(事件)之间依赖关系的一种图形模式。是一种将因果知识和概率知识相结合的信息表示框架，使得不确定性推理在逻辑上变得更为清晰理解性更强。已经成为数据库中的知识发现和决策支持系统的有效方法。从大量数据中构造贝叶斯网络模型，进行不确定性知识的发现。第17页/共44页贝叶斯网络的组成和结构贝叶斯网络由网络结构和条件概率表两部分组成。贝叶斯网的网络结构是一个有向无环图由结点和有向弧段组成。每个结点代表一个事件或者随机变量，变量值可以是离散的或连续的，结点的取值是完备互斥的。表示起因的假设和表示结果的数据均

13、用结点表示。例如，图7.1描述的网络符合贝叶斯网络的条件，是一个典型的贝叶斯网络。第18页/共44页贝叶斯网络的优越性贝叶斯网络的优势主要体现在以下方面。(1)贝叶斯网络推理是利用其表达的条件独立性，根据已有信息快速计算待求概率值的过程。应用贝叶斯网络的概率推理算法，对已有的信息要求低，可以进行信息不完全、不确定情况下的推理。(2)具有良好的可理解性和逻辑性，这是神经元网络无法比拟的，神经元网络从输入层输入影响因素信息，经隐含层处理后传人输出层，是黑匣子似的预测和评估，而贝叶斯网络是白匣子。(3)专家知识和试验数据的有效结合相辅相成，忽略次要联系而突出主要矛盾，可以有效避免过学习。(4)贝叶斯

14、网络以概率推理为基础，推理结果说服力强，而且相对贝叶斯方法来说，贝叶斯网络对先验概率的要求大大降低。贝叶斯网络通过实践积累可以随时进行学习来改进网络结构和参数，提高预测诊断能力，并且基于网络的概率推理算法，贝叶斯网络接受了新信息后立即更新网络中的概率信息。第19页/共44页贝叶斯网络的三个主要议题 贝叶斯网络的主要功能是进行预测和诊断，在贝叶斯网络工作之前，需要对历史数据进行训练。所以，预预预预测测测测、诊诊诊诊断断断断和和和和训训训训练练练练构成了贝叶斯网络的三个主要议题。1贝叶斯网络预测 贝叶斯网络是一种概率推理技术，使用概率理论来处理在描述不同知识成分之间的条件而产生的不确定性。贝叶斯网

15、络的预测是指从起因推测一个结果的推理，也称为由顶向下的推理。目的是由原因推导出结果。已知一定的原因(证据)，利用贝叶斯网络的推理计算，求出由原因导致的结果发生的概率。2贝叶斯网络诊断 贝叶斯网络的诊断是指从结果推测一个起因的推理，也称为由底至上的推理。目的是在已知结果时，找出产生该结果的原因。已知发生了某些结果，根据贝叶斯网络推理计算造成该结果发生的原因和发生的概率。该诊断作用多用于病理诊断、故障诊断中，目的是找到疾病发生、故障发生的原因。第20页/共44页贝叶斯网络的三个主要议题3贝叶斯网络学习 贝叶斯网络学习是指由先验的贝叶斯网络得到后验的贝叶斯网络的过程。先验贝叶斯网络是根据用户的先验知

16、识构造的贝叶斯网络，后验贝叶斯网络是把先验贝叶斯网络和数据相结合而得到的贝叶斯网络。贝叶斯网络学习的实质是用现有数据对先验知识的修正。贝叶斯网络能够持续学习上次学习得到的后验贝叶斯网络变成下一次学习的先验贝叶斯网络，每一次学习前用户都可以对先验贝叶斯网络进行调整，使得新的贝叶斯网络更能体现数据中蕴涵的知识。贝叶斯网络的学习关系如图72所示。图7.2 贝叶斯网络持续学习第21页/共44页贝叶斯网络的三个主要议题 贝叶斯网络模型是由网络结构和条件概率分布表(Conditional Probability Table，CPT)组成的，因此，必须通过给出贝叶斯网络的网络结构及每个结点上的CPT表来描述

17、一个贝叶斯网络。相应地，基于贝叶斯网络的学习包括结构学习和参数学习两个内容。结构学习，即利用训练样本集，尽可能结合先验知识，确定最合适的贝叶斯网络模型结构。参数学习是在给定结构下，确定贝叶斯网络模型的参数，即每个结点上的CPT表。按照学习的目的以及训练样本集是否完整，可以把学习方法归为以下几类，如表7.1所示。表7.1 贝叶斯网络学习算法分类表第22页/共44页第7章 目 录引例12贝叶斯概率基础贝叶斯网络概述3贝叶斯网络的预测、诊断和训练算法4SQL server2005中的贝叶斯网络应用5小结6第23页/共44页7.4贝叶斯网络的预测、诊断和训练算法概率和条件概率数据贝叶斯网络的预测算法贝

18、叶斯网络的诊断算法贝叶斯网络预测和诊断的综合算法贝叶斯网络的建立和训练算法本节将从图7.1所示的简单贝叶斯网络的例子人手，分别介绍贝叶斯网络的预测、诊断和训练算法。假定网络中的概率和条件概率都已经知道，也就是说网络已经训练完毕。这些数据给出如下。第24页/共44页概率和条件概率数据图7.1中的Party和Brain Tumor两个结点是原因结点，没有连线以它们作为终点。首先给出这两个结点的无条件概率，如表7.2所示。表7.2中的第二列是关于Party(参加晚会)的概率：参加晚会的概率是02，不参加晚会的概率是08。第三列是关于患脑瘤的概率：患脑瘤的概率是0001，不患脑瘤的概率是0.999。下

19、面还将给出几组条件概率，分别是：PT（参加舞会）已知的情况下HO(宿醉）的条件概率，如表73所示；HO（宿醉）已知的情况下SA（酒味）的条件概率，如表74所示；BT（脑瘤）已知的情况下PX（阳性）的概率，如表7.5所示。表72结点PT、BT的无条件概率分布第25页/共44页概率和条件概率数据 上面三个表的结构相似，给出的都是条件概率。表73中第2列的意思是：当参加晚会后，宿醉的概率是0.7；不宿醉的概率是0.3。第3列的意思是：当不参加晚会时，不会发生宿醉的情况。对表7.4和表7.5的解释类似。表73已知结点PT时HO的条件概率第26页/共44页概率和条件概率数据 最后给出的是一个联合条件概率

20、：已知HO和BT时HA的概率，如表76所示。表76已知HO和BT时HA的概率当没有宿醉但患有脑瘤的情况下，头疼的概率是0.9，不头疼的概率是0.01。B当宿醉发生和有脑瘤的情况下，头疼的概率是0.99，不头疼的概率是0.01。当宿醉发生但没有脑瘤的情况下，头疼的概率是0.7，不头疼的概率是0.3。表76中数据的意义是：第27页/共44页贝叶斯网络的预测算法 贝叶斯网络的功能之一就是在已知某些条件结点的情况下，预测结果结点的概率。当然，贝叶斯网络也可以在不知任何结点信息的情况下计算某个结果结点的发生概率。例如，在图71中，如果不知道任何结点发生与否的信息，仍然可以估算结点HA的概率。为了方便，约

21、定：对于一个结点Point，P(+Point)表示Point发生的概率，P(-Point)表示不发生的概率。【例71】下面计算结点HA的概率。根据全概率公式，有P(+HA)=P(+BT)P(+H0)099+P(+BT)P(-H0)09+P(-BT)P(+H0)07+P(-BT)P(-H0)002=0.001*0.14116(0.1159974)P(-HA)=1-P(+HA)=O884 也就是说，在没有任何结点信息(称为证据)的情况下，头疼的概率是0116，不头疼的概率是0884。用同样的方式，可以计算所有结点的概率，这样可以使得图71所示的网络进一步完善。事实上，完善结点概率也是预测贝叶斯网络

22、预测的一种情况，即在不知结点明确信息(证据)情况下的预测。下面进行一个原因结点明确情况下的预测。第28页/共44页贝叶斯网络的预测算法【例72】计算已知参加晚会的情况下，第二天早晨呼吸有酒精味的概率。首先，由表7.3可以看出，当PT发生时，HO发生的概率是0.7。也就是说，当参加晚会后，宿醉发生的概率是0.7，不发生的概率是O.3。由全概率公式 P(+SA)=P(+H0)P(+SA+H0)+P(-H0)P(+SA-H0)=O7O8+0301 =O59 第29页/共44页贝叶斯网络的预测算法30【例73】计算已知参加晚会的情况下，头疼发生的概率。由表73可知，当PT发生时，HO发生的概率是07，

23、不发生的概率是03；由表72可以看出，BT发生的概率是0001，不发生的概率是0999。已知HO和BT后，根据全概率公式，得到 P(+HA)=P(+H0)P(+BT)P(+HA+H0+BT)+P(+H0)P(-BT)07+P(-HO)P(+BT)09+P(-HO)P(-BT)002+=0496 467 P(-HA)=1-P(+HA)=0503 533 也就是说，如果知道已经参加了晚会，而没有其他方面的任何证据，则这个人头疼的概率是0496，不头疼的概率是0504。表73表76B第30页/共44页贝叶斯网络的预测算法可以比较分析例71和例73的结果：由于参加晚会，头疼发生的概率大大增加了。结合上

24、面给出的三个例子，下面给出贝叶斯网络预测算法的步骤描述。如下所示。输入：给定贝叶斯网络B(包括网络结构m个结点以及某些结点间的连线、原因结点到中间结点的条件概率或联合条件概率)，给定若干个原因结点发生与否的事实向量F(或者称为证据向量)，给定待预测的某个结点t。输出：结点t发生的概率。(1)把证据向量输入到贝叶斯网络B中。(2)对于B中的每一个没处理过的结点n，如果它具有发生的事实(证据)，则标记它为已经处理过；否则继续下面的步骤。(3)如果它的所有父结点中有一个没有处理过，则不处理这个结点；否则，继续下面的步骤。(4)根据结点n的所有父结点的概率以及条件概率或联合条件概率计算结点n的概率分布

25、，并把结点n标记为已处理。(5)重复步骤(2)(4)，共m次。此时，结点f的概率分布就是它的发生不发生的概率。算法结束。需要注意的是，第(5)步的作用是使得每个结点都有被计算概率分布的机会。第31页/共44页贝叶斯网络的诊断算法32根据条件概率公式 P(+BT+PX)=P(+PX+BT)P(+BT)P(+PX)=09800010011 =0.089 09 P(-BT+PX)=l-P(+BT+PX)=0.91l 也就是说，当X光检查呈阳性的情况下，患脑瘤的概率是0.089，不患脑瘤的概率是0.911。本部分将做相反方向的工作：在已知结果结点发生与否的情况下推断条件结点发生的概率。【例74】计算已

26、知X光检查呈阳性的情况下，患脑瘤的概率。由：P(AB)=P(A|B)*p(B)得到：P(A|B)=P(AB)/P(B)而：P(AB)=P(B|A)*P(A)所以：P(A|B)=P(AB)/P(B)=P(B|A)*P(A)/P(B)上面的例子比较简单，可以直接用条件概率公式计算获得。下面再看一个比较复杂的例子。先验先验概率概率第32页/共44页贝叶斯网络的诊断算法【例7.5】计算已知头疼的情况下，患脑瘤的概率。首先，根据表76给出的联合条件分布计算已知BT情况下HA的边缘条件概率。为此，要首先计算结点HO的概率分布。根据表7.3和全概率公式P(+HO)=P(+HO+PT)P(+PT)+P(+HO

27、-PT)P(-PT)=0702+0 =014 上面的计算表明，没有任何证据的情况下，宿醉发生的概率是014，不发生的概率是086。通过宿醉的发生概率，可以计算已知BT情况下HA的边缘条件概率.第33页/共44页贝叶斯网络的诊断算法34最后，根据表77提供的条件概率，利用条件概率公式，可得 P(+BT+HA)=P(+HA+BT)P(+BT)P(+HA)=0912 600010116 =0007 867P(+HA+BT)=P(+HO)P(+HA|+BT，+HO)+P(-HO)P(+HA|+BT，-HO)=014099+08609 =09126 P(-HA+BT)=1-P(+HA+BT)=0087

28、上面的计算得到了已知患脑瘤的情况下头疼的概率是0913，不头疼的概率是0087。这个条件概率是一个边缘分布，它是从联合条件概率分布(H0，BTHA)去掉一个条件HO得到的。我们把这个边缘分布的内容整理在表77中。B表76表77已知BT情况下HA的(边缘)条件概率全概率公式第34页/共44页贝叶斯网络的诊断算法 例7.4和例7.5分别从简单和复杂两种情况进行了贝叶斯网络的诊断示例。下面的部分将介绍同时具有预测功能和诊断功能的算法。根据上面的两个例子，可以总结出贝叶斯网络诊断算法的一般步骤，如下所示。输入：给定贝叶斯网络B,给定若干个结果结点发生与否的事实向量F(或者称为证据向量)，给定待诊断的某

29、个结点t。输出：结点t发生的概率。(1)把证据向量输入到贝叶斯网络B中。(2)对于B中的每一个没处理过的结点n，如果它具有发生的事实(证据)，则标记它为已经处理过；否则继续下面的步骤。(3)如果它的所有子结点中有一个没有处理过，则不处理这个结点；否则，继续下面的步骤。(4)根据结点n的所有子结点的概率以及条件概率或联合条件概率计算结点n的概率分布，并把结点n标记为已处理。(5)重复步骤(2)(4)共m次。此时，原因结点t的概率分布就是它的发生不发生的概率。算法结束。需要注意的是，第(5)步的作用是使得每个结点都有被计算概率分布的机会。第35页/共44页贝叶斯网络预测和诊断的综合算法【例7.6】

30、计算已知参加晚会并且第二天早上呼吸有酒精味的情况下，宿醉的发生概率。由于已知参加了晚会(+PT)，那么根据表7.3，宿醉发生的概率是0.7，不发生的概率是0.3。根据全概率公式 P(+SA)=P(+SA+HO)P(+HO)+P(+SA-HO)P(-HO)=0807+0103=059 这个结果就是已知参加晚会的情况下，有酒精味的发生概率。再利用条件概率公式，可得 P(+H0+SA)=P(+SA+HO)P(+HO)P(+SA)=0807059 =0949 15 这是最终的结果，也就是说，当参加晚会并且第二天早晨有酒精味的情况下，宿醉发生的概率是0949。从上面的计算过程可以总结出解决这类综合问题的

31、一般思路。首先，要把原因结点的证据(此例中是+PT)进行扩散，得到中间结点(HO)或结果结点(SA)的概率分布。最后根据条件概率公式计算中间结点的概率分布。利用贝叶斯网络进行单纯的预测或进行单纯的诊断的情况是比较少的，一般情况下，需要综合使用预测和诊断的功能。第36页/共44页贝叶斯网络预测和诊断的综合算法 这是解决预测和诊断综合问题的一般思路，下面将给出一个更复杂的综合问题的例子。【例77】计算在已知有酒精味、头疼的情况下，患脑瘤的概率。首先，由条件概率公式可以计算在有酒精味的情况下宿醉的发生概率 P(+H0+SA)=P(+SA+HO)P(+HO)P(+SA)=0565 6 然后，由全概率公

32、式可以计算患脑瘤的情况下头疼的发生概率(当然，这时宿醉的概率已经是0565 6，它参与了下面的运算)P(+HA+BT)=P(+HA+BT，+HO)P(+HO)+P(+HA+BT，一HO)P(一HO)=099P(+HO)+09P(一HO)=0950 9 最后，再由条件概率公式可以计算患脑瘤的概率 P(+BT+HA)=P(+HA+BT)P(+BT)P(+HA)=0950 900010405 2 =0002 347 可以比较例77和例75的计算结果，例77中计算得到的患脑瘤的概率要相对小一些。同样患有头疼，两个例子中患脑瘤的概率是不一样的。这是因为，例77中的结果结点“有酒精味”发生，这意味着头疼的

33、原因有更大的可能是因为宿醉，而不是患脑瘤。除了上面的7个例子外，读者可以试着解决图71所示贝叶斯网络中更复杂的例子，或者解决本章后面的习题。第37页/共44页贝叶斯网络的建立和训练算法建立一个贝叶斯网络的步骤：第一步：首先要把实际问题的事件抽象为结点。这些结点必须有明确的意义，至少有是、非两个状态。或者有多个状态，并且这些状态在概率意义上是完备和互斥的。也就是说，所有状态在某一时刻只能发生一个，并且这些状态的概率之和为1。第二步：建立两个或多个结点之间的连线。有明确的因果关系或相关关系的结点之间可以建立连线，那些没有明确联系的结点之间最好不要建立连线，以防止网络过于复杂而不能把握问题的实质。确

34、定两个结点之间是否有连线，除了通过经验判断之外，还可以用数据相关分析的方法，请读者查阅相关的文献。要建立两个结点之间的连线，必须防止环的出现。贝叶斯网络必须是有向无环图。在图71中，如果建立结点Smell Alcohol到结点Party之间的连线，那么就形成了一个环PTHOSAPT，也就不构成贝叶斯网络了。第38页/共44页贝叶斯网络的建立和训练算法根据表78给出的数据，可以用统计的方式得到任意结点的概率分布。假设结点P有m个状态P1，P2，Pm，则有 第三步：计算结点的概率分布。结点的概率分布和结点间的条件概率分布可以通过专家经验填入；但使用更多的方法是通过历史数据训练得到。贝叶斯网络的训练

35、方式比较简单。作为示例，下面给出图71所示的6个结点发生的历史数据，如表7.8所示。表78贝叶斯网络中的历史数据第39页/共44页如果结点P、Q、R各有两个状态，那么类似式(710)形式的公式共有8个，共同构成了结点P、Q到结点R的联合条件概率分布。例如，+H0和+BT共发生了2次，而+HO、+BT和+HA共发生了1次，因此 P(+HA+HO，+BT)=12=05 例如，对于结点PT，有P(+PT)=710=O7；P(一PT)=310=03。如果PS表示结点P的一个状态，QS表示结点Q的一个状态，则PS发生时QS发生的概率为例如，+PT共发生了7次，+PT和+HO共同发生了4次，因此有P(+H

36、O+PT)=47=0571。同样的方式也可以计算P(QS-PS)。同理，可以计算多个结点间的联合条件分布。假设PS表示结点P的一个状态，QS表示结点Q的一个状态，RS表示结点R的一个状态。那么PS和QS发生时RS的概率为贝叶斯网络的建立和训练算法第40页/共44页贝叶斯网络的建立和训练算法如果某个结点是结果结点或中间结点，那么得到这个结点的概率分布的方式有如下两种。(1)直接从表78所示的数据中通过统计获得。(2)先从表格数据中通过统计获得原因结果的概率分布，再从表格数据中通过统计获得条件概率分布或联合条件概率分布，最后用全概率公式计算中间结点或结果结点的概率分布。可以验证，这两种方式获得的概率分布是一致的。第41页/共44页第7章 目 录引例12贝叶斯概率基础贝叶斯网络概述3贝叶斯网络的预测、诊断和训练算法4SQL server2005中的贝叶斯网络应用5小结6第42页/共44页7.5 SQL server2005中的贝叶斯网络应用第43页/共44页感谢您的观看。第44页/共44页