人工智能第五章.pptx

《人工智能第五章.pptx》由会员分享，可在线阅读，更多相关《人工智能第五章.pptx（140页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、会计学1人工智能人工智能(rn n zh nn)课件第五章课件第五章第一页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理第五章第五章 不确定性推理不确定性推理(tul)n n概述n n概率论基础n nBayes网络n n主观Bayes方法(fngf)n n确定性方法(fngf)n n证据理论第1页/共140页第二页，共140页。人工智能原理(yunl)第五章 不确定性推理概述概述(i sh)n n不精确(jngqu)思维并非专家的习惯或爱好所至，而是客观现实的要求。n n很多原因导致同一结果n n推理所需的信息不完备n n背景知识不足n n信息描述模糊n n信息中含有噪

2、声n n规划是模糊的n n推理能力不足n n解题方案不唯一 在人类的知识和思维行为中，精确性只是相对的，不精确性才是绝对的。知识工程需要各种适应不同类的不精确性特点的不精确性知识描述方法和推理方法。第2页/共140页第三页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理概述概述-表示的表示的3方面方面(fngmin)问问题题n n不确定问题的数学模型表示的3方面问题n n表示问题：n n表达要清楚(qng chu)。表示方法规则不仅仅是数，还要有语义描述。n n计算问题：n n不确定性的传播和更新。也是获取新信息的过程。第3页/共140页第四页，共140页。人工智能原理(

3、yunl)第五章 不确定性推理不确定性推理不确定性推理(tul)例子例子例如，对于如下的推理过程：R1：A1A2B1R2：A2A3B2R3：B1BR4：B2B在描述(mio sh)这些规则时采用的都是不确定性知识表示方式第4页/共140页第五页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理推理推理(tul)树结果图树结果图 第5页/共140页第六页，共140页。人工智能原理(yunl)第五章 不确定性推理概述概述-表示表示(biosh)的的3方面问方面问题题n n语义问题：将各个公式解释清楚。语义问题：将各个公式解释清楚。n n语语义义问问题题：如如何何解解释释表表示示

4、和和计计算算的的含含义义，目目前前多多用用概概率率方方法。法。n n如如：f f（B B，A A）可可理理解解为为当当前前提提A A为为真真时时结结论论B B为为真真的的一一种种影响程度，影响程度，n n C C（A A）可理解为）可理解为A A为真的程度。为真的程度。n n特别关心特别关心(gun(gunxn)xn)的是的是f f（B B，A A）的值：）的值：n n1 1）A(T)B(T),fA(T)B(T),f（B B，A A）=?=?n n2 2）A(T)B(F),fA(T)B(F),f（B B，A A）=?=?n n3 3）B B 独立于独立于A A，f f（B B，A A）=?=?

5、n n对对C C（A A）关心）关心(gun(gunxn)xn)的是：的是：n n1 1）A A为为TRUETRUE，C C（A A）？）？n n2 2）A A为为FALSE,CFALSE,C（A A）？）？n n T T：TrueTrue，F F：FalseFalse第6页/共140页第七页，共140页。人工智能原理(yunl)第五章 不确定性推理概述概述(i sh)-分类（分类（1）不确定性推理方法可分为形式化方法和非形式化方法。不确定性推理方法可分为形式化方法和非形式化方法。形形式式化化方方法法有有逻逻辑辑法法、新新计计算算法法和和新新概概率率法法。逻逻辑辑法法是是非非数数值值方方法法，

6、采采用用多多值值逻逻辑辑和和非非单单调调逻逻辑辑来来处处理理不不确确定定性性。传传统统的的有有基基于于概概率率理理论论的的贝贝叶叶斯斯网网络络等等。新新计计算算法法认认为为概概率率法法不不足足以以描描述述不不确确定定性性，从从而而出出现现了了证证据据(zhngj)(zhngj)理理论论（也也叫叫DempsterDempsterShafterShafter，D-SD-S方方法法），确确定定性性方方法法（CFCF法法）以以及及模模糊糊逻逻辑辑方方法法。新新概概率率法法试试图图在在传传统统的的概概率率论论框框架架内内，采采用用新新的的计计算方法以适应不确定性描述。算方法以适应不确定性描述。非非形形式

7、式化化方方法法是是指指启启发发性性方方法法，对对不不确确定定性性没没有有给给出出明明确的概念。确的概念。第7页/共140页第八页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理概述概述(i sh)-分类（分类（2）不不确确定定推推理理方方法法：工工程程方方法法、控控制制方方法法和和并并行行确确定性法。定性法。工程法是将问题简化为忽略哪些不确定性因素。工程法是将问题简化为忽略哪些不确定性因素。控控制制法法是是利利用用控控制制策策略略来来消消除除不不确确定定性性的的影影响响，如启发式的搜索方法。如启发式的搜索方法。并并行行确确定定性性法法是是把把不不确确定定性性的的推推理理分

8、分解解为为两两个个相相对对(xingdu)(xingdu)独独立立的的过过程程：一一个个过过程程不不计计不不确确定定性性采采用用标标准准逻逻辑辑进进行行推推理理；另另一一过过程程是是对对第第一一个个过过程程的的结结论论加加以以不不确确定定性性的的度度量量。前前一一过过程程决决定定信信任任什什么么，后后一一过过程程决决定定对对它它的的信信任任程程度。度。第8页/共140页第九页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理第五章第五章 不确定性推理不确定性推理(tul)n n概述n n概率论基础(jch)n nBayes网络n n主观Bayes方法n n确定性方法n n证

9、据理论第9页/共140页第十页，共140页。人工智能原理(yunl)第五章 不确定性推理第五章第五章 不确定性推理不确定性推理(tul)n n概述n n概率论基础n nBayes网络n n主观Bayes方法n n确定性方法n n证据(zhngj)理论第10页/共140页第十一页，共140页。人工智能原理(yunl)第五章 不确定性推理概率论基础概率论基础(jch)n n概率论是研究随机现象中数量规律的科学。所概率论是研究随机现象中数量规律的科学。所谓谓(su(su wi)wi)随机现象是指在相同的条件下重复随机现象是指在相同的条件下重复进行某种实验时，所得实验结果不一定完全相进行某种实验时，所

10、得实验结果不一定完全相同且不可预知的现象。众所周知的是掷硬币的同且不可预知的现象。众所周知的是掷硬币的实验。人工智能所讨论的不确定性现象，虽然实验。人工智能所讨论的不确定性现象，虽然不完全是随机的过程，但是实践证明，采用概不完全是随机的过程，但是实践证明，采用概率论的思想方法考虑能够得到较好的结果。在率论的思想方法考虑能够得到较好的结果。在这节中我们简单给出概率论的基本概念和贝叶这节中我们简单给出概率论的基本概念和贝叶斯定理。斯定理。第11页/共140页第十二页，共140页。人工智能原理(yunl)第五章 不确定性推理概率论基础（随机概率论基础（随机(su j)事件）事件）n n随机实验：随机

11、实验是一个可观察随机实验：随机实验是一个可观察随机实验：随机实验是一个可观察随机实验：随机实验是一个可观察(gunch)(gunch)(gunch)(gunch)结果的人工或自结果的人工或自结果的人工或自结果的人工或自然的过程，其产生的结果可能不止一个，且不能事先确定会然的过程，其产生的结果可能不止一个，且不能事先确定会然的过程，其产生的结果可能不止一个，且不能事先确定会然的过程，其产生的结果可能不止一个，且不能事先确定会产生什么结果。产生什么结果。产生什么结果。产生什么结果。n n样本空间：样本空间是一个随机实验的全部可能出现的结果样本空间：样本空间是一个随机实验的全部可能出现的结果样本空间

12、：样本空间是一个随机实验的全部可能出现的结果样本空间：样本空间是一个随机实验的全部可能出现的结果的集合，通常记作的集合，通常记作的集合，通常记作的集合，通常记作，中的点（即一个可能出现的实验结中的点（即一个可能出现的实验结中的点（即一个可能出现的实验结中的点（即一个可能出现的实验结果）成为样本点，通常记作果）成为样本点，通常记作果）成为样本点，通常记作果）成为样本点，通常记作。n n随机事件：随机事件是一个随机实验的一些可能结果的集合，随机事件：随机事件是一个随机实验的一些可能结果的集合，随机事件：随机事件是一个随机实验的一些可能结果的集合，随机事件：随机事件是一个随机实验的一些可能结果的集合

13、，是样本空间的一个子集。常用大写字母是样本空间的一个子集。常用大写字母是样本空间的一个子集。常用大写字母是样本空间的一个子集。常用大写字母A,B,C,A,B,C,A,B,C,A,B,C,表示。表示。表示。表示。第12页/共140页第十三页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理概率论基础（事件概率论基础（事件(shjin)间间的关系与运算的关系与运算）n n两个事件两个事件A A与与B B可能有以下几种特殊关系：可能有以下几种特殊关系：n n包包含含：若若事事件件B B发发生生则则事事件件A A也也发发生生，称称“A“A包包含含B”B”，或，或“B“B含于含于A”

14、A”，记作，记作ABAB或或BABA。n n等等价价：若若ABAB且且BABA，即即A A与与B B同同时时发发生生或或同同时时不不发生，则称发生，则称A A与与B B等价，记作等价，记作A=BA=B。n n互互斥斥：若若A A与与B B不不能能同同时时发发生生，则则称称A A与与B B互互斥斥，记作记作AB=AB=n n对对立立：若若A A与与B B互互斥斥，且且必必有有一一个个发发生生，则则称称A A与与B B对对立立，记记作作或或，又又称称A A为为B B的的余余事事件件，或或B B为为A A的余事件。的余事件。n n任任意意(rny)(rny)两两个个事事件件不不一一定定会会是是上上述

15、述几几种种关关系中的一种。系中的一种。第13页/共140页第十四页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理概率论基础（事件概率论基础（事件(shjin)间间的关系与运算的关系与运算）n n设设A A，B B，A1A1，A2A2，AnAn为为一一些些事事件件，它它们们有有下下述的运算：述的运算：n n交交：记记C=“AC=“A与与B B同同时时发发生生”，称称为为(chn(chn wi)wi)事事件件A A与与B B的交，的交，C=|C=|A A且且 BB，记作或。，记作或。n n 类类似似地地用用表表示示事事件件“n“n个个事事件件A1,A1,A2,A2,AnAn

16、同同时发生时发生”。n n并并：记记C=“AC=“A与与B B中中至至少少有有一一个个发发生生”，称称为为(chn(chn wi)wi)事事 件件 A A与与 B B的的 并并，C=|C=|A A或或 BB，记作。，记作。n n 类类似似地地用用表表示示事事件件“n“n个个事事件件A1,A1,A2,A2,AnAn中中至少有一个发生至少有一个发生”。n n差差：记记C=“AC=“A发发生生而而B B不不发发生生”，称称为为(chn(chn wi)wi)事件事件A A与与B B的差，的差，C=|C=|A A但但 BB，记作或。，记作或。n n求余：求余：第14页/共140页第十五页，共140页。人

17、工智能(rn n zh nn)原理第五章 不确定性推理概率论基础（运算概率论基础（运算(yn sun)的的性质性质）n n事件的运算有以下事件的运算有以下(y(y xi)xi)几种性质：几种性质：n n交换率：交换率：n n 结合律：结合律：n n分配律：分配律：n n摩根率：摩根率：n n事件计算的优先顺序为：求余，交，差和并。事件计算的优先顺序为：求余，交，差和并。第15页/共140页第十六页，共140页。人工智能原理(yunl)第五章 不确定性推理概率论基础概率论基础(jch)（概率定义（概率定义）n n定定义义：设设为为一一个个随随机机实实验验的的样样本本空空间间，对对上上的的任任意意

18、事事件件A，规规定定一一个个实实数数与与之之对对应应，记记为为P(A)，满满足足以以下下三三条条(sn tio)基基本本性性质质，称称为为事事件件A发发生的概率：生的概率：n n若二事件若二事件AB互斥，即，则互斥，即，则n nn n以以上上三三条条(sn tio)基基本本规规定定是符合常识的。是符合常识的。，第16页/共140页第十七页，共140页。人工智能原理(yunl)第五章 不确定性推理概率论基础概率论基础(jch)（概率性质（概率性质）n n定定定定义义义义：设设设设An,An,n=1,n=1,2,2,为为为为一一一一组组组组有有有有限限限限或或或或可可可可列列列列无无无无穷穷穷穷多

19、多多多个个个个事事事事件件件件，两两两两两两两两不不不不相相相相交交交交，且且且且 ，则则则则称称称称事事事事件件件件族族族族An,An,n=1,n=1,2,2,为为为为样样样样本本本本空空空空间间间间的的的的一一一一个个个个完完完完备备备备(wnbi)(wnbi)事事事事件件件件族族族族，又又又又若若若若对对对对任任任任意意意意事事事事件件件件B B有有有有BAn=AnBAn=An或或或或,n=1,n=1,2,2,，则则则则称称称称An,An,n=1,n=1,2,2,为为为为基基基基本本本本事事事事件件件件族。族。族。族。n n完完完完备备备备(wnbi)(wnbi)事事事事件件件件族族族族

20、与与与与基基基基本本本本事事事事件件件件族族族族有有有有如如如如下下下下的的的的性性性性质：质：质：质：n n 定定定定理理理理：若若若若An,An,n=1,n=1,2,2,为为为为一一一一完完完完备备备备(wnbi)(wnbi)事件族，则事件族，则事件族，则事件族，则n n ，且对于一事件，且对于一事件，且对于一事件，且对于一事件B B有有有有n n有若有若有若有若An,n=1,2,An,n=1,2,为一基本事件族，则为一基本事件族，则为一基本事件族，则为一基本事件族，则，第17页/共140页第十八页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理概率论基础（统计概率论

21、基础（统计(tngj)概率概率性质性质）n n对任意事件A，有n n必 然 事 件 的 概 率(gil)P()=1，不可能事件的概率(gil)P()=0n n对任意事件A，有n n设事件A1，A2，An（kn）是两两互不相容的事件，即有，则n n设A，B是两事件，则，第18页/共140页第十九页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理概率论基础概率论基础(jch)（条件概率（条件概率）n n定定 义义：设设 A，B为为 事事 件件 且且P(A)0，称，称n n n n为为事事件件A已已发发生生的的条条件件下下，事事件件B的的条条件件概概率率，P(A)在在概概率率推

22、理中称为边缘概率。推理中称为边缘概率。n n简简称称(jinchng)P(B|A)为为给给定定A时时B发发生生的的概概率率。P(AB)称称为为A与与B的的联联合合概概率率。有有联联合合概率公式：概率公式：，第19页/共140页第二十页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理概率概率(gil)论基础（条件概率论基础（条件概率(gil)性质性质）n n ，n n若 ，则n n乘法公式：n nn n全概率公式：设A1，A2，An互不相交，且 ，则对于(duy)任意事件A有，第20页/共140页第二十一页，共140页。人工智能原理(yunl)第五章 不确定性推理概率论基础

23、概率论基础(jch)（贝叶斯定（贝叶斯定理理），n n设A，B1，B2，Bn为一些事件，P(A)0，B1，B2，Bn互不相交，P(Bi)0,i=1,2,n，且 ，则对于k=1,2,n，n n n n贝叶斯公式容易由条件概率的定义(dngy)，乘法公式和全概率公式得到。在贝叶斯公式中，P(Bi),i=1,2,n称为先验概率，而P(Bi|A)i=1,2,n称为后验概率也是条件概率。第21页/共140页第二十二页，共140页。人工智能原理(yunl)第五章 不确定性推理没病的人有病的人检查结果正确检查结果错误各种情况的概率(gil)是多少？第22页/共140页第二十三页，共140页。人工智能(rn

24、n zh nn)原理第五章 不确定性推理第五章第五章 不确定性推理不确定性推理(tul)n n概述n n概率论基础n nBayes网络n n主观(zhgun)Bayes方法n n确定性方法n n证据理论第23页/共140页第二十四页，共140页。人工智能原理(yunl)第五章 不确定性推理第五章第五章 不确定性推理不确定性推理(tul)n n概述n n概率论基础n nBayes网络n n主观Bayes方法(fngf)n n确定性方法(fngf)n n证据理论第24页/共140页第二十五页，共140页。人工智能原理(yunl)第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)n n二二十十世

25、世纪纪八八十十年年代代贝贝叶叶斯斯网网络络（Bayes Bayes NetworkNetwork）成成功功地地应应用用于于专专家家系系统统，成成为为表表示示不不确确定定性性专专家家知知识识和和推推理理的的一一种种流流行行的的方方法法。基基于于贝贝叶叶斯斯方方法法的的贝贝叶叶斯斯网网络络是是一一种种适适应应性性很很广广的的手手段段和和工工具具，具具有有坚坚实实的的数数学学理理论论基基础础。在在综综合合先先验验信信息息（领领域域知知识识）和和数数据据样样本本信信息息的的前前提提下下，还还可可避避免免只只使使用用先先验验信信息息可可能能带带来来的的主主观观偏偏见见(pinjin)(pinjin)。虽

26、虽然然很很多多贝贝叶叶斯斯网网络络涉涉及及的的学学习习问问题题是是NPNP难难解解的的。但但是是，由由于于已已经经有有了了一一些些成成熟熟的的近近似似解解法法，加加上上一一些些限限制制后后计计算算可可大大为为简简化化，很很多多问问题题可以利用近似解法求解。可以利用近似解法求解。n n贝贝叶叶斯斯网网络络方方法法的的不不确确定定性性表表示示基基本本上上是是保保持持了了概概率率的的表表示示方方式式，可可信信度度计计算算也也是是概概率率计计算算方方法法，只只是是在在实实现现时时，各各具具体体系系统统根根据据应应用用背背景景的的需需要要采采用用各各种种各各样样的的近近似似计计算算方方法法。推推理理过过

27、程程称称为为概概率率推推理理。因因此此，贝贝叶叶斯斯网网络络没没有有其其它它确确定定性性推推理理方方法法拥拥有有的的确确定定性性表表示示、计计算算、语语义义解解释释等等问问题题。由由于于篇篇幅幅关关系系，本本节节只只介介绍绍贝贝叶叶斯斯网网络络的的基基本本概概念念和和简简单单的的推推理理方法。方法。第25页/共140页第二十六页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（事件的（事件的独立性）独立性）n n独立(dl)：如果X与Y相互独立(dl)，则n n P(X,Y)=P(X)P(Y)n n P(X|Y)=P(X)n n条件独立(

28、dl)：如果在给定Z的条件下，X与Y相互独立(dl)，则n n P(X|Y,Z)=P(X|Z)n n实际中，条件独立(dl)比完全独立(dl)更重要第26页/共140页第二十七页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（联合概（联合概率）率）n n联合概率：联合概率：P(X1,X2,XN)P(X1,X2,XN)n n二值，则有二值，则有2N2N可能的值，其中可能的值，其中2N-12N-1个独立。不是二值哪？个独立。不是二值哪？n n如果如果(rgu(rgu)相互独立：相互独立：n n P(X1,X2,XN)=P(X1)P(X2)P

29、(XN)P(X1,X2,XN)=P(X1)P(X2)P(XN)n n条件概率：条件概率：n n P(X1,X2,XN)=P(X1|X2,XN)P(X2,XN)P(X1,X2,XN)=P(X1|X2,XN)P(X2,XN)n n迭代表示：迭代表示：n nP(X1,X2,XN)=P(X1)P(X2|X1)P(X3|P(X1,X2,XN)=P(X1)P(X2|X1)P(X3|X2X1)P(XN|XN-1,X1)X2X1)P(XN|XN-1,X1)n n =P(XN)P(XN-1|XN)P(XN-2|XN-=P(XN)P(XN-1|XN)P(XN-2|XN-1XN)P(X1|X2,XN)1XN)P(X

30、1|X2,XN)n n实际应用中就是利用条件独立性的性质简化网络复杂性的。实际应用中就是利用条件独立性的性质简化网络复杂性的。第27页/共140页第二十八页，共140页。人工智能原理(yunl)第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（基本概（基本概念）念）贝叶斯网络：一系列变量(binling)的联合概率分布的图形表示。一个表示变量(binling)之间的相互依赖关系的数据结构；图论与概率论的结合。第28页/共140页第二十九页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（因果关（因果关系网络系网络(wnglu)）假设

31、：假设：命题命题S(smoker)S(smoker)：该患者是一个吸烟者：该患者是一个吸烟者命题命题C(coal Miner)C(coal Miner)：该患者是一个煤矿矿井工人：该患者是一个煤矿矿井工人命题命题L(lung Cancer)L(lung Cancer)：他患了肺癌：他患了肺癌命题命题E(emphysema)E(emphysema)：他患了肺气肿：他患了肺气肿由由专专家家给给定定的的假假设设可可知知，命命题题S S对对命命题题L L和和命命题题E E有有因因果果影影响响(y(y ngxingxi ng)ng)，而而C C对对E E也也有有因因果果影影响响(y(y ngxingxi

32、 ng)ng)。命命题题之之间间的的关关系系可可以以描描绘绘成成因因果果关关系系网网。每每一一个个节节点点代代表表一一个个证证据据，每每一一条条弧弧代代表表一一条条规规则则（假假设设），连连接接结结点点的的弧弧表表达达了了有有规规则则给给出出的的，节节点点间间的的直直接接因因果果关关系系。其其中中，节节点点S S，C C是是节节点点L L和和E E的的父父节节点点或或称称双双亲亲节节点点，同同时时，L L，E E也也称称为是为是S S和和C C的子节点或称后代节点。的子节点或称后代节点。第29页/共140页第三十页，共140页。人工智能原理(yunl)第五章 不确定性推理贝叶斯网络贝叶斯网络(

33、wnglu)（因果关（因果关系图例）系图例）其中，其中，节点节点S S，C C是节点是节点L L和和E E的父节点或的父节点或称双亲节点，同称双亲节点，同时时(tngsh)(tngsh)，L L，E E也称为是也称为是S S和和C C的子节点或称的子节点或称后代节点。后代节点。SCEL因果关系图例 第30页/共140页第三十一页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（贝叶斯（贝叶斯网络网络(wnglu)）n n贝叶斯网就是一个在弧的连接关系(gun x)上加入连接强度的因果关系(gun x)网络。第31页/共140页第三十二页，

34、共140页。人工智能原理(yunl)第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（图例）（图例）BADEFCG贝叶斯网络图例无环图和指定(zhdng)概率值P(A),P(B),P(B|AC),P(E|C),P(D|C),P(F|E),P(G|DEF)第32页/共140页第三十三页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（图例）（图例）非贝叶斯网络图例 BADCEGF第33页/共140页第三十四页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（定义）（定义）n n两

35、个部分两个部分n n贝贝叶叶斯斯网网络络结结构构图图，这这是是一一个个有有向向无无环环图图（DAG:DAG:Directed Directed Acyclic Acyclic GraphGraph），其其中中图图中中的的每每个个节节点点代代表表相相应应的的变变量量。当当有有向向弧弧由由节节点点A A指指向向节节点点B B时时，则则称称：A A是是B B的的父父节节点点；B B是是A A的的子节点。子节点。n n节节点点和和节节点点之之间间的的条条件件概概率率表表（Conditional Conditional Probability Probability Table,Table,CPTCPT

36、），也也就就是是一一系系列列的的概概率率值值，表表 示示 了了 局局 部部 条条 件件 概概 率率 分分 布布。P(node|parents)P(node|parents)。n n目目的的：由由证证据据得得出出原原因因(yunyn)(yunyn)发发生生的的概概率率。即观察到即观察到P(Y)P(Y)，求，求P(X|Y)P(X|Y)第34页/共140页第三十五页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络（如何贝叶斯网络（如何(rh)构造）构造）n n选择变量，生成节点n n 从左至右（从上到下），排列节点n n填充网络连接弧，表示节点之间的关系n n得到条件

37、(tiojin)概率关系表n n条件(tiojin)概率表示的概率网络有时叫“Belief Nets”第35页/共140页第三十六页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（计算）（计算）n n有向非循环图是各个节点变量关系传递的合理表达形式。n n条件概率的引入使得计算较之全连接网络有了大大的简化。n nCPT表相对比较(bjio)容易得到。n n 有时可以用某种概率分布表示，需要做的指示计算表示的参数。第36页/共140页第三十七页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wn

38、glu)（计算续）（计算续）n n简单的联合概率可以直接(zhji)从网络关系上得到n n如：n nP(X,Y)=P(X)P(Y|X)n n又如：n nP(X,Y,Z)=P(X)P(Y)P(Z|X,Y)XYP(X)P(Y|X)XZYP(X)P(Z|Y,X)P(Y)第37页/共140页第三十八页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（例）（例）CPT表为：P(S)=.04P(C)=0.3(E|S,C)=0.9P(E|S,C)=0.3P(E|S,C)=0.5 贝叶斯网络(wnglu)实例图P(E|S,C)=0.1。SCELP(S)=

39、0.4P(C)=0.3P(E|S,C)=0.9第38页/共140页第三十九页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（例续）（例续）n n上图例中的联合概率密度为上图例中的联合概率密度为n n由图可知：由图可知：E E与与L L在在S S条件下独立，所以条件下独立，所以P(E|S,C,L)P(E|S,C,L)P(E|S,C),P(E|S,C),n nL L与与C C在在S,ES,E条件下独立，所以条件下独立，所以P(L|S,C)=P(L|S)P(L|S,C)=P(L|S)n nC C与与S S在在E E条件下独立，所以条件下独立，

40、所以P(C|S)=P(C)P(C|S)=P(C)n n以以上上三三条条(sn(sn tio)tio)等等式式的的正正确确性性，可可以以从从贝贝叶叶斯斯网网的的条条件件独独立立属属性性：每每个个变变量量与与它它在在图图中中的的非非继继承承节节点点在在概概率率上上是是独立的推出。同样，从后面给出的独立的推出。同样，从后面给出的DD分离的定义的特性中也可以得到相同的结论。分离的定义的特性中也可以得到相同的结论。n n简化后的联合概率密度为，简化后的联合概率密度为，n n 显显然然，简简化化后后的的公公式式比比原原始始的的数数学学公公式式更更加加简简单单明明了了，计计算算复复杂杂度度低低很很多多。如如

41、果果原原贝贝叶叶斯斯网网中中的的条条件件独独立立语语义义数数量较多，这种减少更加明显。量较多，这种减少更加明显。第39页/共140页第四十页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（独立）（独立）n n独立n nP(X,Y)=P(X)P(Y)n nP(X|Y)=P(X)n nP(Y|X)=P(Y)n n独立时求解(qi ji)n n可以直接在网络图上求第40页/共140页第四十一页，共140页。人工智能原理(yunl)第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（条件独（条件独立）立）n n对于对于X,Y,E:XX,Y,

42、E:X与与Y Y在给定在给定E E的条件下独立的条件下独立n nP(X|Y,E)=P(X|E)P(X|Y,E)=P(X|E)n nP(Y|X,E)=P(Y|E)P(Y|X,E)=P(Y|E)n n多个变量多个变量(binling)(binling)组：组：d d分离（分离（d-separated-separate）n nP(X1,X2,Xn|Y1,Y2,Ym,E1,E2,Ep)P(X1,X2,Xn|Y1,Y2,Ym,E1,E2,Ep)n n=P(X1,X2,Xn|E1,E2,Ep)=P(X1,X2,Xn|E1,E2,Ep)n n如果一组节点如果一组节点X X在给定在给定E E的条件下，从的条件

43、下，从XiXi到到YjYj的每一条通路都被即的每一条通路都被即EkdEkd分离，则分离，则称称X X独立于另一组节点独立于另一组节点Y Yn n (节点组节点组E dE d分离分离X X与与Y)Y)第41页/共140页第四十二页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（D分离）分离）n n图中有三个节点图中有三个节点S S，L L，E En nL L（结果）影响（结果）影响S S（起因），（起因），S S影响影响E E（另一个结果）。（另一个结果）。n n如果给定原因如果给定原因S S后，后，L L并不能并不能告诉我们有关告诉我们

44、有关E E的更多事情。的更多事情。即对于即对于S S，L L和和E E是相对独立是相对独立的，那么的，那么(n me)(n me)在计算在计算S S和和L L的关系时就不用过多地考的关系时就不用过多地考虑虑E E，将会大大减少计算复，将会大大减少计算复杂度。杂度。n n称称S S能能D D分离分离L L和和E E。n nD D分离是一种寻找条件独立的分离是一种寻找条件独立的有效方法。有效方法。SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.9第42页/共140页第四十三页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（D分

45、离分离-串行）串行）n nLinearLinearn n 串行连接中，事件串行连接中，事件X X通过通过(tnggu)(tnggu)事件事件Z Z影响影响事件事件Y Y，反之事件，反之事件Y Y也是通过也是通过(tnggu)(tnggu)事件事件Z Z影响事件影响事件X X。但是，如果原因证据。但是，如果原因证据Z Z是给定的，是给定的，X X并不能给并不能给Y Y更多的东西，或者说，从更多的东西，或者说，从X X那里得那里得到更多的信息。此时称，如果到更多的信息。此时称，如果Z Z是已知的，那么是已知的，那么通道就被阻塞，通道就被阻塞，X X和和Y Y就是独立的了。则称就是独立的了。则称X

46、X和和Y Y是被是被Z Z节点节点D D分离的。分离的。XZY第43页/共140页第四十四页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络（贝叶斯网络（D分离分离(分叉分叉(fn ch)连接连接)）DivergingDiverging如果，父节点如果，父节点Z Z是已知的，是已知的，没有更多的信息能够通没有更多的信息能够通过过(tnggu)Z(tnggu)Z影响到所影响到所有子节点。同理，父节有子节点。同理，父节点点Z Z是已知时，子节点是已知时，子节点X,X,N,N是相互独立的。称是相互独立的。称子节点子节点X,NX,N是被是被Z Z节节点点D D分离的。分

47、离的。NYXZ。第44页/共140页第四十五页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络（贝叶斯网络（D分离分离(fnl)(汇汇集连接集连接)）汇集汇集(Converging)(Converging)略有不同略有不同如果不从父节点得到推断，子节点如果不从父节点得到推断，子节点Z Z就一无所知就一无所知(y w su zh)(y w su zh)，那么，父节点是相互独立的，那么，父节点是相互独立的，它们之间没有相互影响。它们之间没有相互影响。如果，某事件影响了如果，某事件影响了Z Z，那么，各个，那么，各个父节点就不是相互独立的了。父节点就不是相互独立的了。

48、该事件可以直接影响该事件可以直接影响Z Z，也可以，也可以通过它的后代节点影响通过它的后代节点影响Z Z。这种。这种现象称作条件依存。总之，如现象称作条件依存。总之，如果子节点有了变化，或子节点果子节点有了变化，或子节点的后代节点发生变化，信息是的后代节点发生变化，信息是可以通过汇集连接传播的。可以通过汇集连接传播的。ZNYX。第45页/共140页第四十六页，共140页。人工智能(rn n zh nn)原理第五章 不确定性推理贝叶斯网络贝叶斯网络(wnglu)（D分离分离(条件依存条件依存)）n n 事件e直接影响节点(ji din)Z 事件e影响节点(ji din)Z的后代节点(ji din

49、)ZNYX。eZNYX。LMe第46页/共140页第四十七页，共140页。人工智能原理(yunl)第五章 不确定性推理贝叶斯网络（贝叶斯网络（D分离分离(fnl)(定定义义)）n n对对于于给给定定的的结结点点集集，如如果果对对贝贝叶叶斯斯网网中中的的结结点点ViVi和和VjVj之之间间的的每每个个无无向向路路径径（即即不不考考虑虑DAGDAG图图中中弧弧的的方方向向性性的的路路径径），在在路径上都有某个结点路径上都有某个结点VbVb，如果有属性：，如果有属性：n nVbVb在在 中中，且且路路径径上上的的两两条条弧弧都都以以VbVb为为尾尾（即即弧弧在在VbVb处处开开始始（出发），分叉连接

50、）（出发），分叉连接）n nVbVb在在 中中，路路径径上上的的一一条条弧弧以以VbVb为为头头，一一条条以以VbVb为为尾尾（串串行行连接）连接）n nVbVb和和它它的的任任何何后后继继都都不不在在 中中，路路径径上上的的两两条条弧弧都都以以VbVb为为头头（即弧在（即弧在VbVb处结束，汇集连接，但没有后代处结束，汇集连接，但没有后代(hudi)(hudi)节点）节点）n n 则称则称ViVi和和Vj Vj 被被VbVb结点阻塞。结点阻塞。n n如如果果ViVi和和VjVj被被证证据据集集合合 中中的的任任意意结结点点阻阻塞塞，则则称称ViVi和和VjVj是是被被 集集合合DD分分离离，