人工智能第五章不确定性推理.ppt

《人工智能第五章不确定性推理.ppt》由会员分享，可在线阅读，更多相关《人工智能第五章不确定性推理.ppt（155页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人工智能第五章不确定人工智能第五章不确定性推理性推理现在学习的是第1页，共155页第五章第五章 不确定性推理不确定性推理n n概述概述n n概率论基础概率论基础n nBayesBayes网络网络网络网络n n主观主观Bayes方法方法n n确定性方法确定性方法n n证据理论证据理论证据理论证据理论现在学习的是第2页，共155页概述概述n n一一个个人人工工智智能能系系统统，由由于于知知识识本本身身的的不不精精确确和和不不完完全全，常常采采用用非非标标准准逻逻辑辑意意义义下下的的不不确定性推理方法和非单调推理方法。确定性推理方法和非单调推理方法。n n对对于于不不确确定定推推理理来来说说，不不精

2、精确确性性如如何何描描述述以以及如何传播是主要问题。及如何传播是主要问题。n n对对于于非非单单调调推推理理来来说说，如如何何提提出出合合理理的的假假设设以及矛盾的处理是主要问题。以及矛盾的处理是主要问题。现在学习的是第3页，共155页n n不不不不确确确确定定定定推推推推理理理理方方方方法法法法是是是是70年年代代提提出出并并加加以以研研究究的的，实实际际的的人人工工智智能能系系统统采采用用的的不不确确定定推推理理常常是是不不够够严严谨谨的的，但但尚尚能能解解决决些些问问题题，符符合合人人类类专专家家的的直直觉觉，在在概概率率上上也也可可给出某种解释。给出某种解释。n nShortliffe

3、 Shortliffe 等等等等人人人人19751975年年年年结结结结合合合合MYCIN系系系系统统统统的的的的建建建建立立立立提提提提出出出出了了了了确确确确定定定定性性性性理理理理论论论论。DudaDuda等等人人19761976年年年年结结结结合合合合PROSPECTORPROSPECTOR系系系系统统统统给给给给出出出出了了了了主主主主观观观观概概概概率率率率法法法法。Dempster Shafer1976年年提提出出证证据据理理论论。Zadeh Zadeh 19781978年年年年提提提提出出出出了了了了可可可可能能能能性性性性理理理理论论论论，19831983年年提提出出了了模模

4、糊糊逻逻辑辑。Bundy Bundy 19841984年年提提出出了了关关联联值值计计算算。Cohen 1985年年讨讨论论一一种种非非数数值值方方法法称称作作批批注注理理论论。Nilsson 1986年年年年提提提提出出出出概概概概率率率率逻辑。逻辑。逻辑。逻辑。Pearl 等人等人1986年信任网络。年信任网络。概述概述现在学习的是第4页，共155页概述概述不确定推理不确定推理n n知知识识库库是是人人工工智智能能系系统统的的核核心心，而而知知识识库库中中的的知知识识既既有有规规律律性性的的一一般般原原理理，又又有有大大量量的的不不完完全全的的专专家家经经验验知知识识，这这样样的的知知识识

5、不不可可避避免免的的带带有有模模糊糊性性、随随机机性性、不可靠或不知道等不确定因素。不可靠或不知道等不确定因素。n n一一般般地地说说，不不确确定定性性是是来来自自知知识识的的客客观观现现实实和和知知识识的的主主观观认认识识水水平平。不不确确定定性性是是人人们们思思维维过过程程中中经经常常出出现现的的一一种种心心理理状状态态，人人们们在在日日常常生生活活中中要要处处理理大大量量的的不不确确定定性性问问题题。现现实实世世界界上上几几乎乎没没有有什什么么事事情情是是完完全全确确定定的的，处处理理不不确确定定性性的的目目的的是是希希望望得得到到对对某某一一命命题题的的精确判断。精确判断。现在学习的是

6、第5页，共155页概述概述n n不不精精确确思思维维并并非非专专家家的的习习惯惯或或爱爱好好所所至至，而是客观现实的要求而是客观现实的要求。n n很多原因导致同一结果很多原因导致同一结果n n推理所需的信息不完备推理所需的信息不完备n n背景知识不足背景知识不足n n信息描述模糊信息描述模糊n n信息中含有噪声信息中含有噪声n n规划是模糊的规划是模糊的n n推理能力不足推理能力不足n n解题方案不唯一解题方案不唯一 在人类的知识和思维行为中，精确性只是相对的，不精确性才是绝对的。知识工程需要各种适应不同类的不精确性特点的不精确性知识描述方法和推理方法。现在学习的是第6页，共155页概述概述-

7、表示的表示的3 3方面问题方面问题不确定问题的数学模型不确定问题的数学模型n n一个问题的代数模型是由论域、运算和公理组成的。一个问题的代数模型是由论域、运算和公理组成的。一个问题的代数模型是由论域、运算和公理组成的。一个问题的代数模型是由论域、运算和公理组成的。n n依依这这种种观观点点，我我们们希希望望所所引引入入的的各各种种不不确确定定推推理理方方法法应应符符合合某某种种代代数数结结构构，如如在在某某种种意意义义下下构构成成半半群群（在在不不确确定定性性值值域域上上，对对不不确确定定性性度度量量的的合合成成运运算算来来说说，具具有有封封闭闭性性并并满满足足结结合合律律），甚甚至至反反过过

8、来来把把这种结构做为建立一种不确定推理方法的必要条件。这种结构做为建立一种不确定推理方法的必要条件。n n以以以以这这这这种种种种观观观观点点点点建建建建立立立立的的的的不不不不确确确确定定定定问问问问题题题题模模模模型型型型必必必必须须须须说说说说明明明明不不不不确确确确定定定定知知知知识识识识的的的的表示、计算和语义解释这三个方面。表示、计算和语义解释这三个方面。表示、计算和语义解释这三个方面。表示、计算和语义解释这三个方面。现在学习的是第7页，共155页概述概述-表示的表示的3 3方面问题方面问题不确定问题的数学模型表示的不确定问题的数学模型表示的3 3方面问题方面问题n n表示问题表示

9、问题表示问题表示问题n n指指指指的的的的是是是是采采采采用用用用什什什什么么么么方方方方法法法法描描描描述述述述不不不不确确确确定定定定性性性性，这这这这是是是是解解解解决决决决不不不不确确确确定定定定推推推推理理理理的关键一步。的关键一步。的关键一步。的关键一步。n n通通通通常常常常有有有有数数数数值值值值表表表表示示示示和和和和非非非非数数数数值值值值的的的的语语语语义义义义表表表表示示示示方方方方法法法法，两两两两者者者者都都都都不不不不完完完完善善善善。数数数数值值值值表表表表示示示示便便便便于于于于计计计计算算算算、比比比比较较较较，再再再再考考考考虑虑虑虑到到到到定定定定性性性

10、性的的的的非非非非数数数数值值值值描描描描述述述述才才才才能能能能较较较较好好好好的的的的解解解解决决决决不不不不确确确确定定定定问问问问题题题题。如如如如对对对对规规规规则则则则ABABABAB和和和和命命命命题题题题（事事事事实实实实）A A A A 分分分分别别别别以以以以f f f f(B(B(B(B，A)A)A)A)和和和和C(A)C(A)C(A)C(A)来表示不确定性度量。来表示不确定性度量。来表示不确定性度量。来表示不确定性度量。现在学习的是第8页，共155页基于概率的方法基于概率的方法 依据概率论的有关依据概率论的有关理论发展起来的方理论发展起来的方法法 模糊推理模糊推理 依据

11、模糊理论发展依据模糊理论发展起来的方法起来的方法(1)数值方法数值方法(1)数值方法数值方法概述概述-表示的表示的3 3方面问题方面问题现在学习的是第9页，共155页 纯纯概概率率方方法法虽虽然然有有严严密密的的理理论论依依据据，但但它它通通常常要要求求给给出出事事件件的的先先验验概概率率和和条条件件概概率率，而而这这些些数数据据又又不不易易获获得得，因因此此其其应应用用受受到到了了限限制制。为为了了解解决决这这个个问问题题，人人们们在在概概率率理理论论的的基基础础上上发发展展起起来来了了一一些些新新的的方方法法及理论。及理论。（3）证证据据理理论论:它它通通过过定定义义信信任任函函数数、似似

12、然函数，把知道和不知道区别开来。然函数，把知道和不知道区别开来。（2）可可信信度度方方法法:它它是是MYCIN专专家家系系统统中中使使用用的的不不确确定定推推理理模模型型，它它以以确确定定性性理理论论为基础，方法简单、易用。为基础，方法简单、易用。（1）主主 观观Bayes方方 法法:它它 是是 PROSPECTOR专专家家系系统统中中使使用用的的不不确确定定推推理理模模型型，是是对对Bayes公公式式修修正正后后形形成成的一种不确定推理方法的一种不确定推理方法。概述概述-表示的表示的3 3方面问题方面问题现在学习的是第10页，共155页概述概述-表示的表示的3 3方面问题方面问题n n计算问

13、题计算问题计算问题计算问题n n不确定性的传播和更新。也是获取新信息的过程。不确定性的传播和更新。也是获取新信息的过程。不确定性的传播和更新。也是获取新信息的过程。不确定性的传播和更新。也是获取新信息的过程。n n例如：例如：例如：例如：(1)(1)已知已知已知已知C(A)C(A)和和和和f(B,A)f(B,A)，如何计算，如何计算，如何计算，如何计算 AB AB 结论的结论的结论的结论的C(B)C(B)。(2)A(2)A的的的的度度度度量量量量C C1 1(A)(A)已已已已知知知知，又又又又从从从从另另另另一一一一个个个个规规规规则则则则得得得得C C2 2(A(A）时时时时，如如如如何何

14、何何确定确定确定确定C(A)C(A)。(3)C(A(3)C(A1 1A A2 2)，C(AC(A1 1A A1 1)等如何由等如何由等如何由等如何由C(AC(A1 1)和和和和C(AC(A2 2)来计算。来计算。来计算。来计算。当当当当然然然然初初初初始始始始命命命命题题题题的的的的不不不不确确确确定定定定性性性性度度度度量量量量的的的的获获获获得得得得也也也也是是是是重重重重要要要要的的的的，这这这这常常常常常常常常是是是是主主主主观观观观确定的由有关领域的专家给出。确定的由有关领域的专家给出。确定的由有关领域的专家给出。确定的由有关领域的专家给出。现在学习的是第11页，共155页不确定性推

15、理例子不确定性推理例子例如，对于如下的推理过程：例如，对于如下的推理过程：n nR R1 1：A A2 2A A3B1n nR2 2：A1 1A2 2BB2 2n nR R3：B1 1Bn nR4 4：B B2 2BB 在描述这些规则时，采用的都是不确定性知识表示方式。在描述这些规则时，采用的都是不确定性知识表示方式。在描述这些规则时，采用的都是不确定性知识表示方式。在描述这些规则时，采用的都是不确定性知识表示方式。现在学习的是第12页，共155页推理树结果图推理树结果图 用推理树表示如图：用推理树表示如图：现在学习的是第13页，共155页概述概述-表示的表示的3 3方面问题方面问题n n语义

16、问题语义问题n n如何解释表示和计算的含义，目前多用概率方法。如何解释表示和计算的含义，目前多用概率方法。n n如如：f f（B B，A A）可可理理解解为为当当前前提提A A为为真真时时结结论论B B为为真真的的一一种种影影响响程程度度，C C（A A）可可理理解解为为A A为为真真的的程程度。度。特别关心的是特别关心的是f f（B B，A A）的特殊值的意义：）的特殊值的意义：1 1）A(T)A(T)A(T)A(T)B(T)B(T)，f f f f（B B，A A）=?=?=?=?2 2 2 2）A(T)A(T)B(F)B(F)，f f f f（B B，A A）=?=?3 3 3 3）B

17、B 独立于独立于独立于独立于A A，f f（B B B B，A A A A）=?=?=?=?现在学习的是第14页，共155页概述概述-表示的表示的3 3方面问题方面问题 对对C C（A A）关心的是其在特殊状态下的意义：）关心的是其在特殊状态下的意义：）关心的是其在特殊状态下的意义：）关心的是其在特殊状态下的意义：1 1 1 1）A A为为为为TRUETRUE，C C（A A）=?=?=?=?2 2 2 2）A A为为为为FALSEFALSE，C C C C（A A）=?=?3 3）对）对A A A A一无所知时，一无所知时，C(A)=?C(A)=?其中，其中，其中，其中，T T T T：Tr

18、ueTrue，F F F F：FalseFalse现在学习的是第15页，共155页1表示问题表示问题（1）知知识识不不确定性的表示确定性的表示（2）证证据据的的不确定性表示不确定性表示2计算问题计算问题（1）不不确确定定性性的传递算法的传递算法（2）结结论论不不确确定性的合成定性的合成（3）组组合合证证据据的的不不确确定定性性算算法法 3语义问题语义问题(1)知知识识的的不不确确定定性性度度量量，需需要要定定义义在在三三个个典典型型情情况况下下的的取值。取值。(2)对对于于证证据据的的不不确确定定性性度度量量，需需要要定定义义在在三三个个典典型情况下的取值。型情况下的取值。要实现对不确定性知识

19、的处理，必须要解决不确定知识要实现对不确定性知识的处理，必须要解决不确定知识的表示问题，不确定信息的计算问题，以及不确定性表的表示问题，不确定信息的计算问题，以及不确定性表示和计算的语义解释问题。示和计算的语义解释问题。概述概述-表示的表示的3 3方面问题方面问题现在学习的是第16页，共155页概述概述-分类分类 不不确确定定性性推推理理方方法法可可分分为为形形式式化化方方法法和和非非形式化方法。形式化方法。n n形形式式化化方方法法：有有逻逻辑辑法法、新新计计算算法法和和新新概概率法。率法。n n逻辑法逻辑法 逻逻辑辑法法是是非非数数值值方方法法，采采用用多多值值逻逻辑辑和和非非单单调调逻逻

20、辑辑来来处处理理不不确确定定性性。传传统统的的有有基基于于概概率率理论的贝叶斯网络等。理论的贝叶斯网络等。现在学习的是第17页，共155页概述概述-分类分类n n新计算法新计算法 新新计计算算法法认认为为概概率率法法不不足足以以描描述述不不确确定定性性，从从而而出出现现了了证证据据理理论论（也也叫叫DempsterShafter，D-S方方法法），确确定定性性方方法法（CF法法）以以及及模模糊糊逻逻辑方法。辑方法。n n新概率法新概率法 新新概概率率法法试试图图在在传传统统的的概概率率论论框框架架内内，采采用用新新的计算方法以适应不确定性描述。的计算方法以适应不确定性描述。n n非非形形式式化

21、化方方法法：是是指指启启发发性性方方法法，对对不不确确定性没有给出明确的概念。定性没有给出明确的概念。现在学习的是第18页，共155页 不不确确定定推推理理方方法法：工工程程方方法法、控控制制方方法法和和并行确定性法。并行确定性法。n n工程法工程法工程法工程法n n将问题简化为忽略哪些不确定性因素。将问题简化为忽略哪些不确定性因素。n n控制法控制法n n利利用用控控制制策策略略来来消消除除不不确确定定性性的的影影响响，如如启启发发式的搜索方法。式的搜索方法。n n通通过过识识别别领领域域中中引引起起不不确确定定性性的的某某些些特特征征及及相相应应的的控控制制策策略略来来限限制制或或减减少少

22、不不确确定定性性对对系系统统产产生生的的影影响响，这这类类方方法法没没有有处处理理不不确确定定性性的的统统一一模型，其效果极大地依赖于控制策略。模型，其效果极大地依赖于控制策略。概述概述-分类分类现在学习的是第19页，共155页n n并行确定性法并行确定性法n n把不确定性的推理分解为两个相对独立的过程：把不确定性的推理分解为两个相对独立的过程：1 1）不计不确定性采用标准逻辑进行推理；）不计不确定性采用标准逻辑进行推理；2 2）对第一个过程的结论加以不确定性的度量。）对第一个过程的结论加以不确定性的度量。前前一一过过程程决决定定信信任任什什么么，后后一一过过程程决决定定对对它它的的信任程度。

23、信任程度。概述概述-分类分类现在学习的是第20页，共155页第五章第五章 不确定性推理不确定性推理n n概述概述概述概述n n概率论基础概率论基础概率论基础概率论基础n nBayes网络网络网络网络n n主观主观BayesBayes方法方法方法方法n n确定性方法确定性方法n n证据理论证据理论现在学习的是第21页，共155页第五章第五章 不确定性推理不确定性推理n n概述概述n n概率论基础概率论基础概率论基础概率论基础n nBayes网络网络n n主观主观主观主观BayesBayes方法方法方法方法n n确定性方法确定性方法n n证据理论证据理论证据理论证据理论现在学习的是第22页，共15

24、5页概率论基础概率论基础n n概率论是研究随机现象中数量规律的科学。概率论是研究随机现象中数量规律的科学。n n所所谓谓随随机机现现象象是是指指在在相相同同的的条条件件下下重重复复进进行行某某种种实实验验时时，所所得得实实验验结结果果不不一一定定完完全全相相同同且且不不可预知的现象。众所周知的是掷硬币的实验。可预知的现象。众所周知的是掷硬币的实验。n n人人工工智智能能所所讨讨论论的的不不确确定定性性现现象象，虽虽然然不不完完全全是是随随机机的的过过程程，但但是是实实践践证证明明，采采用用概概率率论论的的思思想想方方法法考考虑虑能能够够得得到到较较好好的的结结果果。在在这这节节中中我们简单给出

25、概率论的基本概念和贝叶斯定理。我们简单给出概率论的基本概念和贝叶斯定理。现在学习的是第23页，共155页概率论基础概率论基础（随机事件）（随机事件）n n随随机机实实验验：随随机机实实验验是是一一个个可可观观察察结结果果的的人人工工或或自自然然的的过过程程，其其产产生生的的结结果果可可能能不不止止一一个个，且且不不能能事事先确定会产生什么结果。先确定会产生什么结果。n n样样本本空空间间：样样本本空空间间是是一一个个随随机机实实验验的的全全部部可可能能出出现现的的结结果果的的集集合合，通通常常记记作作，中中的的点点（即即一一个个可可能能出出现现的的实实验验结结果果）成成为为样样本本点点，通常记

26、作通常记作。n n随随机机事事件件：随随机机事事件件是是一一个个随随机机实实验验的的一一些些可可能能结结果果的的集集合合，是是样样本本空空间间的的一一个个子子集集。常常用用大大写写字母字母A,B,C,A,B,C,表示。表示。现在学习的是第24页，共155页概率论基础概率论基础（事件间的关系与运算事件间的关系与运算）n n两个事件两个事件两个事件两个事件A A与与与与B B B B可能有以下几种特殊关系：可能有以下几种特殊关系：n n包包包包含含含含：若若若若事事事事件件件件B B B B发发发发生生生生则则则则事事事事件件件件A A A A也也也也发发发发生生生生，称称称称“A A A A包包

27、包包含含含含B B B B”，或或或或“B B B B含含含含于于于于A A A A”，记作，记作，记作，记作A BA BA BA B或或或或B AB AB AB A。n n等等等等价价价价：若若若若A A A A B B B B且且且且B B B B A A A A，即即即即A A A A与与与与B B B B同同同同时时时时发发发发生生生生或或或或同同同同时时时时不不不不发发发发生生生生，则称则称则称则称A A A A与与与与B B B B等价，记作等价，记作等价，记作等价，记作A=BA=BA=BA=B。n n互斥：若互斥：若互斥：若互斥：若A A A A与与与与B B B B不能同时发生

28、，则称不能同时发生，则称不能同时发生，则称不能同时发生，则称A A A A与与与与B B B B互斥，记作：互斥，记作：互斥，记作：互斥，记作：n n对对对对立立立立：若若若若A A A A与与与与B B B B互互互互斥斥斥斥，且且且且必必必必有有有有一一一一个个个个发发发发生生生生，则则则则称称称称A A A A与与与与B B B B对对对对立立立立，记作记作记作记作A=BA=B或或或或B=AB=A，又称，又称，又称，又称A A A A为为为为B B B B的余事件，或的余事件，或的余事件，或的余事件，或B B B B为为为为A A A A的余事件。的余事件。的余事件。的余事件。n n任意

29、两个事件不一定会是上述几种关系中的一种。任意两个事件不一定会是上述几种关系中的一种。现在学习的是第25页，共155页概率论基础概率论基础（事件间的关系与运算事件间的关系与运算）n n设设A A，B B，A A1 1，A A2 2，A An n为为一一些些事事件件，它它们们有下述的运算：有下述的运算：n n交交：记记C=C=“A A与与B B同同时时发发生生”，称称为为事事件件A A与与B B的的交交，C=C=|A A且且BB，记记作作 或或C=AB。类类似似地地用用 表表示示事事件件“n n个个事事件件A A1 1,A A2 2,A An n同时发生同时发生”。n n并并：记记C=C=“A A

30、与与B B中中至至少少有有一一个个发发生生”，称称为为事事 件件 A A与与 B B的的 并并，C=C=|A A或或 BB，记记 作作 。现在学习的是第26页，共155页概率论基础概率论基础（事件间的关系与运算事件间的关系与运算）类类似似地地用用 表表示示事事件件“n个个事事件件A1,A2,An中至少有一个发生中至少有一个发生”。n n差差：记记C=C=“A A发发生生而而B B不不发发生生”，称称为为事事件件A A与与B B的的差差，C=C=|A A但但BB，记记作作 C=AB 或或C=A-B。n n求余：求余：现在学习的是第27页，共155页概率论基础概率论基础（运算的性质运算的性质）n

31、n事件的运算有以下几种性质：事件的运算有以下几种性质：n n交换率：交换率：n n结合律：结合律：n n分配律：分配律：n n摩根率：摩根率：n n事事件件计计算算的的优优先先顺顺序序为为：求求余余、交交、差差和和并。并。现在学习的是第28页，共155页概率论基础概率论基础（概率定义概率定义）n n定定义义：设设为为一一个个随随机机实实验验的的样样本本空空间间，对对上上的的任任意意事事件件A A，规规定定一一个个实实数数与与之之对对应应，记记为为P(A)P(A)，满满足足以以下下三三条条基基本本性性质，称为事件质，称为事件A A发生的概率：发生的概率：n n n n n n若二事件若二事件AB

32、AB互斥，即互斥，即AB=AB=，则，则n n以上三条基本规定是符合常识的。以上三条基本规定是符合常识的。现在学习的是第29页，共155页概率论基础概率论基础（概率性质概率性质）n n定定定定义义义义：设设设设AAn n,n=1,2,为为为为一一一一组组组组有有有有限限限限或或或或可可可可列列列列无无无无穷穷穷穷多多多多个个个个事事事事件件件件，两两两两两两两两不不不不相相相相交交交交，且且且且 ，则则则则称称称称事事事事件件件件族族族族AAn,n=1,n=1,2,2,为为样样本本空空间间的的一一个个完完备备事事件件族族，又又若若对对任任意意事事件件B B有有有有BABAn n=A=A=A=A

33、n n或或或或,n=1,n=1,n=1,n=1,2,2,2,2,，则则称称An,n=1,2,n=1,2,为基本事件族。为基本事件族。为基本事件族。为基本事件族。n n完备事件族与基本事件族有如下的性质：完备事件族与基本事件族有如下的性质：定理：若定理：若An n,n=1,2,n=1,2,为一完备事件族，则为一完备事件族，则 ，且对于一事件，且对于一事件B B有有有有n n有若有若有若有若An,n=1,2,为一基本事件族，则为一基本事件族，则为一基本事件族，则为一基本事件族，则现在学习的是第30页，共155页概率论基础概率论基础（统计（统计概率性质概率性质）n n对任意事件对任意事件A A，有，

34、有，有，有 。n n必必然然事事件件的的的的概概概概率率率率P()=1=1，不不可可能能事事件件的的的的概概概概率率率率P()=0)=0。n n对任意事件对任意事件对任意事件对任意事件A A，有，有，有，有 。n n设设设设事事事事件件件件A A1，A A2，An（kn n）是是两两两两互互不不相相容容的的事事件，即件，即 有，则有，则n n设设设设A A，B B是两事件，则是两事件，则是两事件，则是两事件，则，现在学习的是第31页，共155页概率论基础概率论基础（条件（条件概率概率）n n定义：设定义：设A A，B为事件且为事件且为事件且为事件且P(A)0P(A)0，称，称，称，称 为为事事

35、件件A已已发发生生的的条条件件下下，事事件件B的的条条件件概概率率，P(A)P(A)在概率推理中称为在概率推理中称为边缘概率边缘概率边缘概率边缘概率。简简称称P(B|A)P(B|A)为为为为给给给给定定定定A A时时时时B B发发生生的的概概率率。P(AB)P(AB)称称称称为为为为A与与B B的的的的联合概率联合概率联合概率联合概率。有联合概率公式：有联合概率公式：现在学习的是第32页，共155页概率论基础概率论基础（条件（条件概率性质概率性质）n n n n ，n n若若若若 ，则，则，则，则n n乘法公式：乘法公式：乘法公式：乘法公式：n n全全 概概 率率 公公 式式：设设A A1 1

36、，A2，An互互 不不 相相 交交，且，且 ，则对于任意事件，则对于任意事件A A A A有有有有现在学习的是第33页，共155页概率论基础概率论基础（贝叶斯定理贝叶斯定理）n n设设设设A A，B1，B B2，B Bn为为为为一一一一些些些些事事事事件件件件，P(A)0P(A)0，B B1，B2，B Bn互互 不不 相相 交交，P(BP(Bi)0,i=1,2,n n，且且 ，则对于，则对于k=1,2,k=1,2,n，有，有:n n贝贝叶叶斯斯公公式式容容易易由由条条件件概概率率的的定定义义、乘乘法法公公式式和和全全概概率率公公式式得得到到。在在贝贝叶叶斯斯公公式式中中，P(Bi i),i=1

37、,2,n称称为为先先验验概概率率，而而而而P(Bi i|A)|A)i=1,i=1,2,2,n n称称称称为为为为后后后后验验验验概概概概率率率率也是条件概率。也是条件概率。也是条件概率。也是条件概率。现在学习的是第34页，共155页概率论基础概率论基础（几率函数几率函数）n n几率函数几率函数 几率函数定几率函数定几率函数定几率函数定义为义为 ：它它它它表表表表示示示示x的的出出现概概率率与与不不出出现概概率率之之比比，显然然随随P P(x)的加大的加大O(x x)也加大，而且也加大，而且n n当当当当P(x)=0P(x)=0时时，有，有，有，有O(O(x x)0 0n n当当当当P(x)=0

38、.5P(x)=0.5时时，有，有，有，有O(O(x x)1 1n n当当当当P(x)=1P(x)=1时时，有，有，有，有 O(O(x x)于于于于是是是是，取取取取值值于于于于0,1的的P P(x)被被放放大大为取取值于于0,的的 O(x x)。现在学习的是第35页，共155页第五章第五章 不确定性推理不确定性推理n n概述概述n n概率论基础概率论基础概率论基础概率论基础n nBayesBayes网络网络n n主观主观Bayes方法方法n n确定性方法确定性方法确定性方法确定性方法n n证据理论证据理论现在学习的是第36页，共155页第五章第五章 不确定性推理不确定性推理n n概述概述n n

39、概率论基础概率论基础n nBayes网络网络n n主观主观Bayes方法方法n n确定性方法确定性方法确定性方法确定性方法n n证据理论证据理论证据理论证据理论现在学习的是第37页，共155页贝叶斯网络贝叶斯网络n n二二十十世世纪纪八八十十年年代代贝贝贝贝叶叶叶叶斯斯斯斯网网网网络络络络（Bayes Bayes Bayes Bayes NetworkNetworkNetworkNetwork）成成功功地地应应用用于于专专家家系系统统，成成为为表表示示不不确确定定性性专专家家知知识识和和推推理的一种流行的方法。理的一种流行的方法。n n基基于于贝贝叶叶斯斯方方方方法法法法的的的的贝贝贝贝叶叶叶

40、叶斯斯斯斯网网网网络络络络是是一一种种适适应应性性很很广广的的手手段段和和工工具具，具具有有坚坚实实的的数数学学理理论论基基础础。在在综综合合先先验验信信息息（领领域域知知识识）和和数数据据样样本本信信息息的的前前提提下下，还还可可避避免免只只使使用先验信息可能带来的主观偏见。用先验信息可能带来的主观偏见。n n虽虽然然很很多多贝贝叶叶斯斯网网络络涉涉及及的的学学习习问问题题是是NPNPNPNP难难解解的的。但但是是，由由于于已已经经有有了了一一些些成成熟熟的的近近似似解解法法，加加上上一一些些限限制制后计算可大为简化，很多问题可以利用近似解法求解。后计算可大为简化，很多问题可以利用近似解法求

41、解。现在学习的是第38页，共155页贝叶斯网络贝叶斯网络n n贝贝叶叶斯斯网网络络方方法法的的不不确确定定性性表表示示基基本本上上是是保保持持了了概概率率的的表表示示方方式式，可可信信度度计计算算也也是是概概率率计计算算方方法法，只只是是在在实实现现时时，各各具具体体系系统统根根据据应应用用背背景景的的需需要要采采用用各种各样的近似计算方法。各种各样的近似计算方法。n n推推推推理理理理过过过过程程程程称称称称为为为为概概概概率率率率推推推推理理理理。因因因因此此此此，贝贝贝贝叶叶叶叶斯斯斯斯网网网网络络络络没没没没有有有有其其其其它它它它确确确确定定定定性性性性推推推推理理理理方方方方法法法

42、法拥拥拥拥有有有有的的的的确确确确定定定定性性性性表表表表示示示示、计计计计算算算算、语语语语义义义义解解解解释释释释等等等等问问问问题题题题。本本本本节节节节只只只只介介介介绍绍绍绍贝贝贝贝叶叶叶叶斯斯斯斯网网网网络络络络的的的的基基基基本本本本概概概概念念念念和和和和简简简简单单单单的的的的推理方法。推理方法。推理方法。推理方法。现在学习的是第39页，共155页贝叶斯网络贝叶斯网络（事件的独立性事件的独立性）n n独立：如果独立：如果X与与Y相互独立，则相互独立，则 P(X,Y)=P(X)P(Y)P(X|Y)=P(X)n n条条件件独独立立：如如果果在在给给定定Z的的条条件件下下，X与与Y

43、相相互独立，则互独立，则 P(X|Y,Z)=P(X|Z)实际中，条件独立比完全独立更重要。实际中，条件独立比完全独立更重要。现在学习的是第40页，共155页贝叶斯网络贝叶斯网络（联合概率联合概率）n n联合概率：联合概率：联合概率：联合概率：P(XP(X1 1,X,X2,X,XN)n n二值，则有二值，则有二值，则有二值，则有2 2NN可能的值，其中可能的值，其中可能的值，其中可能的值，其中2 2N-1N-1个独立。个独立。个独立。个独立。不是二值哪？不是二值哪？不是二值哪？不是二值哪？n n如果相互独立：如果相互独立：P(X1,X2,X,XN)=P(X1 1)P(X2 2)P(XN)n n条

44、件概率：条件概率：条件概率：条件概率：P(X1 1,X,X2 2,X,XN)=P(X)=P(X1 1|X2,X,XN)P(X)P(X2 2,X,XN)迭代表示：迭代表示：迭代表示：迭代表示：P(XP(X1 1,X,X2 2,X,XNN)=P(X)=P(X1 1)P(X)P(X2 2|X|X1 1)P(X)P(X3 3|X|X2 2X X1 1)P(XP(XNN|X|XN-1N-1,X,X1 1)=P(X =P(XNN)P(X)P(XN-1N-1|X|XNN)P(X)P(XN-2N-2|X|XN-1N-1X XNN)P(XP(X1 1|X|X2 2,X,XNN)实际应用中就是利用条件独立性的性质

45、简化网络复杂性的。实际应用中就是利用条件独立性的性质简化网络复杂性的。实际应用中就是利用条件独立性的性质简化网络复杂性的。实际应用中就是利用条件独立性的性质简化网络复杂性的。现在学习的是第41页，共155页贝叶斯网络贝叶斯网络（基本概念基本概念）贝叶斯网络：贝叶斯网络：n n一系列变量的联合概率分布的图形表示。一系列变量的联合概率分布的图形表示。n n一一个个表表示示变变量量之之间间的的相相互互依依赖赖关关系系的的数数据结构；图论与概率论的结合。据结构；图论与概率论的结合。现在学习的是第42页，共155页贝叶斯网络贝叶斯网络（因果关系网络因果关系网络）假设：假设：n n命题命题命题命题S(sm

46、oker)S(smoker)S(smoker)S(smoker)：该患者是一个吸烟者：该患者是一个吸烟者n n命题命题C(coal Miner)C(coal Miner)：该患者是一个煤矿矿井工人：该患者是一个煤矿矿井工人n n命题命题L(lung Cancer)L(lung Cancer)：他患了肺癌：他患了肺癌：他患了肺癌：他患了肺癌n n命题命题命题命题E(emphysema)E(emphysema)E(emphysema)E(emphysema)：他患了肺气肿：他患了肺气肿n n由由专专家家给给定定的的假假设设可可知知，命命题题S S S S对对对对命命命命题题题题L L和和和和命命命

47、命题题题题E E E E有有有有因因因因果果果果影影影影响响响响，而而而而C C C C对对E E E E也也有有因因果果影影响响。命命题题之之间间的的关关系系可可以以描描绘绘成成因因果果关关系系网网。每每一一个个结结点点代代表表一一个个证证据据，每每一一条条弧弧代代表表一一条条规规则则（假假设设），连连接接结结点点的的弧弧表表达达了了有有规规则给出的，结点间的直接因果关系。则给出的，结点间的直接因果关系。现在学习的是第43页，共155页贝叶斯网络贝叶斯网络（因果关系图例因果关系图例）其中，其中，结结点点S S S S、C C是是是是结结结结点点点点L L L L和和E E的的的的父父父父结结

48、结结点点点点或或或或称称称称双双双双亲亲亲亲结结结结点点点点，同同同同时时时时，L L、E E也也称称为为是是S S和和和和C C的的子子结结点点或或称称后后代代结结点。点。SCEL因果关系图例因果关系图例 现在学习的是第44页，共155页贝叶斯网络贝叶斯网络（贝叶斯网络贝叶斯网络）n n贝贝叶叶斯斯网网就就是是一一个个在在弧弧的的连连接接关关系系上上加入连接强度的因果关系网络加入连接强度的因果关系网络 。现在学习的是第45页，共155页贝叶斯网络贝叶斯网络（图例图例）贝叶斯网络图例贝叶斯网络图例无环图和指定概率值无环图和指定概率值P(A),P(B),P(B|AC),P(E|C),P(D|C)

49、,P(F|E),P(G|DEF)BADEFCG现在学习的是第46页，共155页贝叶斯网络贝叶斯网络（图例图例）非贝叶斯网络图例非贝叶斯网络图例 BADCEGF现在学习的是第47页，共155页贝叶斯网络贝叶斯网络（定义定义）n n两个部分两个部分n n贝贝叶叶斯斯网网络络结结构构图图，这这是是一一个个有有向向无无环环图图（DAG:DAG:Directed Directed Acyclic Acyclic GraphGraph），其其中中图图中中的的每每个个结结点点代代表表相相应应的的变变量量。当当有有向向弧弧由由结结点点A A指指向向结结点点B B时时，则称：则称：A A是是B B的父结点；的父

50、结点；B B是是A A的子结点。的子结点。n n结结点点和和结结点点之之间间的的条条件件概概率率表表（Conditional Conditional Probability Probability Table,Table,CPTCPT），也也就就是是一一系系列列的的概概率率 值值，表表 示示 了了 局局 部部 条条 件件 概概 率率 分分 布布。P(node|parents)P(node|parents)。n n目目的的：由由证证据据得得出出原原因因发发生生的的概概率率。即即观观察察到到P(Y)P(Y)，求求P(X|Y)P(X|Y)。现在学习的是第48页，共155页贝叶斯网络贝叶斯网络（如何构