智能决策支持系统-课件.ppt

《智能决策支持系统-课件.ppt》由会员分享，可在线阅读，更多相关《智能决策支持系统-课件.ppt（70页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三章第三章智能决策支持系统智能决策支持系统教学目的教学目的v掌握IDSS的基本概念，掌握IDSS的组成部件和系统结构；v了解知识表示和知识推理，理解专家系统的决策支持。v熟悉神经网络的决策支持。3.1 3.1智能决策支持系统概述智能决策支持系统概述 1 1智能决策支持系统的概念智能决策支持系统的概念 智能决策支持系统(IDSS)是DSS与人工智能（Artificial Intelligent，AI）技术相结合的系统。2.IDSS2.IDSS的结构的结构 v 专家系统v 神经网络 v 遗传算法 v 机器学习 v 自然语言理解 人工智能的决策支持技术人工智能的决策支持技术人工智能的决策支持技术人

2、工智能的决策支持技术 2.IDSS2.IDSS的结构的结构 IDSSIDSSIDSSIDSS结构形式结构形式结构形式结构形式(P101)(P101)(P101)(P101)模型库数据库用户模型库管理系统数据库管理系统问题综合与交互系统人工智能技术专家系统神经网络遗传算法机器学习自然语言理解2.IDSS2.IDSS的结构的结构 IDSSIDSSIDSSIDSS结构形式结构形式结构形式结构形式 用户模型库管理系统数据库管理系统知识库管理系统推理机模型库知识库数据库问题综合与交互系统 3.2 3.2 人工智能基本原理人工智能基本原理 1 1决策推理与决策支持系统决策推理与决策支持系统 人类做决策时需

3、要进行推理(inference)，推理是由已知事实通过一定逻辑手段获得未知事实,其模型如图所示：已知事实未知事实推理1 1决策推理与决策支持系统决策推理与决策支持系统 v演绎推理：是从已知一般性规则出发推导出个体事实的结果，其模型如图：一般性规则个体事实演绎推理人脑的决策推理人脑的决策推理人脑的决策推理人脑的决策推理v归纳推理：归纳推理即是由大量个体事实出发推导出一般性规则,其模型如图所示：大量个体事实一般性规则归纳推理人脑的决策推理人脑的决策推理人脑的决策推理人脑的决策推理1决策推理与决策支持系统决策推理与决策支持系统 1 1决策推理与决策支持系统决策推理与决策支持系统 v归纳演绎推理：首先

4、利用归纳推理从大量事实中归纳出一般性规则,用该规则通过演绎推理推导出另一类个体事实的结论,其推理模型如图所示：大量事实一般性规则归纳推理个体事实大量事实演绎推理人脑的决策推理人脑的决策推理人脑的决策推理人脑的决策推理1 1决策推理与决策支持系统决策推理与决策支持系统 v电脑的演绎推理：数学方法和数学模型的演绎推理最常见的一般性规则的表示方法是采用数学方法,我们称之为数学模型,如数学表达式、数学方程式等。在演绎推理软件中使用的手段是将常用的一些推演方法如最小二乘法等作为固定算法用编程实现并将其存放在一个所谓的方法库或模型库。电脑的决策推理电脑的决策推理电脑的决策推理电脑的决策推理1 1决策推理与

5、决策支持系统决策推理与决策支持系统 v电脑的演绎推理：人工智能方法和逻辑模型的演绎推理人工智能中常用的知识表示方法是谓词逻辑表示法。即是将规则表示为数理逻辑中的一组一阶谓词逻辑的合法公式,而这种模型称为逻辑模型,对此模型可通过一阶逻辑的推理方法以实现演绎推理。电脑的决策推理电脑的决策推理电脑的决策推理电脑的决策推理1 1决策推理与决策支持系统决策推理与决策支持系统 v电脑的归纳推理方法：验证型归纳：验证型归纳推理的实现是一个人机交互的过程,特别是反复测试与比较的过程需要人参与,通过人-机不断协作最终才能取得归纳的结果,此种推理我们称之为联机分析处理。电脑的决策推理电脑的决策推理电脑的决策推理电

6、脑的决策推理1 1决策推理与决策支持系统决策推理与决策支持系统 v电脑的归纳推理方法：探索型归纳：是一种创造力较为强大的归纳推理,这种推理一般没有预先设想的模型,而仅有一些大致的范围与轮廓,因此,这种推理难度较大,推理方法也多。目前这种推理称为数据挖掘。如关联分析、分类分析、聚类分析。电脑的决策推理电脑的决策推理电脑的决策推理电脑的决策推理1 1决策推理与决策支持系统决策推理与决策支持系统 v基于数学模型的演绎决策过程：在数学模型表示中,数据（仓）库数据作为数学模型的参数输入,而演义推理则用方法库中方法调用方式实现。基于数学模型的演绎决策过程如下图所示：DSSDSSDSSDSS中的决策过程中的

7、决策过程中的决策过程中的决策过程数学公式参 数（数据仓库）方法调用个体事实（数据）1 1决策推理与决策支持系统决策推理与决策支持系统 v基于逻辑模型的演绎决策过程：在逻辑模型表示中,数据（仓）库数据作为假设前提输入,而演义推理则通过推理引擎实现。基于逻辑模型的演绎决策过程如下图所示：DSSDSSDSSDSS中的决策过程中的决策过程中的决策过程中的决策过程谓词逻辑公式假设前提（数据仓库）推理引擎个体事实（数据）1 1决策推理与决策支持系统决策推理与决策支持系统 v验证型归纳的决策过程：在验证型归纳中,归纳推理部分即为数据实验室的人机交互试验。如下图所示：DSSDSSDSSDSS中的决策过程中的决

8、策过程中的决策过程中的决策过程数据仓库数据实验室试验一般性规则1 1决策推理与决策支持系统决策推理与决策支持系统 v探索型归纳的决策过程：在探索型归纳中,归纳推理部分即各种类型算法调用。如下图所示：DSSDSSDSSDSS中的决策过程中的决策过程中的决策过程中的决策过程数 据（数据仓库）算法调用一般性规则2 2知识的表示和推理技术知识的表示和推理技术 知识表示在人工智能和专家系统中是最重要的问题之一。知识表示实际上就是对人类知识的一种描述，把人类知识表示成计算机能够处理的数据结构。对知识进行表示的过程就是把知识编码成某种数据结构的过程。2 2知识的表示和推理技术知识的表示和推理技术 v谓词逻辑

9、：谓词逻辑是对简单命题的内部结构的进一步分析，将一个命题分解为客体和谓词两个组成部分。在在谓词逻辑中，把反映某些特定个体的概念称为个体词，把反映个体所具有的关系称为谓词。P(x)是一个谓词公式，其中P为谓词，x是客体变元。谓词逻辑通常以合取（）和析取（）等连接形成谓词公式表示知识。谓词逻辑谓词逻辑谓词逻辑谓词逻辑2 2知识的表示和推理技术知识的表示和推理技术 v如何用谓词表示知识：定义谓词和个体，确定谓词和个体的含义；根据要表达的事物和概念，为每个谓词中的变元赋予特定的值；根据要表达的知识语义，用适当的连接符将各谓词连接起来，形成谓词公式。谓词逻辑谓词逻辑谓词逻辑谓词逻辑2 2知识的表示和推理

10、技术知识的表示和推理技术 predicates *谓词段，对谓词名和参数说明 likes(symbol,symbol)friend(symbol,symbol)clause *字句段，存放的事实和规则 likes(Bell,sports)likes(Mary,music)likes(Mary,sports)likes(Jane,swim)friend(John,x):-likes(x,sports),likes(x,music)*规则Goal *目标 firend(John,x)谓词逻辑谓词逻辑谓词逻辑谓词逻辑2 2知识的表示和推理技术知识的表示和推理技术 v概念：产生式规则是专家系统中应用最

11、广泛的知识表示和推理，又称产生式规则表示法，一般表示形成为：IF A THEN B，即如果A成立则B成立，简化为ABA是产生式的前提，用户提出该产生式是否可用的条件；B是一组结论式操作，用于指出前提A所指示的条件满足时应该得出的结论或应执行的操作。产生式规则产生式规则产生式规则产生式规则2 2知识的表示和推理技术知识的表示和推理技术 例：假设有一段专家的数码相机知识：如果照片是用于计算机屏幕显示或者拍摄VCD短片，则采用普通模式即可；如果用于打印6英寸到8英寸的照片或者拍摄HVCD短片，则采用高精度模式；如果要打印8英寸及以上更大照片或者拍摄DVD短片，则采用超高精度模式；如果用64M存储卡，

12、对应三种模式，分别可以存储241、109和24张照片；拍摄短片的时间分别为7分钟、3分钟和1.5分钟。产生式规则产生式规则产生式规则产生式规则2 2知识的表示和推理技术知识的表示和推理技术 If 用途=屏幕显示 or 短片=VCD THEN 模式=普通If（用途=照片 and 尺寸=6英寸 and 尺寸=8英寸）or 短片=DVD THEN 模式=超高精度If 存储卡=64M and 模式=普通 THEN 存储量=241 or 短片7分钟If 存储卡=64M and 模式=高精度 THEN 存储量=109 or 短片3分钟If 存储卡=64M and 模式=超高精度 THEN 存储量=24 o

13、r 短片1.5分钟 产生式规则产生式规则产生式规则产生式规则2 2知识的表示和推理技术知识的表示和推理技术 v正向推理：逐条搜索规则库，对每一条规则的前提条件，检查事实库中是否存在。前提条件中各子项若在事实库中不是全部存在则放弃该条规则；若在事实库中全部存在，则执行该条准则，把结论放在事实库中，反复执行上面的过程，直至推出目标。(P107)产生式规则产生式规则产生式规则产生式规则2 2知识的表示和推理技术知识的表示和推理技术 v逆向推理：目标明确，推理快，逆向推理从目标开始，寻找以目标为结论的规则，并对该规则的前提进行判断，若该规则的前提中某个子项是另一规则的结论时，再找此目标为结论的规则，重

14、复以上过程，直到对某一个规则的前提能够进行判断。由此回溯上一个规则的推理，一直回溯到目标的判断。产生式规则产生式规则产生式规则产生式规则2 2知识的表示和推理技术知识的表示和推理技术 v语义网络是通过概念及其语义关系表示知识的一种网络图，是一个带标注的有向图，由结点和弧组成。其中有向图结点表示各种概念、事物、动作、状态等，每个结点可带若干属性，以表征代表的对象的特征，孤是有方向和标注的，方向体现结点间的主次关系，标注表示被连接的两个结点的某种语义关系。语义网络语义网络语义网络语义网络2 2知识的表示和推理技术知识的表示和推理技术 语义网络语义网络语义网络语义网络学校主页Have张山学生北京城市

15、计算机设备硬盘上网人动物食物Study inISAAKOAKONeedCanAKOHaveLocatedISAHave3 3搜索技术搜索技术(P113)(P113)(P113)(P113)v从初始状态开始，利用规则生成所有可能状态，构成树的下一层节点。检查是否出现目标状态G，若未出现，分别顺序列用规则，生成再下一层的所有节点，再检查，继续直到找目标为止。广度优先搜索法广度优先搜索法广度优先搜索法广度优先搜索法3 3搜索技术搜索技术 v如下数码难题：2831476512384765初始棋局（初始状态）目标棋局（目标状态）8 32 1 47 6 58 1 32 47 6 52 8 37 46 1

16、52 8 37 1 46 51 2 38 47 6 528 31 47 6 52 318 47 6 528 316 47 528 31 4 7 6 52 8 3 1 47 6 52345 8 32 1 47 6 52 8 37 1 4 6 5 2 31 8 47 6 52 31 8 47 6 52 8 31 6 4 7 52 8 31 6 4 7 52 81 4 37 6 52 8 31 4 57 6678 32 1 47 6 52 8 37 1 46 51 2 3 8 47 6 52 3 41 87 6 52 8 3 6 4 1 7 52 8 31 6 7 5 42 81 4 37 6 52

17、 8 31 4 57 61428 31 47 6 52 318 47 6 528 316 47 528 31 4 7 6 52 8 3 1 47 6 52345 8 32 1 47 6 52 8 37 1 4 6 5 2 31 8 47 6 52 31 8 47 6 52 8 31 6 4 7 52 8 31 6 4 7 52 81 4 37 6 52 8 31 4 57 6678 32 1 47 6 52 8 37 1 46 51 2 3 8 47 6 52 3 41 87 6 52 8 3 6 4 1 7 52 8 31 6 7 5 42 81 4 37 6 52 8 31 4 57 61

18、48 32 1 47 6 58 1 32 47 6 52 8 37 46 1 52 8 37 1 46 51 2 38 47 6 53 3搜索技术搜索技术 从初始状态S开始，利用规则生成搜索树下一层，检查是否出现目标状态G，由此状态规则再生成下一目标节点G，若未出现，继续以上过程。深度优先搜索法深度优先搜索法深度优先搜索法深度优先搜索法2 8 37 46 1 52 8 37 1 46 52 8 37 1 4 6 52 8 37 1 46 51 2 38 47 6 51 2 3 8 47 6 52 318 47 6 5 2 31 8 47 6 51 2 3 8 47 6 58 32 1 47 6

19、 58 1 32 47 6 51228 31 47 6 52 8 3 1 47 6 5 8 32 1 47 6 58 32 1 47 6 53458 1 32 47 6 58 32 1 47 6 51228 31 47 6 52 8 3 1 47 6 5 8 32 1 47 6 58 32 1 47 6 53452 8 37 46 1 52 8 37 1 4 6 52 8 37 1 46 52 8 37 1 46 51 2 38 47 6 52 318 47 6 5 2 31 8 47 6 51 2 3 8 47 6 5 3.3 3.3专家系统专家系统 1 1专家系统概述专家系统概述（P117

20、)P117)P117)P117)利用大量的专家知识，运用知识推理的方法来解决特定领域中的实际问题的计算机程序系统。专家系统概念专家系统概念专家系统概念专家系统概念1 1专家系统概述专家系统概述 v按应用领域：分为医疗诊断、勘探v按知识表示技术：分为基于逻辑的、基于规则的等 v按推理控制策略：分为正向推理、逆向推理等。专家系统分类专家系统分类专家系统分类专家系统分类1 1专家系统概述专家系统概述 专家系统的结构专家系统的结构专家系统的结构专家系统的结构（P118P118P118P118）推理机知识库咨询建议人机接口知识获取专家用户专家系统核心2 2产生式规则专家系统产生式规则专家系统(P119)

21、(P119)(P119)(P119)产生式规则知识表示形式容易被人理解；它是基于演绎推理的，保证了推理结果的正确性；大量产生式规则所连成的推理树适应各种实际问题的能力很强。2 2产生式规则专家系统产生式规则专家系统 产生式规则知识有如下特点：相同的条件可得出不同的结论；相同的结论可以由不同的条件得出来；条件之间可以是“与”（AND）连接和“或”(OR)；一条规则中的结论可以是另一条规则中的条件，如：FBZ，CDF，其中F在前一条规则中是条件，在后一规则中是结论。产生式规则基本原理产生式规则基本原理产生式规则基本原理产生式规则基本原理2 2产生式规则专家系统产生式规则专家系统 A（BC）G（IJ

22、）KA XFJ LB MEC WZM PQE 推理树和逆向推理过程推理树和逆向推理过程推理树和逆向推理过程推理树和逆向推理过程GABLCMEIJKXFWZPQ3 3事实数据库和解释机制事实数据库和解释机制事实数据库事实数据库事实数据库事实数据库基本事实号 事实内容 基本事实数据库规则库规则号 条件事实号 条件事实号 结论事实号 3 3事实数据库和解释机制事实数据库和解释机制事实数据库事实数据库事实数据库事实数据库例：规则1：若是中年人，则老练。规则2：若是老练并有驾驶经验，则不会出交通事故。3 3事实数据库和解释机制事实数据库和解释机制解释机制解释机制解释机制解释机制 解释机制是把推理过程显示

23、给用户，让用户知道目标的推出事实，消除用户对目标结论的疑虑。4 4专家系统与专家系统与DSSDSS的集成的集成(P123)(P123)(P123)(P123)vDSS与ES并重的IDSS结构v以DSS为主体的IDSS结构 v以ES为主体的IDSS结构 3.4 3.4 神经网络的决策支持神经网络的决策支持 人工神经网络是在对人脑组织结构和运行机制的认识和理解的基础上，模拟其结构和智能行为的一种工程系统，它为解决复杂问题提供了一个相对比较有效的简单方法。1 1神经网络原理神经网络原理生物神经元生物神经元生物神经元生物神经元 1 1神经网络原理神经网络原理MP模型是于1943年由美国心理学家McCu

24、lloch和数学家Pitts建立的第一个神经元模型，也可以称为处理单元(Processing Element)，它是一个多输入单输出的非线性信息处理单元。MP神经元是人工神经元模型的基础，也是人工神经网络模型的基础。人工神经元模型人工神经元模型人工神经元模型人工神经元模型(P133)(P133)(P133)(P133)1 1神经网络原理神经网络原理人工神经元模型人工神经元模型人工神经元模型人工神经元模型(P133)(P133)(P133)(P133)xjij f Oii1i2inx1x2xnOi netii1 1神经网络原理神经网络原理MP模型方程为：i=1,2,n人工神经元模型人工神经元模型

25、人工神经元模型人工神经元模型(P133)(P133)(P133)(P133)1 1神经网络原理神经网络原理MP 神经元模型是人工神经元模型的基础，也是神神经元模型是人工神经元模型的基础，也是神经网络理论的基础。在神经元模型中，激活函数除经网络理论的基础。在神经元模型中，激活函数除了阶跃函数之外，还有其它形式。不同的激活函数，了阶跃函数之外，还有其它形式。不同的激活函数，可构成不同的神经元模型。可构成不同的神经元模型。人工神经元模型人工神经元模型人工神经元模型人工神经元模型(P133)(P133)(P133)(P133)1 1神经网络原理神经网络原理人工神经元模型人工神经元模型人工神经元模型人工

26、神经元模型(P133)(P133)(P133)(P133)或或 对称型对称型Sigmoid函数函数 1 1神经网络原理神经网络原理人工神经元模型人工神经元模型人工神经元模型人工神经元模型(P133)(P133)(P133)(P133)非对称型非对称型Sigmoid函数函数或或1 1神经网络原理神经网络原理人工神经元模型人工神经元模型人工神经元模型人工神经元模型(P133)(P133)(P133)(P133)对称型阶跃函数函数对称型阶跃函数函数采用阶跃作用函数的神经元，称为阈值逻辑单元。采用阶跃作用函数的神经元，称为阈值逻辑单元。线性函数线性函数（1 1）线性作用函数：输出等于输入，即）线性作用

27、函数：输出等于输入，即 （2 2）饱和线性作用函数）饱和线性作用函数 （3 3）对称饱和线性作用函数）对称饱和线性作用函数 2 2反向传播模型（反向传播模型（BPBP模型）模型）多层网络结构多层网络结构多层网络结构多层网络结构 345612输入层隐含层（处理层）输出层2 2反向传播模型（反向传播模型（BPBP模型）模型）多层网络结构多层网络结构多层网络结构多层网络结构 3456122 2反向传播模型（反向传播模型（BPBP模型）模型）神经网络通过相继给网络输入一些样本模式，并按照一定的规则（或学习算法）不断改变网络各层的连接权值，使网络的输出不断地接近期望的输出值，这一个过程称为神经网络的学习

28、或训练。学习的实质是可变权值的动态调整的自适应过程。改变权值的规则称为学习规则或学习算法（相应也称训练规则或训练算法）。单个处理单元，无论采用哪一种学习规则进行调整，其算法都十分简单。大量处理单元集体进行权值调整时，网络就呈现出“智能”的特性。2 2反向传播模型（反向传播模型（BPBP模型）模型）BPBPBPBP神经网络的样本训练（错误回馈法）神经网络的样本训练（错误回馈法）神经网络的样本训练（错误回馈法）神经网络的样本训练（错误回馈法）v前向传播：数据从输入到输出的过程是一个从前向后的传播过程，后一节点的值通过前面连接的节点传过来，加权后输入转换函数，得到新的值传到下一节点。v回馈：当输出值

29、与我们预期的值不同，也就是发生错误时，神经网络就要“学习”，即依次向前调整各节点的“信任度”。2 2反向传播模型（反向传播模型（BPBP模型）模型）BPBPBPBP神经网络的样本训练（错误回馈法）神经网络的样本训练（错误回馈法）神经网络的样本训练（错误回馈法）神经网络的样本训练（错误回馈法）v训练过度：如果训练时间足够长，神经网络很可能把训练集的所有细节都记下来，而不是建立一个忽略细节只具有规律性的模型。称这种情况为训练过度。这种模型对训练集有很高的准确，而一旦离开训练集应用到其他数据，准确度会急剧下降。2 2反向传播模型（反向传播模型（BPBP模型）模型）BPBPBPBP神经网络的样本训练（

30、错误回馈法）神经网络的样本训练（错误回馈法）神经网络的样本训练（错误回馈法）神经网络的样本训练（错误回馈法）测试集错误率训练集错误率错误率训练周期2 2反向传播模型（反向传播模型（BPBP模型）模型）神经网络的局限性神经网络的局限性神经网络的局限性神经网络的局限性 v神经网络很难解释，因此在说明性和可靠性方面存在问题。v神经网络会学习过度，在训练神经网络时，主要注意使用一些能严格衡量神经网络的方法如：测试集或交叉验证。v训练一个神经网络可能需要相当可观的时间 2 2反向传播模型（反向传播模型（BPBP模型）模型）BPBPBPBP网络计算网络计算网络计算网络计算 计算各单元的输入输出值：设有个学

31、习样本,第(=1,2,)个样本有输入(1,2,)和输出(1,2,),神经元节点j到神经元i的输入为:2 2反向传播模型（反向传播模型（BPBP模型）模型）BPBPBPBP网络计算网络计算网络计算网络计算 神经元节点i的输出为:式中,表示节点j与节点i之间的连接强度;i是节点i的阈值;为转换函数,一般采用S型函数,即2 2反向传播模型（反向传播模型（BPBP模型）模型）BPBPBPBP网络计算网络计算网络计算网络计算 计算节点误差：对于隐含层节点,其偏差为对于输出层节点,其偏差为：2 2反向传播模型（反向传播模型（BPBP模型）模型）BPBPBPBP网络计算网络计算网络计算网络计算 计算节点误差

32、：隐含层节点误差为：若作用函数为S型函数，则输出层节点误差为：2 2反向传播模型（反向传播模型（BPBP模型）模型）BPBPBPBP网络计算网络计算网络计算网络计算 计算权重的修正值：式中为学习速率，取值01之间，决定了网络的学习速度，k为网络迭代步数。2 2反向传播模型（反向传播模型（BPBP模型）模型）BPBPBPBP网络计算网络计算网络计算网络计算 计算节点阈值的修正值：式中为学习速率。2 2反向传播模型（反向传播模型（BPBP模型）模型）BPBPBPBP网络计算网络计算网络计算网络计算 网络连接的权值和节点阈值，经过上述过程的反复修正，逐渐趋于稳定。当达到终止条件时，迭代过程终止。2 2反向传播模型（反向传播模型（BPBP模型）模型）BPBPBPBP网络分类实例网络分类实例网络分类实例网络分类实例 有一个训练样本x=1,0,1(类标号为1），网络初始结构如下图及表中的初始参数值，学习率=0.9。1234562 2反向传播模型（反向传播模型（BPBP模型）模型）BPBPBPBP网络分类实例网络分类实例网络分类实例网络分类实例 x1x2x3415142521010.2-0.30.40.1 43536465456-0.50.2-0.3-0.2-0.40.20.1