人工智能与专家系统.pptx

人工智能与专家系统人工智能与专家系统第九章第九章 神经网络神经网络从广义上讲从广义上讲，神经网络是泛指生物神经网络和人工神，神经网络是泛指生物神经网络和人工神经网络这两个方面。经网络这两个方面。本章的神经网络主要是讲人工神本章的神经网络主要是讲人工神经网络。经网络。人工神经网络人工神经网络是集脑科学、神经心理学和信是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，是近年来高科技领息科学等多学科的交叉研究领域，是近年来高科技领域的一个研究热点。它的研究目标是通过研究人脑的域的一个研究热点。它的研究目标是通过研究人脑的组成原理和思维方式，探索人类智能的奥秘，进而通组成原理和思维方式，探索人类智能的奥秘，进而通过模拟人脑的结构和工作模式，使机器具有类似人类过模拟人脑的结构和工作模式，使机器具有类似人类的智能，例如，使机器具有人类进行学习和获取知识的智能，例如，使机器具有人类进行学习和获取知识的能力。随着近年来有关神经网络研究的发展，其在的能力。随着近年来有关神经网络研究的发展，其在模式识别、机器学习、专家系统等多个方面得到研究，模式识别、机器学习、专家系统等多个方面得到研究，成为人工智能研究中的活跃领域。成为人工智能研究中的活跃领域。普通高等院校“十二五”规划教材第1页/共31页9.1 9.1 神经网络概述神经网络概述在广义的神经网络里，所谓在广义的神经网络里，所谓生物神经网络生物神经网络是指由中枢是指由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经、交感神经和副交感神经等）所构成的错综运动神经、交感神经和副交感神经等）所构成的错综复杂的神经网络，它负责对动物机体各种活动的管理，复杂的神经网络，它负责对动物机体各种活动的管理，其中最重要的是脑神经系统；所谓其中最重要的是脑神经系统；所谓人工神经网络人工神经网络是指是指模拟人脑神经系统的结构和功能，运用大量的处理部模拟人脑神经系统的结构和功能，运用大量的处理部件，由人工方式建立起来的网络系统。件，由人工方式建立起来的网络系统。普通高等院校“十二五”规划教材第2页/共31页9.1.1 9.1.1 生物神经网络生物神经网络生物神经网络生物神经网络1.1.生物神经元的生物神经元的生物神经元的生物神经元的结构结构结构结构图图9.1 9.1 生物神经元生物神经元结构结构普通高等院校“十二五”规划教材第3页/共31页9.1.19.1.1 人工神经网络人工神经网络人工神经网络人工神经网络2.2.生物神经元的重要功能特性生物神经元的重要功能特性生物神经元的重要功能特性生物神经元的重要功能特性时空整合功能时空整合功能动态极化性动态极化性兴奋与抑制状态兴奋与抑制状态结构可塑性结构可塑性脉冲与电位信号的转换脉冲与电位信号的转换突触延期和不应期突触延期和不应期学习、遗忘和疲劳学习、遗忘和疲劳普通高等院校“十二五”规划教材第4页/共31页9.1.2 9.1.2 人工神经网络人工神经网络人工神经网络人工神经网络1.1.人工神经网络的组成与结构人工神经网络的组成与结构人工神经网络的组成与结构人工神经网络的组成与结构人工神经网络人工神经网络（Artificial Neural Nets,ANNArtificial Neural Nets,ANN）是由大量是由大量处理单元经广泛互联而组成的人工网络，用来模拟脑处理单元经广泛互联而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元称为人工神神经系统的结构和功能。而这些处理单元称为人工神经元。人工神经网络可以看成是以人工神经元为节点，经元。人工神经网络可以看成是以人工神经元为节点，用有向加权弧连接起来的有向图。用有向加权弧连接起来的有向图。2.2.人工神经元的工作工程人工神经元的工作工程人工神经元的工作工程人工神经元的工作工程普通高等院校“十二五”规划教材第5页/共31页9.1.2 9.1.2 人工神经网络人工神经网络人工神经网络人工神经网络3.3.人工神经网络的分类及其主要特征人工神经网络的分类及其主要特征人工神经网络的分类及其主要特征人工神经网络的分类及其主要特征若若按网络的性能划分按网络的性能划分，可分为，可分为连续型连续型和和离散型离散型网络，网络，又可以分为又可以分为确定型确定型和和随机型随机型网络；网络；若若按网络的拓扑结构划分按网络的拓扑结构划分，则可以分为，则可以分为有反馈网络有反馈网络和和无反馈网无反馈网络；络；若若按网络的学习方法划分按网络的学习方法划分，则可以分为，则可以分为有教师的学习有教师的学习网络网络和和无教师的学习网络无教师的学习网络；若若按连接突触的性质划分按连接突触的性质划分，则可以分为，则可以分为一阶线性关联一阶线性关联网络网络和和高阶非线性网络高阶非线性网络。普通高等院校“十二五”规划教材第6页/共31页9.1.2 9.1.2 人工神经网络人工神经网络人工神经网络人工神经网络人工神经网络具有以下主要特征人工神经网络具有以下主要特征：能较好的模拟人的形象思维。能较好的模拟人的形象思维。具有大规模并行协同处理能力。具有大规模并行协同处理能力。具有较强的学习能力。具有较强的学习能力。具有较强的容错能力和联想能力。具有较强的容错能力和联想能力。是一个大规模自组织、自适应的非线性动力系统。是一个大规模自组织、自适应的非线性动力系统。普通高等院校“十二五”规划教材第7页/共31页9.1.3 9.1.3 人工神经网络人工神经网络人工神经网络人工神经网络研究的发展简史研究的发展简史研究的发展简史研究的发展简史产生时期产生时期产生时期产生时期（2020世纪世纪4040年代到年代到2020世纪世纪5050年代中期年代中期）人类人类脑模型脑模型M-PM-P模型模型开创了神经网络模型的理论研究的开创了神经网络模型的理论研究的新时代新时代。高潮时期高潮时期高潮时期高潮时期（2020世纪世纪5050年代中期到年代中期到2020世纪世纪6060年代末期年代末期）感知器模型感知器模型，把神经网络研究产品从纯理论探讨发展到工程，把神经网络研究产品从纯理论探讨发展到工程实现实现，掀起了人工神经网络研究的掀起了人工神经网络研究的高潮。高潮。低潮时期低潮时期低潮时期低潮时期（2020世纪世纪6060年代末到年代末到2020世纪世纪8080年代初期年代初期）由于由于明斯基在人工智能界的威望和双层感知器本身的局限性，很明斯基在人工智能界的威望和双层感知器本身的局限性，很多人都认为人工神经网络前途渺茫，从而使人工神经网络的研究落入多人都认为人工神经网络前途渺茫，从而使人工神经网络的研究落入低潮。低潮。蓬勃发展时期蓬勃发展时期蓬勃发展时期蓬勃发展时期（2020世纪世纪8080年代以后）年代以后）包括包括中国在内的世界上许多国家，都掀起了研究神经网络的热潮，中国在内的世界上许多国家，都掀起了研究神经网络的热潮，使神经网络的研究进入了一个持续至今的蓬勃发展时期。使神经网络的研究进入了一个持续至今的蓬勃发展时期。普通高等院校“十二五”规划教材第8页/共31页9.2 9.2 神经网络模型神经网络模型网络模型网络模型是人工神经网络研究的一个重要方面，鉴于是人工神经网络研究的一个重要方面，鉴于目前已经开发出了多种不同模型，它们大都是针对各目前已经开发出了多种不同模型，它们大都是针对各种具体应用开发的，因而差别较大，至今没有一个通种具体应用开发的，因而差别较大，至今没有一个通用的网络的模型，故本节将选择几种应用较多且较典用的网络的模型，故本节将选择几种应用较多且较典型的模型进行介绍讨论。型的模型进行介绍讨论。普通高等院校“十二五”规划教材第9页/共31页9.2.1 9.2.1 感知器模型感知器模型感知器模型感知器模型感知感知器模型：器模型：图图9.5 9.5 感知器感知器普通高等院校“十二五”规划教材第10页/共31页9.2.1 9.2.1 感知器模型感知器模型感知器模型感知器模型1.1.单单单单层感知层感知层感知层感知器器器器算法如下：算法如下：算法如下：算法如下：（1 1）给定）给定初始值初始值（2 2）输入一个样）输入一个样本和本和它的希望它的希望输出输出（3 3）计算）计算实际输出实际输出（4 4）修正权）修正权WW（5 5）转到步骤（）转到步骤（2 2）直到）直到WW对对k k个样本均稳定不变为止个样本均稳定不变为止普通高等院校“十二五”规划教材第11页/共31页9.2.1 9.2.1 感知器模型感知器模型感知器模型感知器模型2.2.多多多多层感知层感知层感知层感知器器器器算法如下：算法如下：算法如下：算法如下：（1 1）初始化初始化（2 2）给定输入）给定输入样本样本和理想和理想输出输出（3 3）计算实际输出）计算实际输出（4 4）调整权）调整权值值转到步骤（转到步骤（2 2），直到学完所有的样本），直到学完所有的样本 。普通高等院校“十二五”规划教材第12页/共31页9.2.2 9.2.2 反向传播模型反向传播模型反向传播模型反向传播模型1.1.反向传播模型及其反向传播模型及其反向传播模型及其反向传播模型及其网络结构网络结构网络结构网络结构图图9.8 B-P9.8 B-P网络网络普通高等院校“十二五”规划教材第13页/共31页9.2.2 9.2.2 反向传播模型反向传播模型反向传播模型反向传播模型2.2.反向传播反向传播反向传播反向传播网络的学习网络的学习网络的学习网络的学习算法算法算法算法 B-P B-P算法的学习过程如下算法的学习过程如下：选择一组训练样本，每一个样本由输入信息和期望的输出结果选择一组训练样本，每一个样本由输入信息和期望的输出结果两部分组成两部分组成。从训练样本集中取一样本，把输入信息输入到网络中。从训练样本集中取一样本，把输入信息输入到网络中。分别计算经神经元处理后的各层节点的输出。分别计算经神经元处理后的各层节点的输出。计算网络的实际输出和期望输出的误差计算网络的实际输出和期望输出的误差。从输出层反向计算到第一个隐层，并按照某种能使误差向减小从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值方向发展的原则，调整网络中各神经元的连接权值。对训练样本集中的每一个样本重复步骤对训练样本集中的每一个样本重复步骤，直到对整个训，直到对整个训练样本集的误差达到要求时为止练样本集的误差达到要求时为止。3.3.反向传播计算举例反向传播计算举例反向传播计算举例反向传播计算举例普通高等院校“十二五”规划教材第14页/共31页9.2.3 9.2.3 HopfieldHopfield模型模型模型模型1.1.HopfieldHopfield模型及其模型及其模型及其模型及其网络结构网络结构网络结构网络结构图图9.11 9.11 简单的反馈神经网络简单的反馈神经网络普通高等院校“十二五”规划教材第15页/共31页9.2.3 9.2.3 HopfieldHopfield模型模型模型模型2.2.HopfieldHopfield网络的学习算法网络的学习算法网络的学习算法网络的学习算法设置互连权值。设置互连权值。未知类别样本初始化。未知类别样本初始化。迭代直到收敛。迭代直到收敛。普通高等院校“十二五”规划教材第16页/共31页9.2.4 9.2.4 对向传播网络模型对向传播网络模型对向传播网络模型对向传播网络模型1.1.CPCP网络结构及运行网络结构及运行网络结构及运行网络结构及运行原理原理原理原理图图9.12 CP9.12 CP网络结构网络结构普通高等院校“十二五”规划教材第17页/共31页9.2.4 9.2.4 对向传播网络模型对向传播网络模型对向传播网络模型对向传播网络模型2.2.学习算法学习算法学习算法学习算法（1 1）初始化。）初始化。（2 2）输入一个模式，计算其净输入）输入一个模式，计算其净输入（3 3）确定竞争获胜神经元）确定竞争获胜神经元（4 4）调）调整获胜神经元的权向量整获胜神经元的权向量（5 5）重复步骤（）重复步骤（2 2）至步骤（）至步骤（4 4）直到学习率）直到学习率(t)(t)下降下降至某个精度或学习次数至某个精度或学习次数t t达到给定值，从而结束输入层达到给定值，从而结束输入层到竞争层的学习。到竞争层的学习。（6 6）针对给定的输入模式针对给定的输入模式，计算其净输入，计算其净输入（7 7）确定竞争获胜神经元）确定竞争获胜神经元（8 8）调整竞争层到输出层的权向量）调整竞争层到输出层的权向量普通高等院校“十二五”规划教材第18页/共31页9.2.5 9.2.5 自适应共振网络模型自适应共振网络模型自适应共振网络模型自适应共振网络模型1.1.ART1ART1网络网络网络网络（1 1）网络的基本网络的基本结构结构图图9.14 9.14 ART1ART1网络的基本结构网络的基本结构普通高等院校“十二五”规划教材第19页/共31页9.2.5 9.2.5 自适应共振网络模型自适应共振网络模型自适应共振网络模型自适应共振网络模型（2 2）网络运行原理）网络运行原理1 1）匹配阶段）匹配阶段2 2）比较阶段）比较阶段3 3）学习学习阶段阶段4 4）搜索阶段）搜索阶段普通高等院校“十二五”规划教材第20页/共31页9.2.5 9.2.5 自适应共振网络模型自适应共振网络模型自适应共振网络模型自适应共振网络模型（3 3）学习算法学习算法网络初始化。网络初始化。网络接受输入网络接受输入。匹配度计算。匹配度计算。选择最佳匹配节点。选择最佳匹配节点。相似度计算。相似度计算。警戒门限检验。警戒门限检验。搜索匹配模式类。搜索匹配模式类。调整网络权值。调整网络权值。普通高等院校“十二五”规划教材第21页/共31页9.2.5 9.2.5 自适应共振网络模型自适应共振网络模型自适应共振网络模型自适应共振网络模型2.2.ART2ART2网络网络网络网络（1 1）网络结构域运行网络结构域运行原理原理图图9.17 9.17 ART2ART2网络结构网络结构普通高等院校“十二五”规划教材第22页/共31页9.2.5 9.2.5 自适应共振网络模型自适应共振网络模型自适应共振网络模型自适应共振网络模型（2 2）网络模型与算法网络模型与算法1 1）特征表示场）特征表示场F F1 1的数学模型的数学模型2 2）类别表示场）类别表示场F F2 2的数学模型的数学模型3 3）权值调整规则）权值调整规则LTMLTM方程方程4 4）取向子系统）取向子系统普通高等院校“十二五”规划教材第23页/共31页9.3 9.3 神经网络专家系统神经网络专家系统专家系统作为为人们提供专业知识的工具，越来越受专家系统作为为人们提供专业知识的工具，越来越受到用户们的喜爱。然而传统的专家系统只能在有限的到用户们的喜爱。然而传统的专家系统只能在有限的定制式的规则中寻求答案，对于一个庞大的知识库，定制式的规则中寻求答案，对于一个庞大的知识库，或者复杂难解的数据结构，或者一个几乎无规则可循或者复杂难解的数据结构，或者一个几乎无规则可循的知识集合，传统专家系统就显得无能为力了。因此的知识集合，传统专家系统就显得无能为力了。因此有人就提出使用人工神经网络开发专家系统的推理机有人就提出使用人工神经网络开发专家系统的推理机机制，于是机制，于是“人工神经网络专家系统人工神经网络专家系统”的概念也就应的概念也就应运而生。运而生。以非线性并行分布处理为主流的神经网络理论的发展，以非线性并行分布处理为主流的神经网络理论的发展，为专家系统的研究开辟了崭新的途径。既解决了专家为专家系统的研究开辟了崭新的途径。既解决了专家系统存在的各种问题，还可以利用神经网络系统的学系统存在的各种问题，还可以利用神经网络系统的学习功能、联想记忆功能、分布式并行处理信息功能解习功能、联想记忆功能、分布式并行处理信息功能解决专家系统中的知识表示、获取和并行推理等问题。决专家系统中的知识表示、获取和并行推理等问题。普通高等院校“十二五”规划教材第24页/共31页9.3.1 9.3.1 神经网络专家系统的基本原理神经网络专家系统的基本原理神经网络专家系统的基本原理神经网络专家系统的基本原理神经网络专家系统神经网络专家系统（NNESNNES）是以神经网络为核心建造是以神经网络为核心建造的一种符号的一种符号数值结合智能型系统。数值结合智能型系统。普通高等院校“十二五”规划教材第25页/共31页9.3.2 9.3.2 神经网络专家系统的结构神经网络专家系统的结构神经网络专家系统的结构神经网络专家系统的结构图图9.19 9.19 神经网络专家系统结构神经网络专家系统结构普通高等院校“十二五”规划教材第26页/共31页9.3.2 9.3.2 神经网络专家系统的结构神经网络专家系统的结构神经网络专家系统的结构神经网络专家系统的结构神经网络专家系统神经网络专家系统神经网络专家系统神经网络专家系统由神经网络、外部知识库、解释系由神经网络、外部知识库、解释系统和人机接口四个模块所组成。其中，神经网络是核统和人机接口四个模块所组成。其中，神经网络是核心，包含了学习机制、推理机制和内部知识库三个功心，包含了学习机制、推理机制和内部知识库三个功能。各部分的基本功能如下：能。各部分的基本功能如下：（1 1）外部知识库。）外部知识库。（2 2）学习机制。）学习机制。（3 3）内部知识库。）内部知识库。（4 4）推理机制。）推理机制。（5 5）解释系统。）解释系统。普通高等院校“十二五”规划教材第27页/共31页本章小结本章小结普通高等院校“十二五”规划教材第28页/共31页课后练习题课后练习题普通高等院校“十二五”规划教材第29页/共31页报告结束！报告结束！谢谢谢谢！第30页/共31页感谢您的观看。感谢您的观看。第31页/共31页