人工智能第四章.ppt

《人工智能第四章.ppt》由会员分享，可在线阅读，更多相关《人工智能第四章.ppt（122页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人人 工工 智智 能能 原原 理理Artificial Intelligence Principle 信息工程学院信息工程学院张永梅张永梅第四章第四章 计算智能计算智能(1)神经计算神经计算模糊计算模糊计算第四章第四章 计算智能计算智能(1)作业：作业：4-4，4-9，4-10实验：实验：编写一个神经网络程序，实现简单的编写一个神经网络程序，实现简单的分类。分类。第四章第四章 计算智能计算智能(1)4.1 概述概述 4.2 神经计算神经计算 4.3 模糊计算模糊计算 l信息科学与生命科学的相互交叉、相互渗透和相信息科学与生命科学的相互交叉、相互渗透和相互促进是现代科学技术发展的一个显著特点。互

2、促进是现代科学技术发展的一个显著特点。4.1 概述概述l计算智能涉及神经网络、模糊逻辑、进化计算和计算智能涉及神经网络、模糊逻辑、进化计算和人工生命等领域，它的研究和发展反映了当代科人工生命等领域，它的研究和发展反映了当代科学技术多学科交叉与集成的重要发展趋势。学技术多学科交叉与集成的重要发展趋势。l计算智能是借鉴仿生学的思想，基于人们对生物计算智能是借鉴仿生学的思想，基于人们对生物体智能机理的认识，采用体智能机理的认识，采用数值计算数值计算的方法去的方法去模拟和模拟和实现实现人类的智能。人类的智能。什么是计算智能什么是计算智能 v把神经网络把神经网络（Neural Network,NN）归类

3、于人工智归类于人工智能（能（Artificial Intelligence,AI）可能不大合适，而可能不大合适，而归类于计算智能（归类于计算智能（Computational Intelligence,CI）更能说明问题实质。进化计算、人工生命和模更能说明问题实质。进化计算、人工生命和模糊逻辑系统的某些课题，也都归类于计算智能。糊逻辑系统的某些课题，也都归类于计算智能。4.1 4.1 概述概述v计算智能计算智能取决于制造者（取决于制造者（manufacturers）提供的提供的数值数据，不依赖于知识数值数据，不依赖于知识；另一方面，人工智能应；另一方面，人工智能应用知识精品（用知识精品（know

4、ledge tidbits）。）。人工神经网络人工神经网络应当称为计算神经网络。应当称为计算神经网络。所所谓谓的的专专家家系系统统实实质质上上是是某某一一专专门门知知识识，例例如如某某种种疾疾病病的的诊诊断断、处处方方，某某些些矿矿物物的的资资源源勘勘探探数数据据分析等的分析等的计算机咨询系统计算机咨询系统(软件软件)。专专家家系系统统的的基基础础是是专专家家知知识识。专专家家知知识识可可以以分分成成两两大大类类，一一类类是是已已经经总总结结在在书书本本上上的的定定律律、定定理理和和公公式式等等，另另一一类类是是专专家家们们在在实实际际工工作作中中长长期期积积累累的的经经验验、教教训训。这这后

5、后一一类类知知识识往往往往难难以以总总结结成成书书面面的的规规律律或或条条文文，但但这这类类知知识识却却是是十十分分宝宝贵贵的的，它它们们在在专专家家做做出出决决策策、指指导导工工作作和和解解决决疑疑难难问问题题等等方方面面起着重要作用。起着重要作用。v 什什么么是是专专家家系系统统：“专专家家系系统统”(Expert System)是是指指具具有有相相当当于于专专家家的的知知识识和和经经验验水水平平，以以及及解解决决专专门门问问题题能能力力的的计计算算机机系系统统，通常指计算机软件。通常指计算机软件。v MYCIN系系统统研研制制发发起起人人EHShortiffe(爱爱德德华华持持肖肖持持利

6、利夫夫)是是哈哈佛佛大大学学数数学学系系毕毕业业生生，他他获获得得了了斯斯坦坦福福大大学学面面向向医医学学的的计计算算机机应应用用方方面面的的奖奖学学金金，到到斯斯坦坦福福大大学学当当研研究究生生。他他在在计计算算机机科科学学和和医医学学之之间间的的边边缘缘领领域域一一一一医医疗疗诊诊断断的的研研究究中中，进进行了开创性的工作。行了开创性的工作。v当当他他在在一一九九七七一一年年完完成成MYCIN系系统统时时，他他只只是是一一名名研研究究生生，到到了了一一九九七七九九年年成成为为斯斯坦坦福福大大学学的的内内科科副副教教授授。一一九九八八零零年年召召开开第第二二届届医医疗疗中中的的人人工工智智能

7、能(AIM)学学术术会会议议时时，他他成成为为大大会会的的组组织织委委员员会会主席。主席。v MYCIN是是有有关关传传染染病病诊诊断断和和治治疗疗的的咨咨询询系系统统。它它能能教教会会不不擅擅长长诊诊治治传传染染病病的的医医生生，怎怎样样从从患患者者症症状状出出发发，确确定定病病的的种种类类及及相相应的治疗方法。应的治疗方法。v我我们们知知道道，传传染染病病种种类类繁繁多多，与与其其相相应应的的抗抗生生素素种种类类也也不不少少。要要在在限限定定的的时时间间内内确确定定病病症症，选选择择出出恰恰当当的的治治疗疗方方法法，决决非非易易事。这似乎就是开发事。这似乎就是开发MYCIN系统的着眼点。系

8、统的着眼点。人工智能大师人工智能大师-费根鲍姆费根鲍姆 他的重大贡献他的重大贡献在于：通过实验和研究，证在于：通过实验和研究，证明了实现智能行为明了实现智能行为 的主要手段在于知识，在多的主要手段在于知识，在多数实际情况下是特定领域的知识。数实际情况下是特定领域的知识。1994年度的图灵奖年度的图灵奖由两位人工智能专家分由两位人工智能专家分享，其一是声名卓著的爱德华享，其一是声名卓著的爱德华费根鲍姆费根鲍姆(EdwardAlbert Feigenbaum)；另一位是后起之；另一位是后起之秀的雷伊秀的雷伊雷蒂雷蒂(RajReddy)。费根鲍姆的重大贡献在于：费根鲍姆的重大贡献在于：通过实验和研究

9、，证明通过实验和研究，证明了实现智能行为的主要手段在于知识，在了实现智能行为的主要手段在于知识，在 多数实际情况多数实际情况下是特定领域的知识，从而最早倡导了下是特定领域的知识，从而最早倡导了“知识工程知识工程”(Knowledge engineering)，并使知识工程成为人工智能，并使知识工程成为人工智能领域中取得实际领域中取得实际 成果最丰富、影响也最大的一个分支。成果最丰富、影响也最大的一个分支。费根鲍姆本人，作为知识工程的倡导者费根鲍姆本人，作为知识工程的倡导者 和实践者，和实践者，于于1965年和遗传学系主任、诺贝尔奖得主莱德伯格年和遗传学系主任、诺贝尔奖得主莱德伯格(Joshua

10、 Lederberg)等人合作，等人合作，开发出了世界上第一个专开发出了世界上第一个专家系统程序家系统程序 DENDRAL。DENDRAL中保存着化学家的中保存着化学家的知识和质谱仪的知识，可以知识和质谱仪的知识，可以 根据给定的有机化合物的分根据给定的有机化合物的分子式和质谱图，从几千种可能的分子式和质谱图，从几千种可能的分 子结构中挑选出一个子结构中挑选出一个正确的分子结构。正确的分子结构。DENDRAL的成功不仅验证了费根鲍姆的成功不仅验证了费根鲍姆 关于知关于知识工程的理论的正确性，还为专家系统软件的发展和识工程的理论的正确性，还为专家系统软件的发展和应应 用开辟了道路，逐渐形成具有相

11、当规模的市场，其用开辟了道路，逐渐形成具有相当规模的市场，其应用遍及各个应用遍及各个 领域、各个部门。因此，领域、各个部门。因此，DENDRAL的的研究成功被认为是人工智能研研究成功被认为是人工智能研 究的一个历史性突破。究的一个历史性突破。费根鲍姆领导的研究小组费根鲍姆领导的研究小组后来又为医学、后来又为医学、工程和工程和国防等部门研制成功一系列实用的专家系统，国防等部门研制成功一系列实用的专家系统，其中尤其中尤以以 医学专家系统方面的成果最为突出，最负盛名。医学专家系统方面的成果最为突出，最负盛名。例例如，用于帮助医如，用于帮助医 生诊断传染病和提供治疗建议的著名生诊断传染病和提供治疗建议

12、的著名专家系统专家系统MYCIN等。目前，学等。目前，学 术界公认，在将人工术界公认，在将人工智能技术应用于医学方面，斯坦福大学处于智能技术应用于医学方面，斯坦福大学处于 世界领先世界领先地位，这和费根鲍姆是分不开的。地位，这和费根鲍姆是分不开的。v MYCIN系系统统研研制制发发起起人人EHShortiffe(爱爱德德华华持持肖肖持持利利夫夫)是是哈哈佛佛大大学学数数学学系系毕毕业业生生，他他获获得得了了斯斯坦坦福福大大学学面面向向医医学学的的计计算算机机应应用用方方面面的的奖奖学学金金，到到斯斯坦坦福福大大学学当当研研究究生生。他他在在计计算算机机科科学学和和医医学学之之间间的的边边缘缘领

13、领域域一一一一医医疗疗诊诊断断的的研研究究中中，进进行了开创性的工作。行了开创性的工作。v当当他他在在一一九九七七一一年年完完成成MYCIN系系统统时时，他他只只是是一一名名研研究究生生，到到了了一一九九七七九九年年成成为为斯斯坦坦福福大大学学的的内内科科副副教教授授。一一九九八八零零年年召召开开第第二二届届医医疗疗中中的的人人工工智智能能(AIM)学学术术会会议议时时，他他成成为为大大会会的的组组织织委委员员会会主席。主席。计算智能与人工智能的区别和关系计算智能与人工智能的区别和关系输入输入人类知识人类知识()传感输入传感输入知识知识()传感数据传感数据计算计算()传感器传感器C数值的数值的

14、A符号的符号的B生物的生物的输入输入复杂性复杂性复复杂杂性性BNNBPRBIANNAPRAICNNCPRCI4.1 4.1 概述概述 模式识别（模式识别（Pattern Recognition,PR）;神经网络神经网络（Neural Network,NN）;智能（智能（Intelligence,I）。图图4.1 ABC的交通关系图的交通关系图 vAArtificial，表示人工的（非生物的），即人表示人工的（非生物的），即人 造的；造的；vBBiological，表示物理的化学的表示物理的化学的 （？）生物的；（？）生物的；CComputational，表示数学计算机表示数学计算机 第一个对计

15、算智能的定义是由贝兹德克（第一个对计算智能的定义是由贝兹德克（Bezdek）于于1992年提出的。他给出有趣的年提出的。他给出有趣的ABC：v计计算算智智能能是是一一种种智智力力方方式式的的低低层层认认知知，它它与与人人工工智智能能的的区区别别只只是是认认知知层层次次从从中中层层下下降降至至低低层层而而已已。中中层系统含有知识（精品），低层系统则没有。层系统含有知识（精品），低层系统则没有。4.1 4.1 概述概述什么是计算智能什么是计算智能l 计算智能计算智能目前还没有一个统一的的定义，使用较多目前还没有一个统一的的定义，使用较多的是美国科学家贝慈德克从计算智能系统角度所给的是美国科学家贝慈

16、德克从计算智能系统角度所给出的定义。出的定义。n从学科范畴看从学科范畴看，计算智能是在神经网络（，计算智能是在神经网络（Neural Networks,NN）、）、进化计算（进化计算（Evolutionary Computation,EC）及模糊系统（及模糊系统（Fuzzy System,FS）这这3个领域发展相对成熟的基础上形成的一个统一的个领域发展相对成熟的基础上形成的一个统一的学科概念。学科概念。4.1 4.1 概述概述l神经网络神经网络是一种对人类智能的是一种对人类智能的结构结构模拟方法，它是通过对大模拟方法，它是通过对大量人工神经元的广泛并行互联，构造人工神经网络系统去模量人工神经元

17、的广泛并行互联，构造人工神经网络系统去模拟生物神经系统的智能机理的。拟生物神经系统的智能机理的。l进化计算进化计算是一种对人类智能的是一种对人类智能的演化演化模拟方法，它是通过对生模拟方法，它是通过对生物遗传和演化过程的认识，用进化算法去模拟人类智能的进物遗传和演化过程的认识，用进化算法去模拟人类智能的进化规律的。化规律的。l模糊计算模糊计算是一种对人类智能的逻辑模拟方法，它是通过对人是一种对人类智能的逻辑模拟方法，它是通过对人类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人类类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人类的智能行为的。的智能行为的。l 从中，可看出从中，可看出2点：点

18、：第一，它借鉴仿生学的思想，基于生物神经系统的结构、进第一，它借鉴仿生学的思想，基于生物神经系统的结构、进化和认知对自然智能进行模拟的。化和认知对自然智能进行模拟的。第二，计算智能是一种以第二，计算智能是一种以模型模型（计算模型、数学模型）为基（计算模型、数学模型）为基础，以分布、并行计算为特征的自然智能模拟方法。础，以分布、并行计算为特征的自然智能模拟方法。4.1 4.1 概述概述v当当一一个个系系统统只只涉涉及及数数值值（低低层层）数数据据，含含有有模模式式识识别别部部分分，不不应应用用人人工工智智能能意意义义上上的知识，而且能够呈现出：的知识，而且能够呈现出：（1）计算适应性；）计算适应

19、性；（2）计算容错性；）计算容错性；（3）接近人的速度；）接近人的速度；（4）误差率与人相近，）误差率与人相近，则该系统就是则该系统就是计算智能系统计算智能系统。4.1 4.1 概述概述v当当一一个个计计算算智智能能系系统统以以非非数数值值方方式式加加上上知知识（精品）值，即成为识（精品）值，即成为人工智能系统人工智能系统。4.1 4.1 概述概述模式识别的基本概念模式识别的基本概念模式识别的基本定义模式识别的基本定义 模式模式(pattern)-存在于时间，空间中可观察存在于时间，空间中可观察 的事物，具有时间或空间分布的信息。的事物，具有时间或空间分布的信息。模式识别模式识别(Patter

20、n Recognition)-用计算机实用计算机实 现人对各种事物或现象的分析现人对各种事物或现象的分析,描述描述,判断判断,识别。识别。模式识别是模拟人的某些功能模式识别是模拟人的某些功能 模拟人的视觉模拟人的视觉:计算机计算机+光学系统光学系统 模拟人的听觉模拟人的听觉:计算机计算机+声音传感器声音传感器 模拟人的嗅觉和触觉模拟人的嗅觉和触觉:计算机计算机+传感器传感器4.1 4.1 概述概述什么是模式？什么是模式？v广义地说，存在于时间和空间中可观察的物体，广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都如果我们可以区别它们是否相同或是否相似，都可以称

21、之为可以称之为模式模式。v模式所指的不是事物本身，而是从事物获得的信模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布息，因此，模式往往表现为具有时间和空间分布的信息。的信息。v模式的直观特性模式的直观特性:可观察性可观察性可区分性可区分性相似性相似性4.1 4.1 概述概述模式识别的概念模式识别的概念v模式识别模式识别 直观，无所不在，直观，无所不在，“人以类聚，人以类聚，物以群分物以群分”周围物体的认知：桌子、椅子周围物体的认知：桌子、椅子人的识别：张三、李四人的识别：张三、李四声音的辨别：汽车、火车，狗叫、人语声音的辨别：汽车、火车，狗叫、人语气味的分辩

22、：炸带鱼、红烧肉气味的分辩：炸带鱼、红烧肉v人的模式识别能力是极其平常的，但对计人的模式识别能力是极其平常的，但对计算机来说却是非常困难的。算机来说却是非常困难的。4.1 4.1 概述概述模式识别的研究模式识别的研究v目的：目的：利用计算机对物理对象进行分类，利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。果尽量与客观物体相符合。vY=F(X)X的定义域取自特征集的定义域取自特征集Y的值域为类别的标号集的值域为类别的标号集F是模式识别的判别方法是模式识别的判别方法4.1 4.1 概述概述模式识别系统模式识别系统v信息的获

23、取信息的获取：是通过传感器，将光或声音等信：是通过传感器，将光或声音等信息转化为电信息。信息可以是二维的图像如文息转化为电信息。信息可以是二维的图像如文字，图像等；可以是一维的波形如声波，心电字，图像等；可以是一维的波形如声波，心电图，脑电图；也可以是物理量与逻辑值。图，脑电图；也可以是物理量与逻辑值。v预处理预处理：包括：包括AD，二值化，图像的平滑，变换，二值化，图像的平滑，变换，增强，恢复，滤波等增强，恢复，滤波等,主要指图像处理。主要指图像处理。4.1 4.1 概述概述邻域平均法域平均法中中值滤波波v特征抽取和选择特征抽取和选择：在模式识别中，需要：在模式识别中，需要进行特征的抽取和选

24、择，这种在测量空进行特征的抽取和选择，这种在测量空间的原始数据通过变换获得在特征空间间的原始数据通过变换获得在特征空间最能反映分类本质的特征。这就是特征最能反映分类本质的特征。这就是特征提取和选择的过程。提取和选择的过程。v分类器设计分类器设计：分类器设计的主要功能是：分类器设计的主要功能是通过训练确定判决规则，使按此类判决通过训练确定判决规则，使按此类判决规则分类时，错误率最低。把这些判决规则分类时，错误率最低。把这些判决规则建成标准库。规则建成标准库。v分类决策分类决策：在特征空间中对被识别对象：在特征空间中对被识别对象进行分类。进行分类。4.1 4.1 概述概述模式识别系统组成单元模式识

25、别系统组成单元v特征提取和选择特征提取和选择：对原始数据进行变换，得到：对原始数据进行变换，得到最能反映分类本质的特征最能反映分类本质的特征测量空间：原始数据组成的空间测量空间：原始数据组成的空间特征空间：分类识别赖以进行的空间特征空间：分类识别赖以进行的空间模式表示：维数较高的测量空间模式表示：维数较高的测量空间-维数较低的特征维数较低的特征空间空间v分类决策分类决策：在特征空间中用模式识别方法把被：在特征空间中用模式识别方法把被识别对象归为某一类别识别对象归为某一类别基本做法：在样本训练集基础上确定某个判决规则，基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分

26、类所造成的错使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小误识别率最小或引起的损失最小4.1 4.1 概述概述特征提取的概念特征提取的概念 在数学上，特征提取就是从测量空间在数学上，特征提取就是从测量空间Rn到特征空间到特征空间Rm的映射。的映射。映射通常要遵守两个映射通常要遵守两个准则，准则，即特征空间必须保留测量空间中的主要即特征空间必须保留测量空间中的主要分类信息；特征空间的维数应大大低于测量空分类信息；特征空间的维数应大大低于测量空间的维数。间的维数。4.1 4.1 概述概述模式识别过程实例模式识别过程实例v在传送带上用光学传感器件对鱼按品种在传送带上用光学传

27、感器件对鱼按品种分类分类鲈鱼鲈鱼(Seabass)品种品种鲑鱼鲑鱼(Salmon)4.1 4.1 概述概述识别过程v数据获取数据获取：架设一个摄像机，采集一些：架设一个摄像机，采集一些样本图像，获取样本数据。样本图像，获取样本数据。v预处理预处理：去噪声，用一个分割操作把鱼：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开。和鱼之间以及鱼和背景之间分开。4.1 4.1 概述概述识别过程识别过程v特征提取和选择特征提取和选择：对单个鱼的信息进行特征选：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量择，从而通过测量某些特征来减少信息量长度长度亮度亮度宽度宽度鱼翅的数量和形状鱼翅

28、的数量和形状嘴的位置，等等嘴的位置，等等 v分类决策分类决策：把特征送入决策分类器：把特征送入决策分类器4.1 4.1 概述概述4.1 4.1 概述概述4.1 4.1 概述概述4.1 4.1 概述概述4.1 4.1 概述概述训练和测试训练和测试v训练集训练集：是一个已知样本集，在监督学：是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。习方法中，用它来开发出模式分类器。v测试集测试集：在设计识别和分类系统时没有：在设计识别和分类系统时没有用过的独立样本集。用过的独立样本集。v系统评价原则系统评价原则：为了更好地对模式识别：为了更好地对模式识别系统性能进行评价，必须使用一组独立系统性能

29、进行评价，必须使用一组独立于训练集的测试集对系统进行测试。于训练集的测试集对系统进行测试。4.1 4.1 概述概述实例：统计模式识别实例：统计模式识别v19名男女同学进行体检，测量了身高和名男女同学进行体检，测量了身高和体重，但事后发现其中有体重，但事后发现其中有4人忘记填写人忘记填写性别，试问（在最小错误的条件下）这性别，试问（在最小错误的条件下）这4人是男是女？体检数值如下：人是男是女？体检数值如下：4.1 4.1 概述概述实例：统计模式识别实例：统计模式识别v待识别的模式待识别的模式：性别（男或女）：性别（男或女）v测量的特征测量的特征：身高和体重：身高和体重v训练样本训练样本：15名已

30、知性别的样本特征名已知性别的样本特征v目标目标：希望借助于训练样本的特征建立：希望借助于训练样本的特征建立判别函数（即数学模型）判别函数（即数学模型）4.1 4.1 概述概述实例：统计模式识别实例：统计模式识别v由训练样本得到的特征空间分布图由训练样本得到的特征空间分布图4.1 4.1 概述概述实例：统计模式识别实例：统计模式识别v从图中训练样本的分布情况，找出男、从图中训练样本的分布情况，找出男、女两类特征各自的聚类特点，从而求取女两类特征各自的聚类特点，从而求取一个判别函数（直线或曲线）。一个判别函数（直线或曲线）。v只要给出待分类的模式特征的数值，看只要给出待分类的模式特征的数值，看它在

31、特征平面上落在判别函数的哪一侧，它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。就可以判别是男还是女了。4.1 4.1 概述概述第四章第四章 计算智能计算智能(1)4.1 概述概述 4.2 神经计算神经计算 4.3 模糊计算模糊计算 1.1.2 人工智能的起源与发展人工智能的起源与发展1.1 1.1 定义和发展定义和发展v人工智能研究形成了三大学派：人工智能研究形成了三大学派：随着人工神经网络的再度兴起和布鲁克随着人工神经网络的再度兴起和布鲁克（R.A.Brooks）的机器虫的出现，人工智能研究形成的机器虫的出现，人工智能研究形成了符号主义、连接主义和行为主义三大学派。了符号主义、

32、连接主义和行为主义三大学派。v符号主义学派符号主义学派 是指基于符号运算的人工智能学派，他们认为知是指基于符号运算的人工智能学派，他们认为知识可以用符号来表示，认知可以通过符号运算来实现。识可以用符号来表示，认知可以通过符号运算来实现。例如，专家系统等。例如，专家系统等。v连接主义学派连接主义学派 是指神经网络学派，在神经网络方面，继鲁梅尔是指神经网络学派，在神经网络方面，继鲁梅尔哈特研制出哈特研制出BP网络之后，网络之后，1987年，首届国际人工神经年，首届国际人工神经网络学术大会在美国的圣迭戈（网络学术大会在美国的圣迭戈（San-Diego）举行，掀举行，掀起了人工神经网络的第二次高潮。之

33、后，随着模糊逻起了人工神经网络的第二次高潮。之后，随着模糊逻辑和进化计算的逐步成熟，又形成了辑和进化计算的逐步成熟，又形成了“计算智能计算智能”这这个统一的学科范畴。个统一的学科范畴。1.1.2 人工智能的起源与发展人工智能的起源与发展1.1 1.1 定义和发展定义和发展v行为主义学派行为主义学派 是指进化主义学派，在行为模拟方面，麻省理工是指进化主义学派，在行为模拟方面，麻省理工学院的布鲁克教授学院的布鲁克教授1991年研制成功了能在未知的动态年研制成功了能在未知的动态环境中漫游的有环境中漫游的有6条腿的机器虫。条腿的机器虫。v三大学派的综合集成三大学派的综合集成 随着研究和应用的深入，人们

34、又逐步认识到，三随着研究和应用的深入，人们又逐步认识到，三个学派各有所长，各有所短，应相互结合、取长补短，个学派各有所长，各有所短，应相互结合、取长补短，综合集成。综合集成。4.2 神经计算神经计算v结构结构v模型模型v学习算法学习算法v表示和推理表示和推理v1960年年威德罗和霍夫率先把神经网络用于自动控威德罗和霍夫率先把神经网络用于自动控制研究。制研究。（线性感知机）（线性感知机）4.2 神经计算神经计算4.2.1 人工神经网络研究的进展人工神经网络研究的进展v60年代末期至年代末期至80年代中期年代中期，神经网络控制与整个神，神经网络控制与整个神经网络研究一样，处于低潮。经网络研究一样，

35、处于低潮。（与或难题）（与或难题）v80年代后期以来年代后期以来，随着人工神经网络研究的复苏，随着人工神经网络研究的复苏和发展，对神经网络控制的研究也十分活跃。这和发展，对神经网络控制的研究也十分活跃。这方面的研究进展主要在神经网络自适应控制和模方面的研究进展主要在神经网络自适应控制和模糊神经网络控制及其在机器人控制的应用上。糊神经网络控制及其在机器人控制的应用上。（Hopfield网络，网络，BP网络，自组织网络）网络，自组织网络）4.2 神经计算神经计算 为为了了了了解解ANN，我我们们首首先先分分析析一一下下现现行行计计算算机机所所存存在在的的问问题题。尽尽管管冯冯诺诺依依曼曼型型计计算

36、算机机在在当当今今世世界界发发挥挥着着巨巨大大的的作作用用，但但它它在在智智能能化化信息处理过程中存在着许多局限性。信息处理过程中存在着许多局限性。4.2 神经计算神经计算现行冯现行冯诺依曼计算机诺依曼计算机有以下三个有以下三个主要特点主要特点：(1)它它必必须须不不折折不不如如地地按按照照人人们们已已经经编编制制好好的的程程序序步步骤骤来来进进行行相相应应的的数数值值计计算算或或逻逻辑辑运运算算，它它没没有有主主动动学学习习的的能能力力和和自自适适应能力应能力，因此它是被动的。，因此它是被动的。(2)所所有有的的程程序序指指令令都都要要调调入入CPU一一条条接接一一条条地地顺顺序序执执行行。

37、因此它的因此它的处理信息方式是集中的、串行的处理信息方式是集中的、串行的。(3)存存贮贮器器的的位位置置(即即地地址址)和和其其中中存存贮贮的的具具体体内内容容无无关关。因因此此，在在调调用用操操作作的的指指令令或或数数据据时时，总总是是先先找找它它所所在在存存贮贮器器的的地地址址，然然后后再再查查出出所所存存贮贮的的内内容容。这这就就是是说说，存存贮贮内内容容和和存存贮贮地地址是不相关的。址是不相关的。由由于于现现行行计计算算机机的的上上述述特特点点，一一方方面面它它在在像像数数值值计计算算或或逻逻辑辑运运算算这这类类属属于于顺顺序序性性(串串行行性性)信信息息处处理理中中，表表现现出出远远

38、非非人人所所能能及及的的速速度度；另另一一方方面面，在在涉涉及及人人类类日日常常的的信信息息活活动动，例例如如识识别别图图形形、听懂语言等，却又显得那样低能和笨拙。听懂语言等，却又显得那样低能和笨拙。4.2 神经计算神经计算l实际上，实际上，脑脑对外界世界时空客体的描述和识别，对外界世界时空客体的描述和识别，乃是认知的基础乃是认知的基础。l认知问题离不开对低层次信息处理的研究和认识认知问题离不开对低层次信息处理的研究和认识。虽然符号处理在脑的思维功能模拟等方面取得了很虽然符号处理在脑的思维功能模拟等方面取得了很大进展，但它对诸如视觉、听觉、联想记忆和形象大进展，但它对诸如视觉、听觉、联想记忆和

39、形象思维等问题的处理往往感到力不从心。思维等问题的处理往往感到力不从心。l符号处理符号处理不可能全面解决认知问题和机器智能化不可能全面解决认知问题和机器智能化问题它问题它对高层次脑功能的宏观模拟很有效对高层次脑功能的宏观模拟很有效，而对，而对一些低层次的模式处理则至今还有许多困难。一些低层次的模式处理则至今还有许多困难。4.2 神经计算神经计算l传传统统的的冯冯诺诺依依曼曼计计算算机机在在智智能能信信息息处处理理中中的的这这种种难难以以逾逾越越的的局局限限性性，使使得得人人们们考考虑虑到到有有必必要要进进一一步步了了解解分分析析人人脑脑神神经经系系统统信信息息处处理理和和存存贮贮的的机机理理特

40、特征征，以以便寻求一条新的人工神经网络智能信息处理途径。便寻求一条新的人工神经网络智能信息处理途径。l人人工工神神经经网网络络研研究究是是采采用用自自下下而而上上的的方方法法，从从脑脑的的神神经经系系统统结结构构出出发发来来研研究究脑脑的的功功能能，研研究究大大量量简简单单的的神神经经元元的的集集团团信信息息处处理理能能力力及及其其动动态态行行为为。目目前前，神神经经网网络络的的研研究究使使得得对对多多年年来来困困扰扰计计算算机机科科学学和和符符号号处处理的一些难题可以得到比较令人满意的解答。理的一些难题可以得到比较令人满意的解答。l智智能能研研究究者者们们普普遍遍认认为为神神经经网网络络方方

41、法法适适合合于于低低层层次次的模式处理的模式处理。4.2 神经计算神经计算人脑信息处理机制人脑信息处理机制l生生物物神神经经系系统统是是一一个个有有高高度度组组织织和和相相互互作作用用的的数数量量巨巨大大的的细细胞胞组组织织群群体体。人人类类大大脑脑的的神神经经细细胞胞大大约约在在1011-1013个个左左右右。神神经经细细胞胞也也称称神神经经元元，是是神神经经系系统统的的基基本本单单元元，它它们们按按不不同同的的结结合合方方式式构构成成了了复复杂杂的的神神经经网网络络。通通过过神神经经元元及及其其联联接接的的可可塑塑性性，使使得大脑具有学习、记忆和认知等各种智能。得大脑具有学习、记忆和认知等

42、各种智能。l人人工工神神经经网网络络的的研研究究出出发发点点是是以以生生物物神神经经元元学学说说为为基基础础的的。生生物物神神经经元元学学说说认认为为，神神经经细细胞胞即即神神经元是神经系统中独立的营养和功能单元经元是神经系统中独立的营养和功能单元。v并行分布处理并行分布处理v非线性映射非线性映射v通过训练进行学习通过训练进行学习v适应与集成适应与集成v硬件实现硬件实现人工神经网络的特性人工神经网络的特性4.2 4.2 神经计算神经计算人工神经网络的特性人工神经网络的特性:l并行分布处理并行分布处理。神经网络具有高度的并行结构和并。神经网络具有高度的并行结构和并行实现能力，因而能够有较好的耐故

43、障能力和较快行实现能力，因而能够有较好的耐故障能力和较快的总体处理能力。的总体处理能力。l非线性映射非线性映射。神经网络具有固有的非线性特性，这。神经网络具有固有的非线性特性，这源于其近似任意非线性映射（变换）能力。源于其近似任意非线性映射（变换）能力。l 通过训练进行学习通过训练进行学习。神经网络是通过所研究系统过。神经网络是通过所研究系统过去的数据记录进行训练的。一个经过适当训练的神经去的数据记录进行训练的。一个经过适当训练的神经网络具有归纳全部数据的能力。网络具有归纳全部数据的能力。人工神经网络的特性人工神经网络的特性:l适应与集成。适应与集成。神经网络能够适应在线运行，并能同神经网络能

44、够适应在线运行，并能同时进行定量和定性操作。神经网络的强适应和信息时进行定量和定性操作。神经网络的强适应和信息融合能力使得网络过程可以同时输入大量不同的控融合能力使得网络过程可以同时输入大量不同的控制信号，解决输入信息间的互补和冗余问题，并实制信号，解决输入信息间的互补和冗余问题，并实现信息集成和融合处理。现信息集成和融合处理。l硬件实现。硬件实现。神经网络不仅能够通过软件而且可借助神经网络不仅能够通过软件而且可借助软件实现并行处理。近年来，一些超大规模集成电路软件实现并行处理。近年来，一些超大规模集成电路实现硬件已经问世，而且可从市场上购到。实现硬件已经问世，而且可从市场上购到。4.2.2

45、人工神经网络的结构人工神经网络的结构-1 W j 1X1X2Wj2X nW j n ()Yi图图4.2 神经元模型神经元模型4.2 4.2 神经计算神经计算 图图4.2中的神经元单元由多个输入中的神经元单元由多个输入xi，i=1,2,.,n和一个输出和一个输出y组成。组成。中间状态由输入信中间状态由输入信号的权和表示号的权和表示，而输出为，而输出为（4.1）4.2 4.2 神经计算神经计算 式中，式中，j为神经元单元的偏置，为神经元单元的偏置，wji为连接为连接权系数。权系数。n为输入信号数目，为输入信号数目，yj为神经元输出，为神经元输出，t为时间，为时间，f()为输出变换函数，有时叫做激励

46、为输出变换函数，有时叫做激励函数函数，往往采用往往采用0和和1二值函数或二值函数或形函数。形函数。如图如图4.3。xf(x)1x00图图4.3 神经元中的某些变换（激励）函数神经元中的某些变换（激励）函数(a)二值函数二值函数(b)S形函数形函数 (c)双曲正切函数双曲正切函数4.2 4.2 神经计算神经计算xf(x)1-1 f(x)x1 0 形函数的输出均为正值，而双曲正切函数的形函数的输出均为正值，而双曲正切函数的输出值可为正或负。输出值可为正或负。人工神经网络是具有下列特性的有向图人工神经网络是具有下列特性的有向图：v 对于每个节点对于每个节点 i 存在一个状态变量存在一个状态变量xi；

47、人工神经网络的基本特性和结构人工神经网络的基本特性和结构4.2 4.2 神经计算神经计算v 从节点从节点 j 至节点至节点 i，存在一个连接权系统数存在一个连接权系统数wij；v 对于每个节点对于每个节点 i，存在一个阈值存在一个阈值 i；v 对于每个节点对于每个节点 i，定义一个变换函数定义一个变换函数fi；对于对于最一般的情况，此函数取形式最一般的情况，此函数取形式 若假设各神经元的阈值分别是若假设各神经元的阈值分别是i，i=1,2,n，j=1,2,.,m。由所有连接权值由所有连接权值wij构成的连接权值矩阵构成的连接权值矩阵W为为：l递归（反馈）网络递归（反馈）网络:在递归在递归网络中，

48、多个神经元互连网络中，多个神经元互连以组织一个互连神经网络，以组织一个互连神经网络，如图如图4.4。图图4.4 反馈网络反馈网络x1x2xnV1V2Vn输入输入输出输出x1x2xn4.2 4.2 神经计算神经计算 人工神经网络的结构基本上分为两类：人工神经网络的结构基本上分为两类：递递归（反馈）网络归（反馈）网络和和前馈网络前馈网络。l有些神经元的输出被反馈有些神经元的输出被反馈至同层或前层神经元。因至同层或前层神经元。因此，此，信号能够从正向和反信号能够从正向和反向流通。向流通。Hopfield网络，网络，Elmman网络和网络和Jordan网络网络是递归网络有代表性的例是递归网络有代表性的

49、例子。子。l前馈网络前馈网络:前馈网络具有递前馈网络具有递阶分层结构，由一些同层阶分层结构，由一些同层神经元间不存在互连的层神经元间不存在互连的层级组成。从输入层至输出级组成。从输入层至输出层的信号通过层的信号通过单向连接流单向连接流通通；神经元从一层连接至神经元从一层连接至下一层，不存在同层神经下一层，不存在同层神经元间的连接元间的连接，如图，如图4.5所示。所示。图中，实线指明实际信号图中，实线指明实际信号流通而虚线表示反向传播。流通而虚线表示反向传播。4.2 4.2 神经计算神经计算x1x2输入层输入层输出层输出层隐层隐层y1ynw11w1m图图4.5 前馈网络前馈网络反向传播反向传播l

50、前馈网络的例子有多层感前馈网络的例子有多层感知器（知器（MLP）、学习矢量）、学习矢量量化（量化（LVQ）网络等。）网络等。4.2 4.2 神经计算神经计算 多层前馈网络多层前馈网络是指那种除拥有输入、输是指那种除拥有输入、输出层外，还至少含有一个、或更多个隐含层出层外，还至少含有一个、或更多个隐含层的前馈网络。的前馈网络。v有师学习算法有师学习算法（有导师）（有导师）：能够根据期望的和实际的：能够根据期望的和实际的网络输出（对应于给定输入）间的差来调整神经元间网络输出（对应于给定输入）间的差来调整神经元间连接的强度或权。连接的强度或权。有师学习有师学习需要有个老师或导师来提需要有个老师或导师