第三章 神经网络PPT讲稿.ppt

《第三章 神经网络PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《第三章 神经网络PPT讲稿.ppt（94页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三章 神经网络第1页，共94页，编辑于2022年，星期二神经网络概述神经网络概述Origins of ANN Research 1)McCulloch and Pitts(1943),Mind-like machine 2)Hebb(1949),Learning machine 3)Rosenblatt(1958),Perceptron 4)Widrow&Hoff(1960),Adaline 5)Steinbuch(1963),Learning matrix 6)Grossberg&Kohonen(1970),Self-organizing 7)Werbos(1974),BP algorit

2、hm 8)Hopfield(1982),Recurrent-type NN 9)Kosko(1987),Bidirectional associative memory第2页，共94页，编辑于2022年，星期二人工神经网络人工神经网络 人人工工神神经经网网络络（ANNs）也也称称为为神神经经网网络络（NNs）或或称称作作连连接接模模型型（connectionist model），是是对对人人脑脑或或自自然然神神经经网网络络（Natural Neural Network）若若干干基基本本特性的抽象和模拟特性的抽象和模拟它它采采用用物物理理可可实实现现的的器器件件或或采采用用现现有有的的计计算算机

3、机来来模模拟拟生生物物体体中中神神经经网网络络的的某某些些结结构构与与功功能能，并并反反过过来来用用于于工工程程或其他领域或其他领域ANNs的的着着眼眼点点不不是是用用物物理理器器件件去去完完整整地地复复制制生生物物体体中中神神经经细细胞胞网网络络，而而是是采采纳纳其其可可利利用用的的部部分分来来克克服服目目前前计计算算机机或或其其他他系系统统不不能能解解决决的的问问题题，如如学学习习、识识别别、控控制制、专家系统等专家系统等第3页，共94页，编辑于2022年，星期二人工神经网络人工神经网络 神经网络具有以下基本特性：神经网络具有以下基本特性：（1）分布存贮和容错性）分布存贮和容错性（2）可塑

4、性与自适应性和自组织性）可塑性与自适应性和自组织性（3）并行处理（）并行处理（parallel processing）性）性（4）层次性）层次性大大量量神神经经元元的的集集体体行行为为（collective behavior）并并不不是是各各单单元元行行为为的的简简单单相相加加，而而是是表表现现出出一一般般复复杂杂非非线线性性系系统统的的特特性性（如如不不可可预预测测性性、不不可可逆逆性性、多多吸吸引引子子、可可能能出出现现混混沌沌现象等）和作为神经网络系统的各种性质现象等）和作为神经网络系统的各种性质第4页，共94页，编辑于2022年，星期二神经网络的发展概况神经网络的发展概况 初始发展期（

5、初始发展期（1890-1969年）年）（1）1890年年，美美国国生生理理学学家家W.James出出版版了了生生理理学学一一书书，该该书书首首次次阐阐明明了了有有关关人人脑脑结结构构及及其其功功能能，以以及及一一些些相关学习、联想记忆的基本规则相关学习、联想记忆的基本规则（2）大大约约经经过过半半个个世世纪纪后后，McCulloch和和Pitts用用已已知知的的神神经经细细胞胞生生物物基基础础，描描述述了了一一个个简简单单的的人人工工神神经经元元模模型型（后被称为（后被称为MP模型）模型）（3）1949年年，Hebb发发表表论论著著行行为为自自组组织织，首首先先定定义义了了一一种调整权的方法，

6、称为种调整权的方法，称为Hebbian（4）1958年年F.Rosenblatt定定义义了了一一个个神神经经网网络络结结构构，称称为为感知器，这是第一个真正的感知器，这是第一个真正的ANN第5页，共94页，编辑于2022年，星期二神经网络的发展概况神经网络的发展概况 低潮时期（低潮时期（1969-1982年）年）1969年年，Minsky和和Papert发发表表了了Perseptrons一一书书，严严格格证证明明了了当当时时所所用用的的单单层层线线性性网网在在理理论论上上不不能能求求解解许许多多很很简简单单的的问问题题（如如“异异或或”门门的的功功能能），此此后后神神经经网网络络的的研究进入引

7、退时期。研究进入引退时期。复兴时期（复兴时期（1982-1986）1982年年，加加州州技技术术学学院院的的优优秀秀物物理理学学家家J.J.Hopfield在在论论文文中中提提出出了了全全连连接接网网络络，即即Hopfield网网络络，在在网网络络的的理理论论分分析析和和综综合合上上达达到到了了相相当当的的深深度度，最最有有意意义义的的是是其其网网络络很容易用集成电路来实现，由此点亮了很容易用集成电路来实现，由此点亮了ANN复兴的火把复兴的火把第6页，共94页，编辑于2022年，星期二神经网络的发展概况神经网络的发展概况 发展高潮期（发展高潮期（1986-1996）1987年年，美美国国召召开

8、开了了第第一一届届国国际际神神经经网网络络会会议议，涉涉及及到到生生物物、电电子子、计计算算机机、物物理理、控控制制、信信号号处处理理、人人工工智智能能等等各各个个领领域域，各各类类模模型型和和算算法法纷纷纷纷出出台台。在在神神经经网网络络深深入入广广泛泛应应用用的的基基础础上上，尽尽管管会会碰碰到到难难点点，它它终终将将继继续发展，并促进科学技术的进步续发展，并促进科学技术的进步继续发展期（继续发展期（1996-）在在神神经经网网络络深深入入广广泛泛应应用用的的基基础础上上，尽尽管管会会碰碰到到难难点，它终将继续发展，并促进科学技术的进步。点，它终将继续发展，并促进科学技术的进步。第7页，共

9、94页，编辑于2022年，星期二神经元模型神经元模型 f(-)x1x2xn-1-阈值阈值-连接权值系数连接权值系数n 输入的数目输入的数目yj 神经元的输出神经元的输出f(-)传输函数传输函数 第8页，共94页，编辑于2022年，星期二一些传输函数一些传输函数10 x0 x10 x0 x10 x-1(a)Two-value function.(b)Sigmoid function.(c)Hyperbolic tangent function.第9页，共94页，编辑于2022年，星期二神经网络的结构神经网络的结构 神神经经网网络络或或称称作作连连接接模模型型，是是对对人人脑脑或或自自然然神神经经

10、网网络络若若干干基基本本特特性性的的抽抽象象和和模模拟拟。它它采采用用物物理理可可实实现现的的器器件件或或采采用用现现有有的的计计算算机机来来模模拟拟生生物物体体中中神神经经网网络络的的某某些些结结构构与与功功能能，并并反反过过来来用用于于工工程程或或其其他他领领域域。神神经经网网络络的的着着眼眼点点不不是是用用物物理理器器件件去去完完整整地地复复制制生生物物体体中中神神经经细细胞胞网网络络，而而是是采采纳纳其其可可利利用用的的部部分分来来克克服服目目前前计计算算机机或或其其他他系系统统不能解决的问题。不能解决的问题。第10页，共94页，编辑于2022年，星期二神经网络的结构神经网络的结构神经

11、网络具有以下基本特性：神经网络具有以下基本特性：（1）分布存贮和容错性）分布存贮和容错性（2）可塑性与自适应性和自组织性）可塑性与自适应性和自组织性（3）并行处理性）并行处理性（4）层次性）层次性大量神经元的聚集行为并不是各单元行为的简单相加，大量神经元的聚集行为并不是各单元行为的简单相加，而是表现出一般复杂非线性系统的特性（如不可预测而是表现出一般复杂非线性系统的特性（如不可预测性、不可逆性、多吸引子、可能出现混沌现象等）和性、不可逆性、多吸引子、可能出现混沌现象等）和作为神经网络系统的各种性质。作为神经网络系统的各种性质。第11页，共94页，编辑于2022年，星期二神经网络的学习方式神经网

12、络的学习方式 （1）有监督学习：需要有教师来提供期望或目标输出信号。）有监督学习：需要有教师来提供期望或目标输出信号。有监督学习算法的例子包括规则、广义规则或反向传播有监督学习算法的例子包括规则、广义规则或反向传播（BP）算法以及）算法以及LVQ算法等。算法等。（2）无监督学习：无监督学习算法不需要知道期望输出。）无监督学习：无监督学习算法不需要知道期望输出。算法的例子包括算法的例子包括Kohonen算法和自适应谐振理论算法和自适应谐振理论（ART）等。）等。（3）增强学习：增强学习是有监督学习的特例。它不需）增强学习：增强学习是有监督学习的特例。它不需要教师给出目标输出。增强学习算法采用一个

13、要教师给出目标输出。增强学习算法采用一个“评论评论员员”来评价与给定输入相对应的神经网络输出的优度来评价与给定输入相对应的神经网络输出的优度（质量因数）。增强学习算法主要有：遗传算法、（质量因数）。增强学习算法主要有：遗传算法、Q学学习等。习等。第12页，共94页，编辑于2022年，星期二神经网络系统的设计神经网络系统的设计 （1）系统输入的设计。包括训练集的选择、编码的）系统输入的设计。包括训练集的选择、编码的设计以及输入方式的确定。设计以及输入方式的确定。1）训练集的选择）训练集的选择 2）编码的设计）编码的设计 3）输入方式的确定）输入方式的确定（2）系统输出的设计）系统输出的设计（3）

14、网络的设计）网络的设计 1）神经网络模型的选择）神经网络模型的选择 2）神经网络参数的确定）神经网络参数的确定第13页，共94页，编辑于2022年，星期二神经网络的研究范畴神经网络的研究范畴 神经网络模型的研究神经网络模型的研究 神经网络基本理论的研究神经网络基本理论的研究 神经网络智能信息处理系统的应用研究神经网络智能信息处理系统的应用研究 神经网络理论的应用已经渗透到各个领域，神经网络理论的应用已经渗透到各个领域，并在智能控制、模式识别、计算机视觉、自并在智能控制、模式识别、计算机视觉、自适应滤波和信号处理、非线性优化、语音识适应滤波和信号处理、非线性优化、语音识别、传感技术与机器人、生物

15、医学工程等方别、传感技术与机器人、生物医学工程等方面取得了令人鼓舞的成绩面取得了令人鼓舞的成绩第14页，共94页，编辑于2022年，星期二神经网络的研究范畴神经网络的研究范畴 神经网络模型的研究神经网络模型的研究1）人脑的生理结构，即神经网络原型的研究）人脑的生理结构，即神经网络原型的研究2）人脑思维的机制，特别要从信息科学和认知科学的角）人脑思维的机制，特别要从信息科学和认知科学的角度来阐明这种机制度来阐明这种机制3）神经元生物特性如时空特性、不应期、电化学性质）神经元生物特性如时空特性、不应期、电化学性质等完善的人工模拟，如高阶非线性模型、多维局域连等完善的人工模拟，如高阶非线性模型、多维

16、局域连接模型接模型4）神经网络计算模型，特别是统一化的便于实现的模型）神经网络计算模型，特别是统一化的便于实现的模型5）神经网络学习算法与学习系统）神经网络学习算法与学习系统第15页，共94页，编辑于2022年，星期二神经网络的研究范畴神经网络的研究范畴 神经网络基本理论的研究神经网络基本理论的研究1）非线性内在机制）非线性内在机制自适应、自组织、协同作用、突自适应、自组织、协同作用、突变、奇怪吸引子与浑沌、分维、耗散结构、随机非线性变、奇怪吸引子与浑沌、分维、耗散结构、随机非线性动力学等动力学等2）神经网络的基本特性）神经网络的基本特性稳定性、收敛性、容错稳定性、收敛性、容错性、鲁棒性、动力

17、学复杂性等性、鲁棒性、动力学复杂性等3）神经网络的能力与判别准则）神经网络的能力与判别准则计算能力、准确性、计算能力、准确性、存贮容量、准则的表达综合性能判别存贮容量、准则的表达综合性能判别4）面向应用的网络设计与综合）面向应用的网络设计与综合专用和通用神经专用和通用神经网络计算机的设计、单元连接、运算模式、网络计算机的设计、单元连接、运算模式、I/O、存贮存贮/计算，与现有技术的兼容与匹配等计算，与现有技术的兼容与匹配等第16页，共94页，编辑于2022年，星期二神经网络的研究范畴神经网络的研究范畴 神经网络智能信息处理系统的应用研究神经网络智能信息处理系统的应用研究 1）自适应信号处理）自

18、适应信号处理自适应滤波、时间序列预测、均衡、谱自适应滤波、时间序列预测、均衡、谱估计、阵列处理、检测噪声相消估计、阵列处理、检测噪声相消 2）非线性信号处理）非线性信号处理非线性滤波、非线性预测、非线性谱估计、非线性滤波、非线性预测、非线性谱估计、非线性编码、映射、调制、解调、中值预处理等非线性编码、映射、调制、解调、中值预处理等3）优化与控制）优化与控制优化求解、辨识、鲁棒性控制、自适应、变优化求解、辨识、鲁棒性控制、自适应、变结构控制、决策与管理、并行控制、分布控制、智能控制等结构控制、决策与管理、并行控制、分布控制、智能控制等4）认知与人工智能）认知与人工智能模式识别、计算机视觉、听觉、

19、特征提取、模式识别、计算机视觉、听觉、特征提取、语言翻译、联想记忆、逻辑推理、知识工程、专家系统、智能计算语言翻译、联想记忆、逻辑推理、知识工程、专家系统、智能计算机与智能机器人、故障诊断、自然语言处理等机与智能机器人、故障诊断、自然语言处理等第17页，共94页，编辑于2022年，星期二神经网络的基本理论神经网络的基本理论 3.2.1 有监督学习神经网络有监督学习神经网络3.2.2 无监督学习和反馈神经网络无监督学习和反馈神经网络 第18页，共94页，编辑于2022年，星期二感知器模型感知器模型 感感知知器器是是由由美美国国学学者者F.Rosenblatt于于1957年年提提出出的的，它它是是

20、一一个个具具有有单单层层计计算算单单元元的的神神经经网网络络，并并由由线线性性阈阈值值元元件件组组成成 第19页，共94页，编辑于2022年，星期二多层感知机模型多层感知机模型多多层层感感知知机机的的输输入入和和输输出出之之间间的的关关系系，可可以以看看成成是是一一个个映映射射关关系系，这这个个映映射射是是一一个个高高度度非非线线性性映映射射，如如果果输输入入节节点点数数为为n，输输出出节节点点数数为为m，网网络络是是从从n维维欧欧氏氏空空间间到到m维维欧欧氏氏空空间的映射间的映射 第20页，共94页，编辑于2022年，星期二BP神经网络神经网络几种学习算法几种学习算法:（1）单样本学习法）单

21、样本学习法（2）随机学习法）随机学习法（3）集中学习法）集中学习法（4）加快反传算法的收敛速度）加快反传算法的收敛速度 第21页，共94页，编辑于2022年，星期二小脑模型神经网络小脑模型神经网络CMAC由由一一个个固固定定的的非非线线性性输输入入层层和和一一个个可可调调的的线性输出层组成线性输出层组成输入空间由所有可能的输入矢量组成输入空间由所有可能的输入矢量组成第22页，共94页，编辑于2022年，星期二小脑模型神经网络小脑模型神经网络 第23页，共94页，编辑于2022年，星期二B样条神经网络样条神经网络B样样条条神神经经网网络络是是基基于于样样条条函函数数插插值值的的原原理理而而设设计

22、的神经网络计的神经网络它它的的基基函函数数是是由由一一些些局局部部的的多多项项式式组组成成，如如CMAC即即可可看看成成是是由由一一阶阶基基函函数数组组成成的的最最简简单单的的B样样条条神神经经网络网络(a)单输入单输出单输入单输出 （b）多输入多输出）多输入多输出 第24页，共94页，编辑于2022年，星期二径向基函数神经网络径向基函数神经网络径径向向基基函函数数（RBF）神神经经网网络络，是是一一种种局局部部逼逼近近的的神神经网络经网络局局部部逼逼近近神神经经网网络络的的特特点点是是，它它对对于于输输入入空空间间的的某某个个局局部部区区域域，只只有有少少数数几几个个连连接接权权影影响响网网

23、络络的的输输出出，从从而使局部逼近网络具有学习速度快的优点而使局部逼近网络具有学习速度快的优点第25页，共94页，编辑于2022年，星期二无监督学习和反馈神经网络无监督学习和反馈神经网络 在在没没有有监监督督或或判判别别指指令令的的情情况况下下，只只有有输输入入向向量量可可以用作训练，这种学习方法称为无监督学习以用作训练，这种学习方法称为无监督学习无无监监督督学学习习通通常常抽抽取取输输入入样样本本的的特特征征或或规规律律而而不不必必知知道与输入模式有关的输出或其类别道与输入模式有关的输出或其类别无无监监督督学学习习神神经经网网络络用用其其不不同同部部分分来来响响应应不不同同的的输输入入模模式

24、式，网网络络训训练练的的结结果果常常常常加加强强对对经经常常出出现现的的输输入入模模式式的的响响应应。因因此此，这这种种网网络络也也叫叫作作概概率率估计器估计器第26页，共94页，编辑于2022年，星期二竞争学习网络竞争学习网络 无无监监督督学学习习网网络络只只根根据据输输入入模模式式来来更更新新权权值值。竞竞争争学习是这种类型网络最普遍学习方法学习是这种类型网络最普遍学习方法 第27页，共94页，编辑于2022年，星期二自组织神经网络自组织神经网络 在在接接受受外外界界输输入入时时，将将会会分分成成不不同同的的区区域域，不不同同的区域对不同的模式具有不同的响应特征的区域对不同的模式具有不同的

25、响应特征 特特征征图图，它它实实际际上上是是一一种种非非线线性性映映射射关关系系。由由于于这这种种映映射射是是通通过过无无监监督督的的自自适适应应过过程程完完成成的的，所所以以也也称称它它为自组织特征图为自组织特征图 第28页，共94页，编辑于2022年，星期二Hopfield神经网络神经网络 J.J.Hopfield提提出出了了神神经经网网络络能能量量函函数数（也也称称李李雅雅普普诺诺夫夫函函数数）的的概概念念，使使网网络络的的运运行行稳稳定定性性判判断断有有了了可可靠靠而而简简便的依据便的依据Hopfield网网络络在在联联想想存存贮贮及及优优化化计计算算等等领领域域得得到到了了成成功的应

26、用，拓宽了神经网络的应用范围功的应用，拓宽了神经网络的应用范围另另外外，Hopfield网网络络还还有有一一个个显显著著的的优优点点，即即它它与与电电子子电电路路存存在在明明显显的的对对应应关关系系，使使得得该该网网络络易易于于理理解解和便于实现和便于实现 通通常常Hopfield网网络络有有两两种种实实用用形形式式，即即离离散散型型Hopfield网网络和连续型络和连续型Hopfield网络网络 第29页，共94页，编辑于2022年，星期二Hopfield神经网络神经网络 离散型离散型Hopfield神经网络神经网络 第30页，共94页，编辑于2022年，星期二Hopfield神经网络神经网

27、络 连续型连续型Hopfield神经网络神经网络 第31页，共94页，编辑于2022年，星期二动态反馈神经网络动态反馈神经网络 TD神经网络一般有如下差分方程描述神经网络一般有如下差分方程描述当当 是是一一加加权权线线性性求求和和函函数数时时，它它等等效效于于一一线线性性FIR滤滤波波器器，在在这这一一网网络络中中不不存存在在反反馈馈，因因此此可可用用标标准准BP算算法训练。法训练。动态网络模型包括动态网络模型包括:时延神经网络（时延神经网络（TD神经网络）神经网络）具有反馈动力学的网络具有反馈动力学的网络 第32页，共94页，编辑于2022年，星期二动态反馈神经网络动态反馈神经网络 具有输出

28、反馈的具有输出反馈的TDTD神经网络神经网络 当当 是是一一加加权权线线性性求求和和函函数数时时，它它等等效效于于一一线线性性IIR滤波器滤波器第33页，共94页，编辑于2022年，星期二动态反馈神经网络动态反馈神经网络 动态神经网络的学习算法：动态神经网络的学习算法：1 1）有不动点的学习）有不动点的学习2 2）轨线学习）轨线学习它它们们与与静静态态神神经经网网络络的的学学习习算算法法一一样样，都都属属于于非非线线性性优化算法优化算法动动态态神神经经网网络络很很适适合合作作为为非非线线性性动动态态系系统统的的状状态态空空间间模型模型第34页，共94页，编辑于2022年，星期二波尔兹曼机模型波

29、尔兹曼机模型 从宏观上看，各神经元的状态可看作是一个随机从宏观上看，各神经元的状态可看作是一个随机变量。从统计观点分析，也可以寻找神经网络系变量。从统计观点分析，也可以寻找神经网络系统中某神经元的状态的概率分布，分布的形式与统中某神经元的状态的概率分布，分布的形式与网络的结构有关，其参数则是权系数网络的结构有关，其参数则是权系数Hinton等人借助统计物理学的方法提出了波尔兹等人借助统计物理学的方法提出了波尔兹曼机（曼机（Boltzma神经网络），它可用于模式分类、神经网络），它可用于模式分类、预测、组合优化及规划等方面预测、组合优化及规划等方面第35页，共94页，编辑于2022年，星期二波尔

30、兹曼机模型波尔兹曼机模型 波尔兹曼机是一种多层网络，它由输入层、输出波尔兹曼机是一种多层网络，它由输入层、输出层和隐层构成。网络没有明显的层次，隐单元之层和隐层构成。网络没有明显的层次，隐单元之间互相连接，网络状态按照概率分布变化间互相连接，网络状态按照概率分布变化网络状态服从统计学的波尔兹曼机分布。两个状态网络状态服从统计学的波尔兹曼机分布。两个状态出现的概率之比只与它们的能量差有关。对于温度出现的概率之比只与它们的能量差有关。对于温度参数参数T T，T T越大则状态变化越容易。为了使网络收敛越大则状态变化越容易。为了使网络收敛到低温下的平衡状态，可以从高温开始，然后徐到低温下的平衡状态，可

31、以从高温开始，然后徐徐退火，最后系统将以相当高的概率收敛到网络徐退火，最后系统将以相当高的概率收敛到网络的最小能量状态，这是模拟退火算法在波尔兹曼的最小能量状态，这是模拟退火算法在波尔兹曼机中应用的基本原理机中应用的基本原理采用模拟退火算法，可以避免局部极小，而达到全局能采用模拟退火算法，可以避免局部极小，而达到全局能量最小的状态，通用性强量最小的状态，通用性强第36页，共94页，编辑于2022年，星期二双向联想记忆网络双向联想记忆网络 Kosko提提出出的的BAM，它它是是两两层层反反馈馈网网络络，可可以以实实现现异异联联想想记记忆忆的的功功能能。它它使使前前向向和和反反向向双双向向联联想想

32、，从从一一输输入入对对回回忆忆一一相相关关的的双双极极性性向向量量对对，即即称称为为异（双向）联想存储器异（双向）联想存储器第37页，共94页，编辑于2022年，星期二模糊神经网络模糊神经网络（1）由模糊规则描述的模糊神经元）由模糊规则描述的模糊神经元（2）对非模糊神经元直接模糊化得到模糊神经元）对非模糊神经元直接模糊化得到模糊神经元（3）模糊神经元的学习和自适应机制）模糊神经元的学习和自适应机制 第38页，共94页，编辑于2022年，星期二模糊联想记忆模糊联想记忆 通通过过将将单单位位立立方方体体映映射射为为单单位位立立方方体体的的方方法法，将将模模糊集映射为模糊集的变换。糊集映射为模糊集的

33、变换。最简单的情况下，最简单的情况下，FAM系统可以只有一对关联。系统可以只有一对关联。一般地，一般地，FAM系统由一组不同的系统由一组不同的FAM关联组成关联组成第39页，共94页，编辑于2022年，星期二模糊极大模糊极大极小神经网络极小神经网络 每个超盒及其隶属函数可以用神经网络来实现每个超盒及其隶属函数可以用神经网络来实现极极小小极极大大点点变变成成网网络络中中的的连连接接权权值值，转转移移函函数数则则变成隶属函数变成隶属函数利利用用一一种种扩扩张张/收收缩缩过过程程实实现现模模糊糊极极小小极极大大学学习习，该该学学习习过过程程由由两两部部分分组组成成：1）扩扩张张辨辨别别出出可可以以扩

34、扩张张的的超超盒盒并并将将其其扩扩张张，如如不不可可能能则则再再添添上上一一个个新新的的超超盒盒；2）收收缩缩消除表示不同类的相邻超盒之间的重叠。消除表示不同类的相邻超盒之间的重叠。第40页，共94页，编辑于2022年，星期二模糊关系神经网络模糊关系神经网络（1）对参数）对参数a和和Q初始化，即赋值初始化，即赋值a(1)、Q(1)；（2）更新）更新a和和Q输输入入节节点点集集和和输输出出节节点点集集，极极大大极极小小复复合合算算子子，在在模模糊糊集集X和和模模糊糊关关系系R上上运运算算，得得出出另另一一个个模模糊糊集集Y第41页，共94页，编辑于2022年，星期二模糊模糊Hopfield神经网

35、络神经网络 模糊模糊Hopfield网络具有网络具有Hopfield型神经元网络的体系结构型神经元网络的体系结构模模糊糊Hopfield网网络络的的神神经经元元对对应应模模式式集集合合中中的的元元素素，模模式式间间的的模模糊糊相相似似关关系系作作为为联联接接神神经经元元的的权权值值矩矩阵阵被存储在模糊被存储在模糊Hopfield网络中网络中第42页，共94页，编辑于2022年，星期二模糊模糊Modular神经网络神经网络 系系统统的的训训练练采采用用混混合合学学习习算算法法，即即门门网网络络的的学学习习采采用用无无监监督督FCM算算法法，而而专专家家网网络络的的训训练练则则采采用用有有监监督督

36、的的LMS算法，以提高系统的收敛性能算法，以提高系统的收敛性能 第43页，共94页，编辑于2022年，星期二模糊模糊Modular神经网络神经网络 采用有监督学习和无监督学习相结合的训练方法采用有监督学习和无监督学习相结合的训练方法 第44页，共94页，编辑于2022年，星期二模糊超球神经网络模糊超球神经网络 模模糊糊超超球球神神经经网网络络的的学学习习算算法法有有三三步步：1）超超球球扩扩张张；2）超球重叠测试与收缩；）超球重叠测试与收缩；3）U权值的确定权值的确定 第45页，共94页，编辑于2022年，星期二pi-sigma神经网络神经网络 一种既有求和节点，又含有乘积节点的网络模型一种既

37、有求和节点，又含有乘积节点的网络模型可可方方便便地地在在线线修修正正前前项项参参数数（隶隶属属参参数数）和和结结论论参参数数，很适合于复杂系统的模糊预测和控制很适合于复杂系统的模糊预测和控制第46页，共94页，编辑于2022年，星期二基于基于TS型的模糊神经网络型的模糊神经网络第47页，共94页，编辑于2022年，星期二具有结构与参数学习的具有结构与参数学习的模糊神经网络模糊神经网络第48页，共94页，编辑于2022年，星期二基于神经网络的系统建模基于神经网络的系统建模 神经网络逼近理论神经网络逼近理论动动态态递递归归网网络络提提供供了了一一种种极极具具潜潜力力的的选选择择，代代表表了了神经网

38、络建模、辨识与控制的发展方向神经网络建模、辨识与控制的发展方向 第49页，共94页，编辑于2022年，星期二神经网络控制系统结构神经网络控制系统结构 由由于于分分类类方方法法的的不不同同，神神经经网网络络控控制制器器的的结结构构也也就就有有所所不不同同。本本节节将将简简要要介介绍绍神神经经网网络络控控制制系系统统的的典典型型结结构方案构方案 第50页，共94页，编辑于2022年，星期二基于神经网络的学习控制基于神经网络的学习控制神经网络学习控制的结构：包括一个监督程序和一个可神经网络学习控制的结构：包括一个监督程序和一个可训练的神经网络控制器（训练的神经网络控制器（NNC）。控制器的输入对应于

39、）。控制器的输入对应于由人接收（收集）的传感输入信息，而用于训练的输出由人接收（收集）的传感输入信息，而用于训练的输出对应于人对系统的控制输入对应于人对系统的控制输入 第51页，共94页，编辑于2022年，星期二基于神经网络的直接逆控制基于神经网络的直接逆控制采用受控系统的一个逆模型，它与受控系统串接以便使系采用受控系统的一个逆模型，它与受控系统串接以便使系统在期望响应（网络输入）与受控系统输出间得到一个相统在期望响应（网络输入）与受控系统输出间得到一个相同的映射。因此，该神经网络直接作为前馈控制器，而且同的映射。因此，该神经网络直接作为前馈控制器，而且受控系统的输出等于期望输出。这种方法在很

40、大程度上依受控系统的输出等于期望输出。这种方法在很大程度上依赖于作为控制器的逆模型的精确程度。逆模型参数可通过赖于作为控制器的逆模型的精确程度。逆模型参数可通过在线学习调整，以期把受控系统的鲁棒性提高至一定程度在线学习调整，以期把受控系统的鲁棒性提高至一定程度第52页，共94页，编辑于2022年，星期二基于神经网络的自适应控制基于神经网络的自适应控制神经网络间接自校正控制神经网络间接自校正控制 第53页，共94页，编辑于2022年，星期二基于神经网络的自适应控制基于神经网络的自适应控制神经网络直接模型参考自适应控制神经网络直接模型参考自适应控制 第54页，共94页，编辑于2022年，星期二基于

41、神经网络的自适应控制基于神经网络的自适应控制神经网络间接模型参考自适应控制神经网络间接模型参考自适应控制 第55页，共94页，编辑于2022年，星期二基于神经网络的内模控制基于神经网络的内模控制图中的状态估计器由一个充分逼近被控对象动力学的神经图中的状态估计器由一个充分逼近被控对象动力学的神经网络担任。控制器可以是神经网络控制，也可以是常规控网络担任。控制器可以是神经网络控制，也可以是常规控制器。为了获得更好的控制效果，通常在控制器前加一个制器。为了获得更好的控制效果，通常在控制器前加一个常规的滤波器。常规的滤波器。NNC不去直接学习被控系统的逆动力学映不去直接学习被控系统的逆动力学映射关系，

42、而由射关系，而由NN状态估计器来训练学习，以减轻状态估计器来训练学习，以减轻NNC的的负担负担 第56页，共94页，编辑于2022年，星期二基于神经网络的预测控制基于神经网络的预测控制预测控制，又称为基于模型的控制，其本质特征是预预测控制，又称为基于模型的控制，其本质特征是预测模型、滚动优化和反馈校正。神经网络模型的目的测模型、滚动优化和反馈校正。神经网络模型的目的就是要提供输出的预报值就是要提供输出的预报值 第57页，共94页，编辑于2022年，星期二基于神经网络的自适应基于神经网络的自适应评价控制评价控制第58页，共94页，编辑于2022年，星期二基于基于CMAC控制控制第59页，共94页

43、，编辑于2022年，星期二基于多层神经网络的控制基于多层神经网络的控制 第60页，共94页，编辑于2022年，星期二间接学习结构间接学习结构第61页，共94页，编辑于2022年，星期二一般学习结构一般学习结构第62页，共94页，编辑于2022年，星期二特殊学习结构特殊学习结构第63页，共94页，编辑于2022年，星期二基于神经网络的递阶控制基于神经网络的递阶控制 第一部分是常规反馈环，通常是一个第一部分是常规反馈环，通常是一个PI控制器控制器第二部分是与第二部分是与NN1连接的路径，该部分为系统动态连接的路径，该部分为系统动态识别器识别器第三部分是第三部分是NN2，它检测期望的输出和装置输入。

44、，它检测期望的输出和装置输入。第64页，共94页，编辑于2022年，星期二模糊逻辑与神经网络的集成模糊逻辑与神经网络的集成skillsskillsFuzzy systemsFuzzy systemsNeural networksNeural networksKnowledge Knowledge acquisitionacquisitionHuman expertsHuman experts(interaction)(interaction)Sample data setsSample data sets(algorithms)(algorithms)UncertaintyUncertaint

45、yQuantitative and Quantitative and qualitative qualitative(decision making)(decision making)QualitativeQualitative(perception)(perception)Reasoning Reasoning Heuristic search Heuristic search(low speed)(low speed)Parallel computations Parallel computations(high speed)(high speed)AdaptationAdaptation

46、LowLowVery highVery high(adjusting link weights)(adjusting link weights)模糊系统与神经网络的比较模糊系统与神经网络的比较第65页，共94页，编辑于2022年，星期二Seeking a functional mapping between fuzzy reasoning algorithms and neural network paradigmsFinding a structural mapping from a fuzzy reasoning system to a kind of neural network模糊逻辑

47、与神经网络的集成模糊逻辑与神经网络的集成第66页，共94页，编辑于2022年，星期二Concepts of Fuzzy Neural NetworksA regular fuzzy neural net(RFNN)is a neural network with fuzzy signals and/or fuzzy weights,(Buckely)(1)FFN1 has real number input signals but fuzzy weights;(2)FNN2 has fuzzy set input signals and real number weights;(3)FNN3

48、has both fuzzy set input signals and fuzzy weights.第67页，共94页，编辑于2022年，星期二三层前馈模糊神经网络三层前馈模糊神经网络第68页，共94页，编辑于2022年，星期二Concepts of Fuzzy Neural NetworksA hybrid fuzzy neural net is another kind of FNN which combine the fuzzy signals and weights using other operations besides addition and multiplication

49、to obtain neural net input.(Fuzzy Arithmetic)第69页，共94页，编辑于2022年，星期二FNN的学习算法的学习算法Two main groups:supervised learning and unsupervised learning,such as:Fuzzy back propagation algorithm-cut based backpropagation algorithmsGenetic algorithmsOther learning algorithms (1)Fuzzy chaos and algorithms第70页，共94

50、页，编辑于2022年，星期二Fuzzy Neural Control SchemesThese schemes can be mainly divided into two aspects:(1)Structural equivalent to fuzzy systems;(2)Functional equivalent to fuzzy systems.Some typical schemes:Mixed FNNNeural-like fuzzy set(FAM)Adaptive FNNMultilayer FNN第71页，共94页，编辑于2022年，星期二混合混合FNN第72页，共94页，