智能控制 第5章 神经网络理论基础0.ppt

《智能控制 第5章 神经网络理论基础0.ppt》由会员分享，可在线阅读，更多相关《智能控制 第5章 神经网络理论基础0.ppt（103页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经网络理论基础神经网络理论基础 以冯以冯诺依曼型计算机为中心的信息诺依曼型计算机为中心的信息处理技术的高速发展，计算机在信息化社处理技术的高速发展，计算机在信息化社会中起着十分重要的作用。会中起着十分重要的作用。但是，当用它来解决某些人工智能问但是，当用它来解决某些人工智能问题时却遇到了很大的困难。题时却遇到了很大的困难。模糊控制从人的经验出发，解决了智模糊控制从人的经验出发，解决了智能控制中人类语言描述和推理问题，但在能控制中人类语言描述和推理问题，但在处理数值数据、自学习能力等方面远未达处理数值数据、自学习能力等方面远未达到人脑境界到人脑境界 从人脑生理、心理学着手，模拟人脑从人脑生理、

2、心理学着手，模拟人脑工作机理工作机理 大脑是由生物神经元构成的巨型网络，大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。综合等能力，并有巧妙的信息处理方法。人工神经网络是模拟人脑思维方式的人工神经网络是模拟人脑思维方式的数学模型，从微观结构和功能上对人脑进数学模型，从微观结构和功能上对人脑进行抽象和简化，模拟人类智能行抽象和简化，模拟人类智能 人工神经网络人工神经网络(简称神经网络简称神经网络)也是由大也是由大量的、功能比较简

3、单的形式神经元互相连量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。大脑的许多基本功能和简单的思维方式。6.1 神经网络发展史 1 启蒙期（启蒙期（1890-1969）对大脑神经元研究表明，当其处于兴奋状对大脑神经元研究表明，当其处于兴奋状态时，输出侧的轴突就会发出脉冲信号，每个态时，输出侧的轴突就会发出脉冲信号，每个神经元的树状突起与来自其它神经元轴突的互神经元的树状突起与来自其它神经元轴突的互相结合部相结合部(此结合部称为此结合部称为Synapse，即突触即突触)接接收由轴突传来的信号。如果收由

4、轴突传来的信号。如果神经元所接收到神经元所接收到的信号的总和超过了它本身的的信号的总和超过了它本身的“阈值阈值”，则该，则该神经元就会处于兴奋状态，并向它后续连接的神经元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。神经元发出脉冲信号。1890年，年，W.James发表心理学，发表心理学，讨论脑结构和功能讨论脑结构和功能1943年，年，W.S.McCulloch和和W.Pitts提出了描提出了描述脑神经细胞动作的数学模型，即述脑神经细胞动作的数学模型，即MP模型。模型。19491949年，年，D.O.HebbD.O.Hebb提出了神经元的学习法则，提出了神经元的学习法则，即即HebbH

5、ebb法则。法则。50年代末，年代末，E.Rosenblatt提出了描述信息在人提出了描述信息在人脑中存储和记忆的数学模型脑中存储和记忆的数学模型，即感知机即感知机(Perceptron)模型。模型。感知机是现代神经计算的出发感知机是现代神经计算的出发点。点。Block于于1962年用解析法证明年用解析法证明了感知机的学习收敛定理。正是由了感知机的学习收敛定理。正是由于这一定理的存在，才使得感知机于这一定理的存在，才使得感知机的理论具有实际的意义，并引发了的理论具有实际的意义，并引发了60年代以感知机为代表的第一次神年代以感知机为代表的第一次神经网络研究发展的高潮。经网络研究发展的高潮。196

6、1年，年，ERCaianiello提出了能实现记忆和提出了能实现记忆和识别的神经网络模型，它由学习方程式和记忆识别的神经网络模型，它由学习方程式和记忆方程式两部分组成。方程式两部分组成。1962年，年，MMinsky和和S.Papert进一步发展了感进一步发展了感知机的理论，他们把感知机定义为一种逻辑函知机的理论，他们把感知机定义为一种逻辑函数的学习机数的学习机。BWidraw在稍后于感知机一些时候提出了在稍后于感知机一些时候提出了Adline分类学习机。它在结构上与感知机相似，分类学习机。它在结构上与感知机相似，但在学习法则上采用了最小二乘平均误差法。但在学习法则上采用了最小二乘平均误差法。

7、1965年年M.Minsky和和S.Papert在在感知机感知机一书中指出感知机的缺陷并表示出对一书中指出感知机的缺陷并表示出对这方面研究的悲观态度，使得神经网络这方面研究的悲观态度，使得神经网络的研究从兴起期进入了停滞期，这是神的研究从兴起期进入了停滞期，这是神经网络发展史上的第一个转折经网络发展史上的第一个转折 2.低潮期（1969-1982年）神经网络理论研究水平的限制神经网络理论研究水平的限制计算机发展的冲击计算机发展的冲击1969年，年，Grossberg提出迄今为止最复杂提出迄今为止最复杂的的ART神经网络神经网络1972年，年，Kohonen提出自组织映射的提出自组织映射的SOM

8、模型模型到了到了20世纪世纪80年代初，年代初，J.J.Hopfield的工的工作和作和D.Rumelhart等人的等人的PDP报告显示出报告显示出神经网络的巨大潜力，使得该领域的研神经网络的巨大潜力，使得该领域的研究从停滞期进入了繁荣期，这是神经网究从停滞期进入了繁荣期，这是神经网络发展史上的第二个转折。络发展史上的第二个转折。3.复兴期复兴期 1982年，美国物理学家年，美国物理学家Hopfield对神经网络对神经网络的动态特性进行了研究，提出了的动态特性进行了研究，提出了Hopfield神经神经网络模型，引入能量函数，实现问题优化求解网络模型，引入能量函数，实现问题优化求解 1986 1

9、986年，以年，以Rumelhart为首的为首的PDP(Parallel Distributed Processing)并行分布处理研究集团并行分布处理研究集团对联结机制对联结机制(connectionist)进行了研究，提进行了研究，提出了著名的多层神经网络模型，即出了著名的多层神经网络模型，即BPBP网络，至网络，至今为止应用最普遍。今为止应用最普遍。TJSejnowski等人还研究了神经网络语等人还研究了神经网络语音信息处理装置。音信息处理装置。这些成功的研究对第二次神经网络研究高这些成功的研究对第二次神经网络研究高潮的形成起了决定性的作用。潮的形成起了决定性的作用。Hopfield模型

10、的动作原理是模型的动作原理是：只要由神经元兴奋的算法和神经元之只要由神经元兴奋的算法和神经元之间的结合强度所决定的神经网络的状态间的结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定，在适当给定的兴奋模式下尚未达到稳定，那么该状态就会一直变化下去，直到预那么该状态就会一直变化下去，直到预先定义的一个必定减小的能量函数达到先定义的一个必定减小的能量函数达到极小值时，状态才达到稳定而不再变化。极小值时，状态才达到稳定而不再变化。19851985年年，HopfieldHopfield和和D DW WTankTank用用上上述述模模型型求求解解了了古古典典的的旅旅行行推推销销商商问问题题

11、(Traveling Traveling Salesman Salesman Problem)Problem)，简简称称TSPTSP问题。问题。1983年，年，SEFarmann和和Hiton提出了波提出了波尔兹曼机尔兹曼机BM(Boltzmann Machine)，该神经网该神经网络模型中使用了概率动作的神经元，把神经元络模型中使用了概率动作的神经元，把神经元的输出函数与统计力学中的波尔兹曼分布联系的输出函数与统计力学中的波尔兹曼分布联系起来。起来。1985年，年，WOHillis发表了称为联结机发表了称为联结机(connection)的超级并行计算机。他把的超级并行计算机。他把65536个

12、个lbit的微处理机排列成起立方体的互连形式，的微处理机排列成起立方体的互连形式，每个微处理机还带有每个微处理机还带有4kbit的存贮器。的存贮器。误差反向传播神经网络误差反向传播神经网络BP(Error Back Propagation Neural Network)是是1986年由年由Rumelhart和和Hinton提出的，提出的，4.新连接机制时期（新连接机制时期（1986年年-）神经网络从理论神经网络从理论应用（神经网络芯应用（神经网络芯片、神经计算机）片、神经计算机）模式识别与图象处理、控制与优化、预模式识别与图象处理、控制与优化、预测与管理、通信领域测与管理、通信领域并行分布处理

13、理论 1986年，年，Rumelhart和和McClelland发发表了并行分布处理表了并行分布处理认知微结构探认知微结构探索一书。索一书。（Parallel Distributed Processing）系统地总结了系统地总结了PDP的概念、理论、数的概念、理论、数学方法、产生的背景和发展前景。著名学方法、产生的背景和发展前景。著名的的BP神经网络学习法则就是在本书中由神经网络学习法则就是在本书中由Rumelhart提出的。提出的。到了到了20世纪世纪90年代中后期，随着研究者年代中后期，随着研究者们对神经网络的局限有了更清楚的认识，们对神经网络的局限有了更清楚的认识，以及支持向量机等似乎更

14、有前途的方法以及支持向量机等似乎更有前途的方法的出现，的出现，“神经网络神经网络”这个词不再象前这个词不再象前些年那么些年那么“火爆火爆”了。很多人认为神经了。很多人认为神经网络的研究又开始陷入了低潮，并认为网络的研究又开始陷入了低潮，并认为支持向量机将取代神经网络。支持向量机将取代神经网络。神经网络的研究概况神经网络的研究主要可分为以下三个方面：神经网络的研究主要可分为以下三个方面：1大脑和神经系统的信息处理原理。大脑和神经系统的信息处理原理。2构造能实现信息处理的神经网络模型。构造能实现信息处理的神经网络模型。3能能实实现现信信息息处处理理基基本本原原理理的的技技术术研研究究一一神神经经计

15、算机。计算机。美国军方，认为神经网络技术是比原子弹美国军方，认为神经网络技术是比原子弹工程更重要的技术。美国国防部工程更重要的技术。美国国防部(DARPA)曾宣布曾宣布执行一项总投资为执行一项总投资为4亿美元的八年计划，其主要亿美元的八年计划，其主要研究目标为：连续语音信号识别、声纳信号识研究目标为：连续语音信号识别、声纳信号识别、目标识别及跟踪等。别、目标识别及跟踪等。日本通产省早在日本通产省早在1988年也提出了年也提出了 所谓人类尖端科学计划所谓人类尖端科学计划(Human Frontier Science Program)，即所谓的第六代计算机计划，研制即所谓的第六代计算机计划，研制能

16、模拟人类智能行为的计算机系统。能模拟人类智能行为的计算机系统。到目前为止，已经发表了多达几十种的到目前为止，已经发表了多达几十种的 神神经经网网络络模模型型，它它们们具具备备不不同同的的信信息息处处理理能能力力，典典型型的神经网络模型如表的神经网络模型如表1.2所示。所示。1987年年6月月21至至24日在美国加州圣地亚哥日在美国加州圣地亚哥(San Diego)召开的第一届神经网络国际会议召开的第一届神经网络国际会议;1988年，我国在北京召开了神经网络的国际研究年，我国在北京召开了神经网络的国际研究工作会议，并出版了论文集。工作会议，并出版了论文集。关于神经网络的主要国际性杂志有：关于神经

17、网络的主要国际性杂志有：(1)(1)Neural Networks(Neural Networks(国际神经网络协会会刊国际神经网络协会会刊)(2)(2)IEEE Transactions on Neural NetworksIEEE Transactions on Neural Networks(3)IEEE Transactions on Parallel(3)IEEE Transactions on Parallel Distributed SystemDistributed System(4)Connections Science(4)Connections Science(5)Neu

18、rocomputing(5)Neurocomputing(6)Neural Computation(6)Neural Computation(7)International Journal of Neural Systems(7)International Journal of Neural Systems人工神经网络人工神经网络是对人脑的模拟人工神经网络人工神经网络人工神经元 模拟生物神经元人工神经元 模拟生物神经元人工神经网络模拟生物神经网络人工神经元 模拟生物神经元生物神经元 生物神经元 生物神经元 人工神经元生物神经元 人工神经元生物神经元 人工神经元生物神经元信息处理单元生物神经元信

19、息处理单元信息输入生物神经元信息处理单元信息传播与处理生物神经元信息处理单元信息传播与处理（整合）生物神经元信息处理单元信息传播与处理：兴奋或抑制生物神经元信息处理单元信息输出生物神经元信息处理单元生物神经元信息处理单元生物神经元信息处理单元生物神经元信息处理单元生物神经元信息处理单元生物神经元信息处理单元神经网络神经网络原理原理生物神经元生物神经元 人脑大约由人脑大约由1012个神经元组成，个神经元组成，神经神经元互相连接成神经网络元互相连接成神经网络 神经元是大脑处理信息的基本单元，神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不以细胞体为主体，由许多向周围延伸的不规则

20、树枝状纤维构成的神经细胞，其形状规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由很像一棵枯树的枝干。它主要由细胞体细胞体、树突树突、轴突轴突和和突触突触(Synapse，又称神经键又称神经键)组成。组成。单个单个生物神经元解剖图生物神经元解剖图 细胞体：包括细胞质、细胞膜和细胞核细胞体：包括细胞质、细胞膜和细胞核树突：用于为细胞体传入信息树突：用于为细胞体传入信息轴突：为细胞体传出信息，其末端为神轴突：为细胞体传出信息，其末端为神经末梢，含传递信息的化学物质经末梢，含传递信息的化学物质突触：神经元之间的接口（可塑性）突触：神经元之间的接口（可塑性）从神经元各组成部分的功能来看，

21、从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放值电位后，突触前膜将向突触间隙释放神经传递的化学物质神经传递的化学物质。突触有两种：兴奋性突触和抑制性突突触有两种：兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生触。前者产生正突触后电位，后者产生负突触后电位。负突触后电位。突触传递信息的功能和特点归纳为：突触传递信息的功能和特点归纳为：信息传递有时延，一般为信息传递有

22、时延，一般为0.3lms。信息的综合有时间累加和空间累加。（时空整合）信息的综合有时间累加和空间累加。（时空整合）突触有兴奋性和抑制性两种类型。突触有兴奋性和抑制性两种类型。具有脉冲电位信号转换功能。具有脉冲电位信号转换功能。神经纤维传导的速度，即脉冲沿神经纤维传递的速度，神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在在1150ms之间之间 存在不应期。存在不应期。不可逆性，脉冲只从突触前传到突触后，不逆向传递。不可逆性，脉冲只从突触前传到突触后，不逆向传递。（动态极化性）（动态极化性）可塑性，突触传递信息的强度是可变的，即具有学习可塑性，突触传递信息的强度是可变的，即具有学习功能。功能。

23、存在遗忘或疲劳效应。存在遗忘或疲劳效应。人工神经元信息处理单元人工神经元信息处理单元信息输入信息输入人工神经元信息处理单元信息传播与处理：积与和人工神经元信息处理单元人工神经元信息处理单元信息传播人工神经元信息处理单元信息传播与处理:非线性人工神经元信息处理单元信息输出人工神经元信息处理单元人工神经信息处理单元人工神经元信息输入输出人工神经元信息输入输出人工神经元信息输入输出人工神经元信息输入输出人工神经网络模拟生物神经网络生物神经网络生物神经网络生物神经网络生物神经网络 人工神经网络生物神经网络 人工神经网络生物神经网络 人工神经网络生物神经网络 人工神经网络生物神经网络 人工神经网络生物神

24、经网络 人工神经网络生物神经网络 人工神经网络生物神经网络 人工神经网络+生物神经网络 人工神经网络生物神经系统(部分)人工神经网络（人工神经网络（Artificial Neural Networks,ANN）:一种模范动物神经网络行为特征，进行分布一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到部大量节点之间相互连接的关系，从而达到处理信息的目的。处理信息的目的。人工神经网络具有自学习和自适应的能力，人工神经网络具有自学习和自适应

25、的能力，可以通过预先提供的一批相互对应的输入可以通过预先提供的一批相互对应的输入输出数据，分析掌握两者之间潜在的规律，输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为输出结果，这种学习分析的过程被称为“训训练练”。（引自。（引自环球科学环球科学2007年第一期年第一期神经语言：老鼠胡须下的秘密神经语言：老鼠胡须下的秘密）人工神经网络以数学手段来模拟人工神经网络以数学手段来模拟人脑神经网络结构和特性人脑神经网络结构和特性 神经网络是一个并行和分布式的神经网络是一个并行和分布式的信息处理网络结构，它

26、一般由许多个信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。个连接通道对应于一个连接权系数。目前已有目前已有40多种模型多种模型人脑神经网络信息处理的特点人脑神经网络信息处理的特点1分布存储与冗余性分布存储与冗余性 2并行处理并行处理 3信息处理与存储合一信息处理与存储合一 4可塑性与自组织性可塑性与自组织性 5鲁棒性鲁棒性 人工神经元模型人工神经元模型 归纳一下生物神经元传递信息的过

27、程归纳一下生物神经元传递信息的过程：生物神经元是一个多输入生物神经元是一个多输入、单输出单元单输出单元。常用的人工神经元模型可用下图模拟。常用的人工神经元模型可用下图模拟。图图 人工神经元模型人工神经元模型 响应函数（激活函数）的基本作用：响应函数（激活函数）的基本作用：1 1、控制输入对输出的激活作用；、控制输入对输出的激活作用；2 2、对输入、输出进行函数转换；、对输入、输出进行函数转换；3 3、将可能无限域的输入变换成指定的有限、将可能无限域的输入变换成指定的有限范围内的输出。范围内的输出。根据响应函数的不同，人工神经元根据响应函数的不同，人工神经元有以下几种类型有以下几种类型：图图 人

28、工神经元的响应函数人工神经元的响应函数 1、阈值单元 2、线性单元 3、非线性单元：Sigmoid函数 上述模型能反映生物神经元的基本上述模型能反映生物神经元的基本特性，但还有如下不同之点：特性，但还有如下不同之点：(1)(1)生物神经元传递的信息是脉冲，而上述生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压。模型传递的信息是模拟电压。(2)(2)由于在上述模型中用一个等效的模拟电由于在上述模型中用一个等效的模拟电压来模拟生物神经元的脉冲密度，所以压来模拟生物神经元的脉冲密度，所以在模型中只有空间累加而没有时间累加在模型中只有空间累加而没有时间累加(可以认为时间累加已隐含在等效的模拟

29、可以认为时间累加已隐含在等效的模拟电压之中电压之中)。(3)(3)上述模型未考虑时延、不应期和疲劳等。上述模型未考虑时延、不应期和疲劳等。6.3 人工神经网络的分类人工神经网络的分类 神经元的模型确定之后，一个神经神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑网络的特性及能力主要取决于网络的拓扑结构及学习方法。结构及学习方法。人工神经网络连接的几种基本形式：人工神经网络连接的几种基本形式：1前向网络前向网络 网络中的神经元是分层排列的，每个神经网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。元只与前一层的神经元相连接。2反馈网络反馈网络 从输出到输入有反馈，

30、反馈动力学系统，需从输出到输入有反馈，反馈动力学系统，需要工作一段时间才稳定，具有联想记忆功能要工作一段时间才稳定，具有联想记忆功能 3自组织网络自组织网络 神经网络接受外界输入时，网络会分成不同神经网络接受外界输入时，网络会分成不同区域，不同区域具有不同的响应特性，即不同区域，不同区域具有不同的响应特性，即不同的神经元以最佳方式响应不同性质的信号激励，的神经元以最佳方式响应不同性质的信号激励，形成一种非线性映射，通过无监督的自适应过形成一种非线性映射，通过无监督的自适应过程完成（聚类）程完成（聚类）图 神经网络的典型结构 6.4 人工神经网络的学习人工神经网络的学习 算法算法神经网络最有用的

31、特征之一是它具有自学习功能。神经网络最有用的特征之一是它具有自学习功能。通常一个通常一个ANN模型要实现某种功能，就需要对模型要实现某种功能，就需要对其加以训练。所谓其加以训练。所谓“训练训练”，就是让它学会要，就是让它学会要做的事情，通过学习，把这些知识记忆在网络做的事情，通过学习，把这些知识记忆在网络的权值中。的权值中。学习方法是人工神经网络研究中的核心问题，通学习方法是人工神经网络研究中的核心问题，通过学习算法，实现自适应、自组织和自学习能过学习算法，实现自适应、自组织和自学习能力。力。神经网络的权值并非固定不变，相反这些权值可神经网络的权值并非固定不变，相反这些权值可以根据经验或学习来

32、改变。神经网络的学习过以根据经验或学习来改变。神经网络的学习过程就是不断调整网络的连接数值，以获得期望程就是不断调整网络的连接数值，以获得期望输出。输出。人工神经网络连接权的确定通常有：人工神经网络连接权的确定通常有：有导师学习、无导师学习和再励学习有导师学习、无导师学习和再励学习常用的神经网络学习方式：常用的神经网络学习方式：（1 1）有导师学习）有导师学习监督学习监督学习 Supervised Learning 例例如如BP 有明确的有明确的“教师教师”信号信号神经网络神经网络比较比较输入输入实际输出实际输出期望输出期望输出（2 2）无导师学习）无导师学习无监督学习无监督学习 Unsupe

33、rvised Learning 没有任何没有任何“教师教师”信号信号 只是通过输入数据的内部信息只是通过输入数据的内部信息 相当自组织这类方法。相当自组织这类方法。神经网络神经网络输入输入实际输出实际输出（3 3）再励学习）再励学习Reinforcement Learning 源于心理学源于心理学神经网络神经网络1环境环境输入输入输出输出神经网络神经网络2神经网络的工作方式：神经网络的工作方式：学习阶段学习阶段修改权值修改权值工作阶段工作阶段 计算单元变化计算单元变化1Hebb学习规则学习规则 是是Donall Hebb根据生理学中条件反射机理，根据生理学中条件反射机理，于于1949年提出的神

34、经元连接强度变化的规则。年提出的神经元连接强度变化的规则。如果两个神经元同时兴奋如果两个神经元同时兴奋(即同时被激活即同时被激活)，则它们之间的突触连接加强。则它们之间的突触连接加强。Hebb学习规则是一种无导师学习的方法，学习规则是一种无导师学习的方法，称为相关学习或并联学习，是人工神经网称为相关学习或并联学习，是人工神经网络学习的基本规则，几乎所有神经网络的络学习的基本规则，几乎所有神经网络的学习规则都可以看作学习规则都可以看作Hebb学习规则的变形学习规则的变形。是用已知样本作为教师对网络进行学习是用已知样本作为教师对网络进行学习。主要利用误差：主要利用误差：ek=dk-yk 学习目的是

35、通过调整权值，使某一基于学习目的是通过调整权值，使某一基于ek的的目目标函数达到最小标函数达到最小如：常用的目标函数是均方误差判据如：常用的目标函数是均方误差判据2DeltaDelta学习规则学习规则可用梯度下降法对权值可用梯度下降法对权值W求导，得求导，得3）竞争学习规则）竞争学习规则在竞争学习时，网络各输出单元相互竞争，最后在竞争学习时，网络各输出单元相互竞争，最后达到只有一个最强者激活。达到只有一个最强者激活。6.5 神经网络特征及要素神经网络特征及要素特征：特征：能逼近任意非线性函数能逼近任意非线性函数信息的并行分布式处理与存储信息的并行分布式处理与存储可以多输入、多输出可以多输入、多

36、输出便于用超大规模集成电路、光学集成电便于用超大规模集成电路、光学集成电路系统和计算机实现路系统和计算机实现能进行学习，以适应环境的变化能进行学习，以适应环境的变化三要素三要素神经元的特性神经元的特性神经元之间相互连接的拓扑结构神经元之间相互连接的拓扑结构为适应环境而改善性能的学习规则为适应环境而改善性能的学习规则神经网络研究领域神经网络研究领域系统辨识系统辨识神经网络控制器神经网络控制器与其他算法结合设计新型控制系统与其他算法结合设计新型控制系统优化计算优化计算神经网络在目前的应用领域神经网络在目前的应用领域 1控制理论及其应用设计控制理论及其应用设计 神经网络用于控制系统设计主要是神经网络

37、用于控制系统设计主要是针对系统的非线形、不确定性和复针对系统的非线形、不确定性和复杂性进行的。由于神经网络的自适杂性进行的。由于神经网络的自适应能力、并行处理能力和超强的鲁应能力、并行处理能力和超强的鲁棒性，使得采用神经网络的控制系棒性，使得采用神经网络的控制系统具有更快的计算速度（实时性）、统具有更快的计算速度（实时性）、更强的适应能力和更好的鲁棒性。更强的适应能力和更好的鲁棒性。2基于神经网络的故障诊断基于神经网络的故障诊断 神经网络技术的出现，为故障诊神经网络技术的出现，为故障诊断问题提供了一种新的解决途径，特断问题提供了一种新的解决途径，特别是对于在实际中难以建立数学模型别是对于在实际

38、中难以建立数学模型的复杂系统，神经网络更显示出其独的复杂系统，神经网络更显示出其独特的作用。特的作用。3基于神经网络的模糊控制基于神经网络的模糊控制 模糊控制器自模糊控制器自1974年问世以来，其基本年问世以来，其基本设计方法一直没有大的变化。它的基本设计设计方法一直没有大的变化。它的基本设计思想就是借助人工操作的经验，通过合成关思想就是借助人工操作的经验，通过合成关系，把输入的模糊量和关系矩阵合成，推导系，把输入的模糊量和关系矩阵合成，推导出控制量。近年来，随着神经网络理论的迅出控制量。近年来，随着神经网络理论的迅速发展，一些研究人员尝试将神经网络引入速发展，一些研究人员尝试将神经网络引入到

39、模糊控制器中，取得了不错的效果，控制到模糊控制器中，取得了不错的效果，控制器性能得到了进一步的提高。可以说，将模器性能得到了进一步的提高。可以说，将模糊控制和神经网络两者结合组成的神经网络糊控制和神经网络两者结合组成的神经网络模糊控制技术是控制理论研究者们关注的焦模糊控制技术是控制理论研究者们关注的焦点之一。点之一。4基于神经网络的自适应噪声抵消技基于神经网络的自适应噪声抵消技术术 自自1986年开始，神经网络随着反向年开始，神经网络随着反向传播技术的的出现而得到复兴，此后神传播技术的的出现而得到复兴，此后神经网络的研究再度掀起高潮，由于神经经网络的研究再度掀起高潮，由于神经网络具有高度并行性

40、、很强的非线性、网络具有高度并行性、很强的非线性、变换能力和学习能力，因此具有巨大的变换能力和学习能力，因此具有巨大的应用潜力，也为自适应非线性滤波提供应用潜力，也为自适应非线性滤波提供了一种全新的思路和方法。了一种全新的思路和方法。5基于神经网络的预测基于神经网络的预测 神经网络在非线性系统预测这神经网络在非线性系统预测这方面显示出了明显的优越性。由于方面显示出了明显的优越性。由于神经网络具有通过学习逼近任意非神经网络具有通过学习逼近任意非线性映射的能力，将神经网络应用线性映射的能力，将神经网络应用于非线性系统的建模与辨识，可以于非线性系统的建模与辨识，可以不受非线性模型的限制，便于给出不受非线性模型的限制，便于给出工程上易于实现的学习算法。工程上易于实现的学习算法。