6.1 神经网络基本介绍.ppt

《6.1 神经网络基本介绍.ppt》由会员分享，可在线阅读，更多相关《6.1 神经网络基本介绍.ppt（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第6章章神经网络辨识神经网络辨识及其应用及其应用神经网络辨识的特点不要求建立实际系统的辨识格式，即可省去系统结构建模这一步不要求建立实际系统的辨识格式，即可省去系统结构建模这一步骤骤;可以对本质非线性系统进行辨识可以对本质非线性系统进行辨识;辨识的收敛速度不依赖于待辨识系统的维数，只于神经网络本身辨识的收敛速度不依赖于待辨识系统的维数，只于神经网络本身及其所采用的学习算法有关及其所采用的学习算法有关;在参数辨识中，神经网络的连接权值可以对应于模型参数，通过在参数辨识中，神经网络的连接权值可以对应于模型参数，通过权值的调节可使网络输出逼近于系统输出权值的调节可使网络输出逼近于系统输出;神经网络

2、作为实际系统的辨识模型，实际上也是系统的一个物理神经网络作为实际系统的辨识模型，实际上也是系统的一个物理实现，可以用于在线控制实现，可以用于在线控制;神经网络是一种黑箱建模工具。神经网络是一种黑箱建模工具。人人人人 工工工工 神神神神 经经经经 网网网网 络络络络（简简简简 称称称称 神神神神 经经经经 网网网网 络络络络，Neural Neural NetworkNetwork）是模拟人脑思维方式的数学模型。）是模拟人脑思维方式的数学模型。）是模拟人脑思维方式的数学模型。）是模拟人脑思维方式的数学模型。神经网络是在现代生物学研究人脑组织成果的基础神经网络是在现代生物学研究人脑组织成果的基础神

3、经网络是在现代生物学研究人脑组织成果的基础神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。上提出的，用来模拟人类大脑神经网络的结构和行为。上提出的，用来模拟人类大脑神经网络的结构和行为。上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如并行信息处神经网络反映了人脑功能的基本特征，如并行信息处神经网络反映了人脑功能的基本特征，如并行信息处神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。理、学习、联想、模式分类、记忆等。理、学习、联想、模式分类、记忆等。理、学习、联想、模式分类、记忆等。6

4、.1神经网络介绍神经网络介绍20世世纪纪80年年代代以以来来，人人工工神神经经网网络络（ANN，ArtificialNeuralNetwork）研研究究所所取取得得的的突突破破性性进进展展。神神经经网网络络辨辨识识是是采采用用神神经经网网络络进进行行逼逼近近或或建建模模，神神经经网网络络辨辨识识为为解解决决复复杂杂的的非非线线性性、不不确确定定、未知系统的控制问题开辟了新途径。未知系统的控制问题开辟了新途径。神经网络的发展历程经过神经网络的发展历程经过4个阶段。个阶段。1、启蒙期（、启蒙期（1890-1969年）年）1890年年，W.James发发表表专专著著心心理理学学，讨论了脑的结构和功能

5、。，讨论了脑的结构和功能。1943年年，心心理理学学家家W.S.McCulloch和和数数学学家家W.Pitts提提出出了了描描述述脑脑神神经经细细胞胞动动作作的的数数学学模模型型，即即M-P模模型型（第第一一个个神神经经网络模型）。网络模型）。神经网络发展历史神经网络发展历史1949年年，心心理理学学家家Hebb实实现现了了对对脑脑细细胞胞之之间间相相互互影影响响的的数数学学描描述述，从从心心理理学学的的角角度度提提出出了了至至今今仍仍对对神神经经网网络络理理论论有有着着重要影响的重要影响的Hebb学习法则。学习法则。1958年年，E.Rosenblatt提提出出了了描描述述信信息息在在人人

6、脑脑中中贮贮存存和和记记忆忆的的数数学学模模型型，即即著著名的感知机模型（名的感知机模型（Perceptron）。）。1962年年，Widrow和和Hoff提提出出了了自自适适应应线线性性神神经经网网络络，即即Adaline网网络络，并并提提出出了了网网络络学学习习新新知知识识的的方方法法，即即Widrow和和Hoff学学习习规规则则（即即学学习习规规则则），并并用用电路进行了硬件设计。电路进行了硬件设计。2、低潮期（、低潮期（1969-1982）受受当当时时神神经经网网络络理理论论研研究究水水平平的的限限制制及及冯冯诺诺依依曼曼式式计计算算机机发发展展的的冲冲击击等等因因素素的影响，神经网络

7、的研究陷入低谷。的影响，神经网络的研究陷入低谷。在在美美、日日等等国国有有少少数数学学者者继继续续着着神神经经网网络络模模型型和和学学习习算算法法的的研研究究，提提出出了了许许多多有有意意义义的的理理论论和和方方法法。例例如如，1969年年，S.Groisberg和和A.Carpentet提提出出了了至至今今为为止止最最复复杂杂的的ART网网络络，该该网网络络可可以以对对任任意意复复杂杂的的二二维维模模式式进进行行自自组组织织、自自稳稳定定和和大大规规模模并并行行处处理理。1972年年，Kohonen提提出了自组织映射的出了自组织映射的SOM模型。模型。3复兴期（复兴期（1982-1986）1

8、982年年，物物理理学学家家Hoppield提提出出了了Hoppield神神经经网网络络模模型型，该该模模型型通通过过引引入入能能量量函函数数，实实现现了了问问题题优优化化求求解解，1984年年他他用用此此模模型型成成功功地地解解决决了了旅旅行行商商路路径径优优化化问题问题(TSP)。1986年年，在在Rumelhart和和McCelland等等出出版版ParallelDistributedProcessing一一书书，提提出出了了一一种种著著名名的的多多层层神神经经网网络络模模型型，即即BP网网络络。该该网网络络是是迄迄今今为为止止应应用用最最普普遍遍的神经网络。的神经网络。4新连接机制时期

9、（新连接机制时期（1986-现在）现在）神神经经网网络络从从理理论论走走向向应应用用领领域域，出出现现了神经网络芯片和神经计算机。了神经网络芯片和神经计算机。神神经经网网络络主主要要应应用用领领域域有有：模模式式识识别别与与图图象象处处理理（语语音音、指指纹纹、故故障障检检测测和和图图象象压压缩缩等等）、控控制制与与优优化化、系系统统辨辨识识、预预测测与与管管理理（市市场场预预测测、风风险险分分析析）、通信等。通信等。神经网络原理神经网络原理神神经经生生理理学学和和神神经经解解剖剖学学的的研研究究表表明明，人人脑脑极极其其复复杂杂，由由一一千千多多亿亿个个神神经经元元交交织织在在一一起起的的网

10、网状状结结构构构构成成，其其中中大大脑脑皮皮层层约约140亿亿个个神神经经元元，小小脑脑皮皮层层约约1000亿个神经元。亿个神经元。人人脑脑能能完完成成智智能能、思思维维等等高高级级活活动动，为为了了能能利利用用数数学学模模型型来来模模拟拟人人脑脑的的活活动动，导致了神经网络的研究。导致了神经网络的研究。神神经经系系统统的的基基本本构构造造是是神神经经元元(神神经经细细胞胞)，它它是是处处理理人人体体内内各各部部分分之之间间相相互互信信息息传传递的基本单元。递的基本单元。每每个个神神经经元元都都由由一一个个细细胞胞体体，一一个个连连接接其其他他神神经经元元的的轴轴突突和和一一些些向向外外伸伸出

11、出的的其其它它较短分支较短分支树突树突组成。组成。轴轴突突功功能能是是将将本本神神经经元元的的输输出出信信号号(兴兴奋奋)传传递递给给别别的的神神经经元元，其其末末端端的的许许多多神神经经末末梢使得兴奋可以同时传送给多个神经元。梢使得兴奋可以同时传送给多个神经元。树突的功能是接受来自其它神经元的树突的功能是接受来自其它神经元的兴奋。兴奋。神经元细胞体将接收到的所有信号进神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出。行简单地处理后，由轴突输出。神经元的轴突与另外神经元神经末梢神经元的轴突与另外神经元神经末梢相连的部分称为相连的部分称为突触突触。图图单个神经元的解剖图单个神经元的解剖

12、图神经元由三部分构成：神经元由三部分构成：（1）细细胞胞体体（主主体体部部分分）：包包括括细细胞胞质质、细胞膜和细胞核；细胞膜和细胞核；（2）树突：用于为细胞体传入信息；）树突：用于为细胞体传入信息；（3）轴轴突突：为为细细胞胞体体传传出出信信息息，其其末末端端是是轴突末梢，含传递信息的化学物质；轴突末梢，含传递信息的化学物质；（4）突突 触触：是是 神神 经经 元元 之之 间间 的的 接接 口口（104105个个/每个神经元）。每个神经元）。通通过过树树突突和和轴轴突突，神神经经元元之之间间实实现现了了信信息的传递。息的传递。图图1单神经元结构模型单神经元结构模型图中图中为神经元的内部状态，

13、为神经元的内部状态，为阈值，为阈值，为输入信号，为输入信号，为表示从单元为表示从单元到单元到单元的连接权系数，的连接权系数，为外部输入信号。为外部输入信号。上图中所示的模型可描述为：，即通常情况下，取 常用的神经元非线性特性有以下三种：常用的神经元非线性特性有以下三种：阈值型、分段线性型和函数型阈值型、分段线性型和函数型。神经元具有如下功能：神经元具有如下功能：(1)兴兴奋奋与与抑抑制制：如如果果传传入入神神经经元元的的冲冲动动经经整整和和后后使使细细胞胞膜膜电电位位升升高高，超超过过动动作作电电位位的的阈阈值值时时即即为为兴兴奋奋状状态态，产产生生神神经经冲冲动动，由由轴轴突突经经神神经经末

14、末梢梢传传出出。如如果果传传入入神神经经元元的的冲冲动动经经整整和和后后使使细细胞胞膜膜电电位位降降低低，低低于于动动作作电电位位的的阈阈值值时即为抑制状态，不产生神经冲动。时即为抑制状态，不产生神经冲动。(2)学学习习与与遗遗忘忘：由由于于神神经经元元结结构构的的可可塑塑性性，突突触触的的传传递递作作用用可可增增强强和和减减弱弱，因因此神经元此神经元具有学习与遗忘的功能具有学习与遗忘的功能。决定神经网络模型性能三大要素为：决定神经网络模型性能三大要素为：(1)神经元（信息处理单元）的特性；神经元（信息处理单元）的特性；(2)神神经经元元之之间间相相互互连连接接的的形形式式拓拓扑扑结结构；构；

15、(3)为适应环境而改善性能的学习规则。为适应环境而改善性能的学习规则。Delta（）学习）学习规则（梯度下降法）规则（梯度下降法）误差准则误差准则函数：函数：神经网络特征神经网络特征（1 1）能逼近任意连续的非线性函数；能逼近任意连续的非线性函数；（2 2）信息的并行分布式处理与存储；）信息的并行分布式处理与存储；（3）可以多输入、多输出；）可以多输入、多输出；（4）便于用超大规模集成电路（）便于用超大规模集成电路（VISI）或光学集成）或光学集成电路系统实现，或用现有的计算机技术实现；电路系统实现，或用现有的计算机技术实现；（5）能进行学习，以适应环境的变化。）能进行学习，以适应环境的变化。

16、神经网络控制的研究领域神经网络控制的研究领域（1 1）基于神经网络的系统辨识基于神经网络的系统辨识 将将神神经经网网络络作作为为被被辨辨识识系系统统的的模模型型，可可在在已已知知常规模型结构的情况下，估计模型的参数。常规模型结构的情况下，估计模型的参数。利利用用神神经经网网络络的的线线性性、非非线线性性特特性性，可可建建立立线线性性、非非线线性性系系统统的的静静态态、动动态态、逆逆动动态态及及预预测测模模型，实现非线性系统的建模。型，实现非线性系统的建模。(2)(2)神经网络控制器神经网络控制器 神神经经网网络络作作为为实实时时控控制制系系统统的的控控制制器器，对对不不确确定定、不不确确知知系系统统及及扰扰动动进进行行有有效效的的控控制制，使使控控制系统达到所要求的动态、静态特性。制系统达到所要求的动态、静态特性。(3)(3)神经网络与其他算法相结合神经网络与其他算法相结合 将将神神经经网网络络与与专专家家系系统统、模模糊糊逻逻辑辑、遗遗传传算算法法等相结合，可设计新型智能控制系统。等相结合，可设计新型智能控制系统。(4)(4)优化计算优化计算 在在常常规规的的控控制制系系统统中中，常常遇遇到到求求解解约约束束优优化化问问题题，神神经经网网络络为为这这类类问问题题的的解解决决提提供供了有效的途径。了有效的途径。