数学建模-神经网络算法课件.ppt

数学建模经典算法陈旺虎神经网络与神经网络与神经网络算法神经网络算法学习目标拓宽视野感受神经网络算法的应用背景能够用神经网络算法解决一些简单问题不探究详细的理论基础内容安排人工神经网络简介人工神经网络的基本功能人工神经网络的发展历史人工神经网络的生物学基础M-P模型前馈神经网络单层感知器多层感知器BP算法BP网络应用案例（MATLAB计算）1.人工神经网络简介 生物神经网络生物神经网络 人类的大脑大约有人类的大脑大约有1.41011个神经细胞，亦称为神经元。个神经细胞，亦称为神经元。每个神经元有数以千计的通道同其它神经元广泛相互每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。连接，形成复杂的生物神经网络。人工神经网络人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经络进行抽象，并建立某种简化模型，就称为人工神经网络（网络（Artificial Neural Network，缩写，缩写 ANN）。）。对人类大脑系统的一阶特性的一种描述。对人类大脑系统的一阶特性的一种描述。（生理角度的模拟）（生理角度的模拟）基本原理基本原理存在一些输入和相应的输出，而对如何由输入得到输存在一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚出的机理并不清楚把输入与输出之间的未知过程看成是一个把输入与输出之间的未知过程看成是一个“网络网络”，通过不断地给这个网络输入和相应的输出来通过不断地给这个网络输入和相应的输出来“训练训练”这个网络，网络根据输入和输出不断地调节自己的各这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。节点之间的权值来满足输入和输出。当训练结束后，给定一个输入，网络便会根据已调节当训练结束后，给定一个输入，网络便会根据已调节好的权值计算出相应的输出。好的权值计算出相应的输出。严格定义严格定义ANN最典型的定义由最典型的定义由Simpson在在1987年提出年提出人人工工神神经经网网络络是是一一个个非非线线性性的的有有向向图图，图图中中含含有有可可以以通通过过改改变变权权大大小小来来存存放放模模式式的的加加权权边边，并并且且可可以以从从不不完整的或未知的输入找到模式。完整的或未知的输入找到模式。ANN算法算法根据人的认识过程而开发出的一种算法根据人的认识过程而开发出的一种算法2.人工神经网络的基本功能（1）联想记忆功能）联想记忆功能由于神经网络具有分布由于神经网络具有分布存储信息和并行计算的存储信息和并行计算的性能，因此它具有对外性能，因此它具有对外界刺激信息和输入模式界刺激信息和输入模式进行联想记忆的能力。进行联想记忆的能力。联想记忆有两种基本形联想记忆有两种基本形式式自联想记忆自联想记忆异联想记忆异联想记忆自联想记忆自联想记忆网络中预先存储（记忆网络中预先存储（记忆)多种模式信息多种模式信息当输入某个已存储模式的部分信息或带有噪声干扰的当输入某个已存储模式的部分信息或带有噪声干扰的信息时，网络能通过动态联想过程回忆起该模式的全信息时，网络能通过动态联想过程回忆起该模式的全部信息部信息异联想记忆异联想记忆网络中预先存储了多个模式对网络中预先存储了多个模式对每一对模式均由两部分组成，当输入某个模式对的一每一对模式均由两部分组成，当输入某个模式对的一部分时，即使输入信息是残缺的或迭加了噪声的，网部分时，即使输入信息是残缺的或迭加了噪声的，网络也能回忆起与其对应的另一部分络也能回忆起与其对应的另一部分不完整模式的自联想不完整模式的自联想神经网络通过预先存储信息和学习机制进行自适应训神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完练，可以从不完整的信息和噪声干扰中恢复原始的完整信息整信息这一能力使其在图象复原、图像和语音处理、模式识这一能力使其在图象复原、图像和语音处理、模式识别、分类等方面具有巨大的潜在应用价值别、分类等方面具有巨大的潜在应用价值2.人工神经网络的基本功能（续）（2）非线性映射功能）非线性映射功能非线性映射功能非线性映射功能在客观世界中，许多系统的输入与输出之间存在复杂在客观世界中，许多系统的输入与输出之间存在复杂的非线性关系，对于这类系统，往往很难用传统的数的非线性关系，对于这类系统，往往很难用传统的数理方法建立其数学模型。理方法建立其数学模型。设计合理的神经网络，通过对系统输入输出样本对进设计合理的神经网络，通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性行自动学习，能够以任意精度逼近任意复杂的非线性映射。映射。神经网络的这一优良性能使其可以作为多维非线性函神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。该模型的表达是非解析的，输入数的通用数学模型。该模型的表达是非解析的，输入输出数据之间的映射规则由神经网络在学习阶段自动输出数据之间的映射规则由神经网络在学习阶段自动抽取并分布式存储在网络的所有连接中。抽取并分布式存储在网络的所有连接中。具有非线性映射功能的神经网络应用十分广阔，几乎具有非线性映射功能的神经网络应用十分广阔，几乎涉及所有领域。涉及所有领域。2.人工神经网络的基本功能（续）（3）分类与识别功能）分类与识别功能分类与识别功能分类与识别功能神经网络对外界输入样本具有很强的识别与分类能力。神经网络对外界输入样本具有很强的识别与分类能力。对输入样本的分类实际上是在样本空间找出符合分类对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。要求的分割区域，每个区域内的样本属于一类。传统分类方法只适合解决同类相聚，异类分离的的识传统分类方法只适合解决同类相聚，异类分离的的识别与分类问题。别与分类问题。但客观世界中许多事物（例如，不同的图象、声音、但客观世界中许多事物（例如，不同的图象、声音、文字等等）在样本空间上的区域分割曲面是十分复杂文字等等）在样本空间上的区域分割曲面是十分复杂的，相近的样本可能属于不同的类，而远离的样本可的，相近的样本可能属于不同的类，而远离的样本可能同属一类。能同属一类。神经网络可以很好地解决对非线性曲面的逼近，因此神经网络可以很好地解决对非线性曲面的逼近，因此比传统的分类器具有更好的分类与识别能力。比传统的分类器具有更好的分类与识别能力。2.人工神经网络的基本功能（续）（4）优化计算功能）优化计算功能优化计算功能优化计算功能优化计算是指在已知的约束条件下，寻找一组参数组优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小值。合，使由该组合确定的目标函数达到最小值。某些类型的神经网络可以把待求解问题的可变参数设某些类型的神经网络可以把待求解问题的可变参数设计为网络的状态，将目标函数设计为网络的能量函数。计为网络的状态，将目标函数设计为网络的能量函数。神经网络经过动态演变过程达到稳定状态时对应的能神经网络经过动态演变过程达到稳定状态时对应的能量函数最小，从而其稳定状态就是问题的最优解。量函数最小，从而其稳定状态就是问题的最优解。这种优化计算不需要对目标函数求导，其结果是网络这种优化计算不需要对目标函数求导，其结果是网络自动给出的。自动给出的。2.人工神经网络的基本功能（续）（5）知识处理功能）知识处理功能知识处理功能知识处理功能知识是人们从客观世界的大量信息以及自身的实践中知识是人们从客观世界的大量信息以及自身的实践中总结归纳出来的经验、规则和判据。总结归纳出来的经验、规则和判据。神经网络获得知识的途径与人类似，也是从对象的输神经网络获得知识的途径与人类似，也是从对象的输入输出信息中抽取规律而获得关于对象的知识，并将入输出信息中抽取规律而获得关于对象的知识，并将知识分布在网络的连接中予以存储。知识分布在网络的连接中予以存储。神经网络的知识抽取能力使其能够在没有任何先验知神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征，发现规律，识的情况下自动从输入数据中提取特征，发现规律，并通过自组织过程将自身构建成适合于表达所发现的并通过自组织过程将自身构建成适合于表达所发现的规律。规律。另一方面，人的先验知识可以大大提高神经网络的知另一方面，人的先验知识可以大大提高神经网络的知识处理能力，两者相结合会使神经网络智能得到进一识处理能力，两者相结合会使神经网络智能得到进一步提升。步提升。神经网络的发展历程经过了神经网络的发展历程经过了4个阶段。个阶段。（1）启蒙期（启蒙期（1890-1969年）年）1890年，年，W.James发表专著发表专著心理学心理学，讨论了脑的结构和功能。，讨论了脑的结构和功能。1943年，心理学家年，心理学家W.S.McCulloch和数学家和数学家W.Pitts提出了描述脑提出了描述脑神经细胞动作的数学模型，即神经细胞动作的数学模型，即M-P模型（第一个神经网络模型）。模型（第一个神经网络模型）。1949年，心理学家年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。学习法则。1958年，年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（模型，即著名的感知机模型（Perceptron）。）。1962年，年，Widrow和和Hoff提出了自适应线性神经网络，即提出了自适应线性神经网络，即Adaline网网络，并提出了网络学习新知识的方法，即络，并提出了网络学习新知识的方法，即Widrow和和Hoff学习规则学习规则（即（即学习规则），并用电路进行了硬件设计。学习规则），并用电路进行了硬件设计。3.神经网络的发展历史3.神经网络的发展历史（续）（2）低潮期（低潮期（1969-1982）受当时神经网络理论研究水平的限制，以及冯受当时神经网络理论研究水平的限制，以及冯诺依诺依曼式计算机发展的冲击等因素的影响，神经网络的研曼式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。究陷入低谷。在美、日等国有少数学者继续着神经网络模型和学习在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法。算法的研究，提出了许多有意义的理论和方法。例如，例如，1969年，年，S.Groisberg和和A.Carpentet提出了至今为止提出了至今为止最复杂的最复杂的ART网络，该网络可以对任意复杂的二维模式进行自网络，该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。组织、自稳定和大规模并行处理。1972年，年，Kohonen提出了提出了自组织映射的自组织映射的SOM模型模型。3.神经网络的发展历史（续）（3）复兴期（复兴期（1982-1986）1982年，物理学家年，物理学家Hoppield提出了提出了Hoppield神经网络神经网络模型，该模型通过引入能量函数，实现了问题优化求模型，该模型通过引入能量函数，实现了问题优化求解，解，1984年他用此模型成功地解决了旅行商路径优化年他用此模型成功地解决了旅行商路径优化问题问题(TSP)。在在1986年，在年，在Rumelhart和和McCelland等出版等出版Parallel Distributed Processing一书，提出了一书，提出了一种著名的多层神经网络模型，即一种著名的多层神经网络模型，即BP网络。该网络是网络。该网络是迄今为止应用最普遍的神经网络。迄今为止应用最普遍的神经网络。3.神经网络的发展历史（续）（4）新连接机制时期（新连接机制时期（1986-现在）现在）神经网络从理论走向应用领域，出现了神经网络芯片神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。和神经计算机。神经网络主要应用领域有神经网络主要应用领域有模式识别与图象处理（语音、指纹、故障检测和图象压缩等）模式识别与图象处理（语音、指纹、故障检测和图象压缩等）控制与优化控制与优化预测与管理（市场预测、风险分析）预测与管理（市场预测、风险分析）等等神经生理学和神经解剖学的研究结果表明，神经元神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最是脑组织的基本单元，是人脑信息处理系统的最小单元小单元。4.人工神经网络的生物学基础1.神经元及其联接；2.神经元之间的联接强度决定信号传递的强弱；3.神经元之间的联接强度是可以随训练改变的；4.信号可以是起刺激作用的，也可以是起抑制作用的；5.一个神经元接受的信号的累积效果决定该神经元的状态；6.每个神经元可以有一个“阈值”4.1 生物神经元的信息处理机理生物神经元的信息处理机理（1）信息的产生）信息的产生 神经元间信息的产生、传递和处理是一种电化学活动。神经元间信息的产生、传递和处理是一种电化学活动。神经元状态神经元状态静息静息静息静息兴奋兴奋兴奋兴奋抑制抑制抑制抑制 膜电位膜电位极极极极 化化化化去极化去极化去极化去极化超极化超极化超极化超极化4.1 生物神经元的信息处理机理（续）生物神经元的信息处理机理（续）（2）信息的传递与接收）信息的传递与接收4.1 生物神经元的信息处理机理（续）生物神经元的信息处理机理（续）（3）信息的整合）信息的整合空间整合空间整合同一时刻产生的刺激所引起的膜电位变化，大致同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和等于各单独刺激引起的膜电位变化的代数和时间整合时间整合各输入脉冲抵达神经元的时间先后不一样。总的各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积突触后膜电位为一段时间内的累积4.2 神经元的人工模型神经元的人工模型 神经元及其突触是神经网络的基本器件。神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元因此，模拟生物神经网络应首先模拟生物神经元 人工神经元人工神经元(节点节点),从三个方面进行模拟从三个方面进行模拟:节点本身的信息处理能力节点本身的信息处理能力(数学模型数学模型)节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构)相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)决定人工神经网决定人工神经网络整体性能的三络整体性能的三大要素大要素 神经元的建模神经元的建模(1)(1)每个神经元都是一个多输入单输出的信息处理单元；每个神经元都是一个多输入单输出的信息处理单元；(2)(2)神经元输入分兴奋性输入和抑制性输入两种类型；神经元输入分兴奋性输入和抑制性输入两种类型；(6)(6)神经元本身神经元本身是非时变的是非时变的，即其突触时延和突触强度，即其突触时延和突触强度 均为常数。均为常数。(3)(3)神经元具有空间整合特性和阈值特性；神经元具有空间整合特性和阈值特性；(4)(4)神经元输入与输出间有神经元输入与输出间有固定的时滞固定的时滞,主要取决于突触延搁；主要取决于突触延搁；(5)(5)忽略忽略时间整合作用；时间整合作用；模型的六点假设：模型的六点假设：假设1：多输入单输出正如生物神经元有正如生物神经元有许多激励输入一样许多激励输入一样，人工神经元也应，人工神经元也应该有许多的输入信该有许多的输入信号号图中，每个输入的图中，每个输入的大小用确定数值大小用确定数值x xi i表示，它们同时输表示，它们同时输入神经元入神经元j j，神经神经元的单输出元的单输出用用o oj j表表示。示。假设2：输入类型兴奋性和抑制性生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图中，对神经元的每一个图中，对神经元的每一个输入都有一个加权系数输入都有一个加权系数w wijij，称为权重值，其正负模称为权重值，其正负模拟了生物神经元中突触的拟了生物神经元中突触的兴奋和抑制兴奋和抑制，其大小大小则代表了突触的不同连接强度。假设3：空间整合特性和阈值特性作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果图中，表示组合输入信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。神经元的输出图中，人工神经元的输出也同生物神经元一样仅有一个如，用oj表示神经元输出，则输出与输入之间的对应关系可用图中的某种非线性函数来表示。神经元模型示意图4.2.1 人工神经元的数学模型人工神经元的数学模型人工神经元模拟生物神经元的一阶特性，具有生物神经元人工神经元模拟生物神经元的一阶特性，具有生物神经元的六大特征的六大特征一个人工神经元一般有多个输入和一个输出一个人工神经元一般有多个输入和一个输出一个人工神经元有一个转移函数（激发函数），不同的转一个人工神经元有一个转移函数（激发函数），不同的转移函数对应了不同的网络，也决定了网络的用途移函数对应了不同的网络，也决定了网络的用途4.2.1 人工神经元的数学模型人工神经元的数学模型ij 输入输出间的突触时延；输入输出间的突触时延；Tj 神经元神经元j的阈值；的阈值；wij 神经元神经元i到到 j 的突触连接系数或称权重值；的突触连接系数或称权重值；f()神经元转移函数。神经元转移函数。(4.1)为简单起见，将4.1上式中的突触时延取为单位时间，则式(4.1)可写为4.2式。上式描述的神经元数学模型全面表达了神经元模型的6点假定。其中输入xi的下标i=1,2,n，输出oj的下标j体现了神经元模型假定(1)中的“多输入单输出”。权重值wij的正负体现了假定(2)中“突触的兴奋与抑制”。Tj代表假定(3)中神经元的“阈值”；“输入总和”常称为神经元在t时刻的净输入，用下面的式子表示：(4.2)(4.3)netnetj j=W Wj jT TX X W Wj j=(=(w1 w2 wn)T T X=X=(x1 x2 xn)T T 令令 x0=-1，w0=Tj 则有则有 -Tj=x0w0(4.4)4.2.1 人工神经元的数学模型（续）人工神经元的数学模型（续）4.2.1 人工神经元的数学模型（续）人工神经元的数学模型（续）netnetj j(t(t)体现了神经元体现了神经元j j的空间整合特性而未考虑时间的空间整合特性而未考虑时间整合，当整合，当netnetj j-T-Tj j00时，神经元才能被激活。时，神经元才能被激活。o oj j(t+1)(t+1)与与x xI I(t(t之间的单位时差代表所有神经元具有相同的、恒定的工之间的单位时差代表所有神经元具有相同的、恒定的工作节律，对应于假定作节律，对应于假定(4)(4)中的中的“突触延搁突触延搁”；w wijij与时间无与时间无关体现了假定关体现了假定(6)(6)中神经元的中神经元的“非时变非时变”。为简便起见，在后面用到式为简便起见，在后面用到式(2.3)(2.3)时，常将其中的时，常将其中的(t)(t)省略。省略。式式(2.3)(2.3)还可表示为权重向量还可表示为权重向量W Wj j和输入向量和输入向量X X的点积的点积W WT TX X。其。其中中W Wj j和和X X均为列向量，定义为均为列向量，定义为Wj=(w1 w2 wn）T，X=(x1 x2 xn)T如如果果令令x x0 0=-1-1，w w0 0=T Tj j，则则有有-T Tj j=x x0 0w w0 0，因因此此净净输输入入与与阈阈值值之之差可表达为差可表达为:(4.5)oj=f(netj)=f(W Wj jT TX X)(4.6)4.2.1 人工神经元的数学模型（续）人工神经元的数学模型（续）综合以上各式，神经元模型可简化为：综合以上各式，神经元模型可简化为：人工神经元的转移函数人工神经元的转移函数l神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。l神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。(1)阈值型转移函数 1 x0f(x)=(4.7)0 x0人工神经元的转移函数人工神经元的转移函数单位阶跃函数，也称为硬限幅函数(2)非线性转移函数人工神经元的转移函数人工神经元的转移函数非线性转移函数为实数域非线性转移函数为实数域R R到到0.10.1闭集的非减连续函数，闭集的非减连续函数，代表了状态连续型神经元模型。代表了状态连续型神经元模型。非线性转移函数称为非线性转移函数称为sigmoid sigmoid，简称，简称 S S型函数型函数 。特点是函数本身及其导数都是连续的，因而在处理上十分特点是函数本身及其导数都是连续的，因而在处理上十分方便。方便。S S型函数函数又分为单极性和双极性两种。型函数函数又分为单极性和双极性两种。(3)分段线性转移函数 0 x0f(x)=cx 0 0 xxc (4.9)1 xc x 人工神经元的转移函数人工神经元的转移函数l神经元的输入与输出在一定区间内满足线性关系，模拟了实际系统中的饱和特性l也称为伪线性函数(4)概率型转移函数温度参数温度参数人工神经元的转移函数人工神经元的转移函数采用概率型转移函数的神经元模型其输入与输出之间的关系是不采用概率型转移函数的神经元模型其输入与输出之间的关系是不确定的，需用一个随机函数来描述输出状态为确定的，需用一个随机函数来描述输出状态为1 1或为或为0 0的概率。的概率。上式中，上式中，T T称为温度参数。由于采用该转移函数的神经元输出状态称为温度参数。由于采用该转移函数的神经元输出状态分布与热力学中的玻尔兹曼（分布与热力学中的玻尔兹曼（BoltzmannBoltzmann）分布类似，因此这种神）分布类似，因此这种神经元模型也称为热力学模型。经元模型也称为热力学模型。4.2.2 神经网络模型神经网络模型分多层，层数根据实际需求设定：输入层、隐含层、输出分多层，层数根据实际需求设定：输入层、隐含层、输出层层层数越多越准确，计算时间越长层数越多越准确，计算时间越长人工神经元人工神经元图中的每个节点图中的每个节点人工神经网络模型分类人工神经网络模型分类按网络连接的拓扑结构分类按网络连接的拓扑结构分类层次型结构层次型结构互连型网络结构互连型网络结构按网络内部的信息流向分类按网络内部的信息流向分类前馈型网络前馈型网络反馈型网络反馈型网络（一）网络拓扑结构类型（一）网络拓扑结构类型层次型结构层次型结构将将神神经经元元按按功功能能分分成成若若干干层层，如如输输入入层层、中中间层（隐层）和输出层，各层顺序相连。间层（隐层）和输出层，各层顺序相连。互连型网络结构互连型网络结构网网络络中中任任意意两两个个节节点点之之间间都都可可能能存存在在连连接接路路径径.层次型网络模型层次型网络模型层次型结构的神经网络将神经元按功能分成若干层，如输入层、中间层（也称为隐层）和输出层，各层顺序相连。输输入入层层各神经元负责接收来自外界的输入信息，并传递给中间各隐层神经元；隐隐层层是神经网络的内部信息处理层，负责信息变换，根据信息变换能力的需要，隐层可为设计一层或多层；最后一个隐层传递到输出层各神经元的信息经进一步处理后即完成一次信息处理，由输输出出层层向外界输出信息处理结果。层次型网络结构有3种典型的结合方式。层次型模型层次型模型(1)(1)单纯型层次网络结构单纯型层次网络结构神经元分层排列，神经元分层排列，各层神经元接收前各层神经元接收前一层输入并输出到一层输入并输出到下一层；下一层；层内神经元自身以层内神经元自身以及神经元之间不存及神经元之间不存在连接通路。在连接通路。层次型模型层次型模型（2）输出层到输入层有连接）输出层到输入层有连接输入层神经元既输入层神经元既可接收输入，也可接收输入，也具有信息处理功具有信息处理功能能层次型模型层次型模型（3）层内有连接层次型结构）层内有连接层次型结构同一层内神经元同一层内神经元有互连；有互连；特点是在同一层特点是在同一层内引入神经元间内引入神经元间的侧向作用，使的侧向作用，使得能同时激活的得能同时激活的神经元个数可控，神经元个数可控，以实现各层神经以实现各层神经元的自组织。元的自组织。互联型网络结构互联型网络结构网络中任意两个节点之间都可能存在连接路径，因此可以根据网络中任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的互连程度将互连型网络结构细分为三种情况网络中节点的互连程度将互连型网络结构细分为三种情况：(1)(1)全互连型全互连型：网络中的每个节点均与所有其它节点连接网络中的每个节点均与所有其它节点连接互联型网络结构互联型网络结构（2 2）局部互连型网络结构）局部互连型网络结构网络中的每个节点网络中的每个节点只与其邻近的节点只与其邻近的节点有有 连接连接（3 3）稀疏连接型：稀疏连接型：网络中的节点只与少数网络中的节点只与少数相距较远的节点相连相距较远的节点相连 说明说明：神经网络的分层结构：神经网络的分层结构与激发函数一起决定了神经网络的不同与激发函数一起决定了神经网络的不同还可分为还可分为单级网单级网多级网多级网反馈网反馈网循环网循环网等等简单单级网简单单级网x1x2xno1o2omwnmw11w1mw2mwn1输出层输出层输入层输入层简单单简单单级网级网W=W=（w wijij）输出层的第输出层的第j j个神经元的网络输入记为个神经元的网络输入记为netnetj j：netnetj j=x=x1 1w w1j1j+x+x2 2w w2j2j+x xn nw wnjnj 其中其中,1 j m,1 j m。取取NET=NET=（netnet1 1，netnet2 2，netnetm m）NET=XWNET=XWO=FO=F（NETNET）单级横向反馈网单级横向反馈网输出层输出层x1o1w11w1mx2o2w2mxnomwn1输入层输入层V单级横向反馈网单级横向反馈网反馈权值矩阵反馈权值矩阵 ：V=V=（v vijij）神经元的网络输入：神经元的网络输入：NET=XW+OVNET=XW+OV网络输出：网络输出：O=FO=F（NETNET）反馈网中可以引入时间参数反馈网中可以引入时间参数神经元的状态在主时钟的控制下同步变化神经元的状态在主时钟的控制下同步变化NETNET（t+1t+1）=X=X（t t）W+OW+O（t t）V VO(t+1)=F(NET(t+1)O(t+1)=F(NET(t+1)O O（0 0）=0=0多级网多级网输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn层次划分层次划分 信号只被允许从较低层流向较高层。信号只被允许从较低层流向较高层。层层号号确确定定层层的的高高低低：层层号号较较小小者者，层层次次较较低低，层层号号较较大者，层次较高。大者，层次较高。输输入入层层：被被记记作作第第0 0层层。该该层层负负责责接接收收来来自自网网络络外外部部的的信息信息输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn多级网多级网第第j j层层：第第j-1j-1层层的的直直接接后后继继层层（j0j0），它它直直接接接接受受第第j-1j-1层层的输出。的输出。输输出出层层：它它是是网网络络的的最最后后一一层层，具具有有该该网网络络的的最最大大层层号号，负负责输出网络的计算结果。责输出网络的计算结果。隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号层不直接接受外界的信号，也不直接向外界发送信号输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn多级网多级网约定约定 :输出层的层号为该网络的层输出层的层号为该网络的层数：数：n n层网络，或层网络，或n n级网络。级网络。第第j-1j-1层层到到第第j j层层的的联联接接矩矩阵阵为为第第j j层层联联接接矩矩阵阵，输输出出层层对对应应的的矩矩阵阵叫叫输输出出层层联联接接矩矩阵阵。今今后后，在在需需要要的的时时候候，一一般般我我们们用用W W（j j）表表示示第第j j层层矩矩阵阵。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)多级网多级网多级网多级网h层网络层网络输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)多级网多级网非线性激活函数 F(X)=F(X)=kX+CkX+C每层的网络输出举例F F1 1(XW(XW(1)(1)F F3 3(F(F2 2(F(F1 1(XW(XW(1)(1)W)W(2)(2)W)W(3)(3)循环网循环网x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn循环网循环网将输出信号反馈到输入端将输出信号反馈到输入端输入的原始信号被逐步地输入的原始信号被逐步地“加强加强”、被、被“修复修复”符合大脑的符合大脑的短期记忆特征短期记忆特征看到的东西不是一下子就从脑海里消失的看到的东西不是一下子就从脑海里消失的网络的稳定性网络的稳定性反馈信号会引起网络输出的不断变化反馈信号会引起网络输出的不断变化我们希望这种变化逐渐减小，并且最后能消失我们希望这种变化逐渐减小，并且最后能消失当变化最后消失时，网络达到了平衡状态。如果这种变化不能消当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。失，则称该网络是不稳定的。（二）网络信息流向类型（二）网络信息流向类型前馈型网络前馈型网络前馈前馈:网络信息处理的方向是从输入层到各隐层再网络信息处理的方向是从输入层到各隐层再到输出层逐层进行到输出层逐层进行反馈型网络反馈型网络在反馈网络中所有节点都具有信息处理功能，而且在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外每个节点既可以从外界接收输入，同时又可以向外界输出。界输出。（二）网络信息流向类型（二）网络信息流向类型（1）前馈型网络）前馈型网络前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名单纯前馈型（上图）从信息处理能力看，网络中的节点可分为两种一种是输入节点，只负责从外界引入信息后向前传递给第一隐层；另一种是具有处理能力的节点，包括各隐层和输出层节点。前馈网络中一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。多层前馈网络可用一个有向无环路有向无环路的图表示输入层常记为网络的第一层，第一个隐层记为网络的第二层，其余类推。所以，当提到具有单层计算神经元的网络时，指的应是一个两层前馈网络（输入层和输出层）当提到具有单隐层的网络时，指的应是一个三层前馈网络（二）网络信息流向类型（二）网络信息流向类型（2）反馈型网络）反馈型网络在反馈网络中所有在反馈网络中所有节点都具有信息处节点都具有信息处理功能，而且每个理功能，而且每个节点既可以从外界节点既可以从外界接收输入，同时又接收输入，同时又可以向外界输出。可以向外界输出。单纯反馈型网络单纯反馈型网络单层全互连结构网络：单层全互连结构网络：是一种典型的反馈型网络，可以用上图所示的完全的无向图表示。注意上面介绍的分类方法、结构形式和信息流向只是对目前常见的网络结构的概括和抽象。实际应用的神经网络可能同时兼有其中一种或几种形式。例如，从连接形式看，层次网络中可能出现局部的互连；从信息流向看，前馈网络中可能出现局部反馈。4.2.3 神经网络学习神经网络学习 神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可神经网络的学习或训练，其本质是可变权值的动态调整变权值的动态调整。神经网络的学习方式是决定神经网络信息处理性能的第三大要素（神经网络研究的重点）。改变权值的规则称为学习规则或学习算法学习规则或学习算法（亦称训练规则或训练算法）。在单个处理单元层次，无论采用哪种学习规则进行调整，其算法都十分简单。但当大量处理单元集体进行权值调整时，网络就呈现出“智能”特性，其中有意义的信息就分布地存储在调节后的权值矩阵中。4.2.3 神经网络学习：分类神经网络学习：分类有导师学习有导师学习(有监督学习有监督学习)这种学习模式采用的是纠错规则。这种学习模式采用的是纠错规则。在学习训练过程中需要不断给网络成对提供一个输入在学习训练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为模式和一个期望网络正确输出的模式，称为“教师信教师信号号”。将神经网络的实际输出同期望输出进行比较，当网络将神经网络的实际输出同期望输出进行比较，当网络的输出与期望的教师信号不符时，根据差错的方向和的输出与期望的教师信号不符时，根据差错的方向和大小按一定的规则调整权值。大小按一定的规则调整权值。当网络对于各种给定的输入均能产生所期望的输出时，当网络对于各种给定的输入均能产生所期望的输出时，即认为网络已经在导师的训练下即认为网络已经在导师的训练下“学会学会”了训练数据了训练数据集中包含的知识和规则，可以用来进行工作了。集中包含的知识和规则，可以用来进行工作了。无导师学习无导师学习(无监督学习无监督学习)学习过程中，需要不断给网络提供动态输入信息，网学习过程中，需要不断给网络提供动态输入信息，网络能根据特有的内部结构和学习规则，在输入信息流络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程称为网络的自的功能和输入信息调整权值，这个过程称为网络的自组织组织其结果是使网络能对属于同一类的模式进行自动分类。其结果是使网络能对属于同一类的模式进行自动分类。在这种学习模式中，网络的权值调整不取决于外来教在这种学习模式中，网络的权值调整不取决于外来教师信号的影响，可以认为网络的学习评价标准隐含于师信号的影响，可以认为网络的学习评价标准隐含于网络的内部。网络的内部。死记式学习死记式学习是指网络事先设计成能记忆特别的例子，以后当给定是指网络事先设计成能记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。有关该例子的输入信息时，例子便被回忆起来。死记式学习中网络的权值一旦设计好了就不再变动，死记式学习中网络的权值一旦设计好了就不再变动，因此其学习是一次性的，而不是一个训练过程。因此其学习是一次性的，而不是一个训练过程。学习的过程（权值调整的一般情况学习的过程（权值调整的一般情况 ）4.2.3 神经网络学习神经网络学习5.M-P模型M-PM-P（McCullochMcCullochPittsPitts）模型，也称为处理单元（）模型，也称为处理单元（PEPE）x2 w2fo=f（net）xn wnnet=XWx1 w1输入：输入：X=X=（x x1 1，x x2 2，x xn n）联接权：联接权：W=W=（w w1 1，w w2 2，w wn n）T T网络输入：网络输入：net=net=x xi iw wi i=XW 输出：输出：o=fo=f（netnet）6.前馈神经网络1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，称为Perceptron，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递的层次型神经网络。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络研究起了重要推动作用。6.1 单层感知器单层感知器单层感知器的结构与功能都非常简单，以至于在解决实际问题时很少采用，但由于它在神经网络研究中具有重要意义，是研究其它网络的基础，而且较易学习和理解，适合于作为学习神经网络