智能控制理论教案3神经网络控制.ppt

主讲：范立南 沈阳大学信息工程学院智能控制理论及其应用第3章 神经网络控制3.1 神经网络的发展和应用神经网络的发展和应用3.2 神经网络的特性神经网络的特性3.3 生物神经元的结构与功能生物神经元的结构与功能 3.4 人工神经网络模型与变换函数人工神经网络模型与变换函数3.5 典型前馈神经网络典型前馈神经网络BP网络网络3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络3.7 神经网络控制原理神经网络控制原理3.8 神经网络的应用实例神经网络的应用实例第3章神经网络控制神经网络研究热潮的再度兴起，不仅仅是因为神经科学本身取得了巨大的进展，更主要的原因在于发展新型计算机和人工智能新途径的迫切需要神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点神经网络控制是一种基本上不依赖于模型不依赖于模型的控制方法适用于具有不确定性不确定性或高度非线性高度非线性的控制对象具有较强的适应适应和学习学习功能是智能控制智能控制的一个重要分支重要分支领域3.1 神经网络的神经网络的发展发展和应用和应用神经网络的研究至今有60多年的历史，其发展道路曲折，目前已得到较深入而广泛的研究与应用 1943年，心理学家McCulloch和数理学家Pitts提出形式神经元数学模型，通常称为MP模型1949年，D.O.Hebb提出调整神经网络连接权的规则（Hebb 学习规则）1958年，F.Rosenblatt提出感知机模型，用于模式分类3.1 神经网络的神经网络的发展发展和应用和应用1969年M.Minsky和S.Papert发表专著“感知机”，指出线性感知机功能有限70年代，神经网络研究处于低潮3.1 神经网络的神经网络的发展发展和应用和应用1982、1984年，美国物理学家J.J.Hopfield发表2篇文章，提出一种反馈互连网，称Hopfield网，开拓了神经网络用于联想记忆和优化计算的新途径 3.1 神经网络的神经网络的发展发展和应用和应用1986年，美国加州大学学者 D.E.Rumelhart（鲁梅尔哈特）和J.L.McClelland（麦克莱兰）提出多层前馈网的反向传播算法（Back Bropagation），简称BP网络或BP算法David Rumelhart James McClelland 3.1 神经网络的神经网络的发展发展和应用和应用1987年，在美国召开第1届国际神经网络会议1990年12月，国内首届神经网络大会在北京举行3.1 神经网络的神经网络的发展发展和应用和应用发展趋向及前沿问题 对智能和机器关系问题的认识将进一步增长 神经计算和进化计算将有重大的发展 神经网络结构和神经元芯片的作用将不断扩大 3.1 神经网络的发展和神经网络的发展和应用应用模式识别与图像处理模式识别与图像处理印刷体和手写体字符识别语音识别签字识别指纹识别人脸识别癌细胞检测心电图和脑电图分类目标检测与识别3.1 神经网络的发展和神经网络的发展和应用应用控制与优化控制与优化化工过程控制机械手运动控制电弧炉电极控制石油精练和食品工业中优化控制3.1 神经网络的发展和神经网络的发展和应用应用预测与管理预测与管理股票市场预测有价证券管理借贷风险分析信用卡管理机票管理3.1 神经网络的发展和神经网络的发展和应用应用通信通信自适应均衡路由选择其它其它导航电机故障检测多媒体技术等3.2 神经网络的特性神经网络的特性神经网络是受人和动物神经系统启发，利用大量简单处理单元互联互联而构成的复杂系统，以解决复杂模式识别与行为控制问题 人工神经网络是一种非线性的映射方式非线性的映射方式，它将输入的特征值映射到网络的输出分类结果，并可依照其分类的误差大小或某些能量函数来调整网络中的加权值使其达到收敛这些方法模仿人的生理学习功能，并能够将输入信息结合到分类规则中去 3.2 神经网络的特性神经网络的特性神经网络对于解决模式识别问题来说比其他方法具有3点突出的优势 对问题的了解要求较少 可以实现特征空间较复杂的划分 适合于用高速并行处理系统来实现 3.2 神经网络的特性神经网络的特性并行分布处理 神经网络具有高度的并行结构和并行实现能力，因而能够有较好的耐故障能力和较快的总体处理能力特别适于实时控制和动态控制 3.2 神经网络的特性神经网络的特性非线性映射 神经网络具有固有的非线性特性，这源于其近似任意非线性映射（变换）能力这一特性给非线性控制问题带来新的希望 3.2 神经网络的特性神经网络的特性通过训练进行学习 神经网络是通过所研究系统过去的数据记录进行训练的一个经过适当训练的神经网络具有归纳全部数据的能力因此，神经网络能够解决那些由数学模型或描述规则难以处理的控制过程问题 3.2 神经网络的特性神经网络的特性适应与集成 神经网络能够适应在线运行，并能同时进行定量和定性操作神经网络的强适应和信息融合能力使得网络过程可以同时输入大量不同的控制信号，解决输入信息间的互补和冗余问题，并实现信息集成和融合处理这些特性特别适于复杂、大规模和多变量系统的控制 3.2 神经网络的特性神经网络的特性硬件实现 神经网络不仅能够通过软件而且可借助硬件实现并行处理由超大规模集成电路实现的硬件已经面世这使得神经网络具有快速和大规模处理能力的网络3.2 神经网络的特性神经网络的特性总之，神经网络具有自学习自适应自组织大规模并行处理 等特点在自动控制领域展现了广阔的应用前景3.3 生物神经元的结构与功能生物神经元的结构 人脑是由大量的神经元(神经细胞)组合而成神经元之间互相连接神经系统的基本构造是神经元是处理人体内各部分之间相互信息传递的基本单元据神经生物学家研究的结果表明，人的大脑一般有10101012个神经元 3.3 生物神经元的结构与功能生物神经元的结构大多数神经元由一个细胞体和突两部分组成3.3 生物神经元的结构与功能生物神经元的结构3.3 生物神经元的结构与功能生物神经元的结构细胞体由细胞核、细胞质和细胞膜组成突分两类，即轴突和树突3.3 生物神经元的结构与功能生物神经元的结构轴突轴突是个突出部分，细胞体向外伸出的最长的最长的一条分支一条分支，即神经纤维，把本神经元的输出发送至其它相连接的神经元远离细胞体一侧的轴突端有许多分支，称轴突轴突末梢末梢轴突通过轴突末梢向其他神经元传出神经冲动3.3 生物神经元的结构与功能生物神经元的结构树突树突也是突出部分，但一般较短较短，且分枝很多，与其它神经元的轴突相连树突相当于细胞输入端，树突相当于细胞输入端，树突树突用于接收周围其它神经元的神经冲动（生物信号）神经冲动只能由前一级神经元的轴突末梢传向下一级神经元的树突或细胞体，不能作反向的传递轴突和树突共同作用，实现了神经元间的信息传递 3.3 生物神经元的结构与功能生物神经元的结构神经元具有两种常规工作状态：兴奋与抑制，即满足“01”率当传入的神经冲动使细胞膜电位升高超过阈超过阈值（约为值（约为40mv）时，细胞进入兴奋状态兴奋状态，产生神经冲动并由轴突输出当传入的神经冲动使膜电位下降低于阈值低于阈值时，细胞进入抑制状态抑制状态，没有神经冲动输出3.3 生物神经元的结构与功能生理神经元的功能 脑神经生理学研究结果表明，每个人脑大约含有10101012个神经元，每一神经元又约有103104个突触神经元通过突触形成的网络，传递神经元间的兴奋与抑制大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与思维 3.4 人工神经网络模型与变换函数人工神经网络(Artificial Neural Networks:ANN)是反映人脑结构及功能的一种抽象数学模型一个人工神经网络是由大量神经元结点互连而成的复杂网络，用以模拟人类进行知识的表示与存储以及利用知识进行推理的行为人工神经网络是由大量的简单计算处理单元(神经元)通过极其丰富和完善的连接而构成的自适应非线性动态系统3.4 人工神经网络模型与变换函数一个基于人工神经网络的智能系统是通过学习获取知识后建立的从本质上讲，人工神经网络的学习是一种归纳学习方式，它通过对大量实例的反复学习，由内部自适应过程不断修改各神经元之间互连的权值，最终使神经网络的权值分布收敛于一个稳定的范围神经网络的互连结构及各连接权值稳定分布就表示了经过学习获得的知识3.4 人工神经网络模型与变换函数人工神经元的组成人工神经元模型3.4 人工神经网络模型与变换函数人工神经元的组成神经网络在两个方面与人脑相似：（1）神经网络获取的知识是从外界环境中学习得来的（2）互连神经元的连接强度，即突触权值，用于储存获取的知识 用于完成学习过程的程序称为学习算法学习算法，其功能是以有序的方式改变网络的突触权值突触权值以获得想要的设计目标 3.4 人工神经网络模型与变换函数人工神经元的组成可把ANN看成是以处理单元为结点，用加权有向弧(链)相互连接而成的有向图其中，处理单元是对生物神经元的模拟，而有向弧则是轴突-突触（轴突末梢）-树突对的模拟有向弧的权值表示两处理单元间相互作用的强弱在简单的人工神经网络模型中，用权和乘法器模拟突触特性，用加法器模拟树突的互联作用，而且与阈值比较来模拟细胞体内电化学作用产生的开关特性3.4 人工神经网络模型与变换函数决定神经网络整体性能的三大要素 （1）神经元（信息处理单元）的特性 （2）神经元之间相互连接的形式拓扑结构 （3）为适应环境而改善性能的学习规则 3.4 人工神经网络模型与变换函数人工神经元的组成该神经元模型的输入输出关系为 其中 称为阈值 称为连接权系数 称为输出变换函数变换函数，或激励函数激励函数，或激活函数激活函数，或传递函数传递函数3.4 人工神经网络模型与变换函数常用的变换函数变换函数实际上是神经元模型的输出函数一般为非线性函数用以模拟神经细胞的兴奋、抑制及阈值等非线性特性经过加权加法器和线性动态系统进行时空整合的信号s，再经变换函数f(s)后即为神经元的输出y y=f(s)3.4 人工神经网络模型与变换函数常用的变换函数比例函数可微，不常用3.4 人工神经网络模型与变换函数常用的变换函数符号函数（双向阈值函数）不可微，类阶跃，零均值3.4 人工神经网络模型与变换函数常用的变换函数饱和函数可微，零均值3.4 人工神经网络模型与变换函数常用的变换函数双曲函数可微，类阶跃，零均值3.4 人工神经网络模型与变换函数常用的变换函数阶跃函数（阈值函数）不可微，类阶跃，正值3.4 人工神经网络模型与变换函数常用的变换函数S形（Sigmoid）函数可微，类阶跃，正值3.4 人工神经网络模型与变换函数常用的变换函数高斯函数可微，类脉冲3.4 人工神经网络模型与变换函数上述非线性变换函数的显著特征突变性饱和性正是为了模拟神经细胞兴奋过程中所产生的神经冲动以及疲劳等特性3.4 人工神经网络模型与变换函数人工神经网络结构将大量功能简单的基本神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，即神经网络结构网络结构一般由许多个神经元组成每个神经元有一个单一的输出输出可以连接到很多其他的神经元其输入有多个连接通路每个连接通路对应一个连接权系数3.4 人工神经网络模型与变换函数人工神经网络结构神经网络是一个具有如下性质的有向图对于每个结点有一个状态变量结点i到结点j有一个连接权系数对于每个结点有一个阈值对于每个结点定义一个变换函数 最常见的情形为3.4 人工神经网络模型与变换函数人工神经网络结构根据神经元之间连接的拓扑结构不同，神经网络结构可分为两大类层状结构网状结构层状结构层状结构的神经网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向连接，一般同层内的神经元不能连接网状结构网状结构的神经网络中，任何两个神经元之间都可能双向连接3.4 人工神经网络模型与变换函数人工神经网络结构常见的神经网络结构前向网络（前馈网络）3.4 人工神经网络模型与变换函数人工神经网络结构常见的神经网络结构反馈网络3.4 人工神经网络模型与变换函数人工神经网络结构常见的神经网络结构相互结合型网络3.4 人工神经网络模型与变换函数人工神经网络结构常见的神经网络结构混合型网络3.5 典型前馈神经网络典型前馈神经网络BP网络网络感知机（感知器）感知机（感知器）基本感知机是一个两层网络分为输入层和输出层每层由多个处理单元（神经元）构成3.5 典型前馈神经网络典型前馈神经网络BP网络网络感知机（感知器）感知机（感知器）感知机的学习是典型的有教师学习有教师学习（训练）训练要素训练要素：训练样本、训练规则当给定某一训练模式时，输出单元会产生一个实际的输出向量，用期望输出与实际输出之差修正网络权值3.5 典型前馈神经网络典型前馈神经网络BP网络网络感知机（感知器）感知机（感知器）权值修正采用学习规则学习规则，感知机的学习算法为 对于：式中：表示t时刻输出 表示输入向量的一个分量 表示t时刻第i个输入的加权值 表示阈值 表示变换函数3.5 典型前馈神经网络典型前馈神经网络BP网络网络感知机（感知器）感知机（感知器）式中：表示学习因子，在（0，1区间取值 表示期望输出（教师信号）表示实际输出3.5 典型前馈神经网络典型前馈神经网络BP网络网络感知机（感知器）感知机（感知器）令输入状态为：或0 因输入可能是前一级的输出，因此感知器输入与输出取值一般都为1或0 3.5 典型前馈神经网络典型前馈神经网络BP网络网络感知机（感知器）感知机（感知器）权值变化量与3个量个量有关：输入状态、输出误输入状态、输出误差、学习因子差、学习因子当且仅当输出单元有输出误差且相连输入状态为1时，修正权值，或增加一个量或减少一个量学习因子 控制每次的误差修正量 的取值一般不能太大，也不能太小，太大会影响学习的收敛性，太小会使权值收敛速度太慢，训练时间太长3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP网络模型网络模型BP模型，即误差反向传播神经网络BP在神经网络中使用最广泛BP网络是典型的多层网络分为输入层、隐含层、输出层层与层之间多采用全互连方式同一层单元之间不存在相互连接3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP网络模型网络模型BP网络的基本处理单元（输入层单元除外）为非线性输入输出关系，对于连续系统，一般选用S型变换函数，即 且处理单元的输入、输出值可连续变化3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP网络模型网络模型BP网络模型实现了多层网络学习的设想当给定网络的一个输入模式时，它由输入层传到隐含层单元，经隐含层单元逐层处理后再送到输出层单元，由输出层单元处理后产生一个输出模式，故称为前向传播前向传播如果输出响应与期望输出模式有误差，且不满足要求，则转入误差反向传播误差反向传播，即将误差值沿连接通路逐层向后传送，并修正各层连接权值3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP网络模型网络模型图给出了多层前向网络中的一部分，有两种信号在流通前向工作信号和反向误差信号3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP网络模型网络模型工作信号（用实线表示）工作信号（用实线表示）：是施加输入信号后向前传播直到输出层产生实际输出的信号，是输入和权值的函数误差信号（用虚线表示）：误差信号（用虚线表示）：网络实际输出与应有输出间的差值即为误差，由输出层开始逐层反向传播BP神经网络结构 3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法学习算法3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法学习算法权值和节点偏移（阈值）的初始化给定输入矢量和所希望的输出矢量计算实际输出矢量梯度计算 对输出层平方误差 其中 希望响应,实际响应,是输出层中的节点数为使误差函数最小化,与误差相对于权值的偏导数成比例地调整权值梯度下降法梯度下降法 其中 是步长，或称学习算子或学习率而 3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法学习算法得到 其中 而 则同理对隐层 3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法学习算法权值学习 即 改进算法 其中 变步长，阻尼系数(动量因子、惯性因子)回到直到求出最优解 3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法学习算法3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法学习算法从上述推导可见，求k层的误差信号需要后一层的，因此误差函数的求取是一个始于输出层的反向传播的递归过程，所以称为反向传播学习算法反向传播学习算法通过多个样本的学习，修正权值，不断减少误差，最后达到满意的结果，对全部学习样本都有误差为0，即权值W不再被修改，说明W已经收敛于稳定的权值分布，则学习过程中止3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法学习算法学习算法的中止条件学习算法的中止条件：实际上，中止条件可以设定宽松一些设定宽松一些，例如，可设定为满足以下两个条件之一即可中止：对全部学习样本满足输出偏差 ，其中 是初始设定的允许偏差迭代次数（训练次数）达到初始设定的最大迭代次数3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法学习算法BP算法程序框图3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法评价学习算法评价BP算法的算法的基本思想基本思想是把是把一组样本的输入输一组样本的输入输出问题出问题变为变为一个非线性优化问题一个非线性优化问题，用优化，用优化中普遍使用的中普遍使用的梯度下降算法梯度下降算法来实现网络的来实现网络的实际输出与期望输出之间的实际输出与期望输出之间的方差最小方差最小，完，完成神经网络的训练任务。成神经网络的训练任务。BP网络实质上是对任意非线性映射关系的一种逼近，由于采用的是全局逼近的方法，因而BP网络具有良好的泛化泛化能力3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法评价学习算法评价主要优点主要优点：非线性映射能力非线性映射能力能学习和存储大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。只要有足够多的隐含层和隐结点，BP网络可以逼近任意的非线性映射关系逼近任意的非线性映射关系3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法评价学习算法评价泛化能力泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。BP网络的学习算法属于全局逼近的方法，因而具有较好的泛化能力。较好的泛化能力。容错能力容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法评价学习算法评价适用于适用于神经网络主要基于所测量的数据对系统进行对系统进行建模、估计和逼近建模、估计和逼近，故可应用于如分类、预分类、预测及模式识别测及模式识别等方面对于那些几乎没有规则，数据不完全或者多约束优化问题，适合于用神经网络由于BP网络具有很好的逼近非线性映射的能力，因而可用于信息处理、图像识别、模型信息处理、图像识别、模型辨识、系统控制辨识、系统控制等3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法评价学习算法评价主要缺点主要缺点：收敛速度慢局部极值难以确定隐含层和隐结点的个数3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法评价学习算法评价当所给数据不充分或不存在可学习的映射关系时，神经网络可能找不到满意的解有时很难估价神经网络给出的结果神经网络中的连接权系数是千万次数据训练后的结果，对它的意义很难给出明显的解释，对输出结果的影响也是非常复杂的3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法评价学习算法评价神经网络的训练是很慢的，有时需要付出很高的代价付出代价指一方面由于需要收集、分析和处理大量的训练数据，同时还需相当的经验来选择合适的参数3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题产生数据样本集产生数据样本集包括原始数据的收集数据分析变量选择数据的预处理3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题产生数据样本集产生数据样本集在大量的原始测量数据大量的原始测量数据中确定最主要的输入模式，减少输入数据之间的相关性减少输入数据之间的相关性，找出最主要最主要的量作为输入的量作为输入确定输入量后，往往要进行尺度变换，尺度变换，变换到-1,1或0,1的范围进行数据预处理目的进行数据预处理目的是使神经网络更容易学习更容易学习和训练和训练数据预处理数据预处理主要用到信号处理信号处理或特征提取特征提取技术3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题在神经网络训练完成后，需要有另外的测试数据来对网络加以校验，测试数据应是独立测试数据应是独立的数据集合的数据集合例如：将收集到的可用数据随机分成两部分随机分成两部分，其中2/3用于网络的训练，另外1/3用于将来的测试，随机选取的目的是为了尽量减少这随机选取的目的是为了尽量减少这两部分数据的相关性两部分数据的相关性3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题确定网络的类型和结构确定网络的类型和结构根据问题的性质和任务的要求选择合适的网络类型网络类型在网络的类型确定后，剩下的问题是选择网络的结构网络的结构和参数参数3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题确定网络的类型和结构确定网络的类型和结构以BP网络为例，需选择网络的层数每层的结点数初始权值阈值学习算法数值修改频度结点变换函数及参数学习率动量项因子等参数3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题确定网络的类型和结构确定网络的类型和结构有些项的选择有一些指导原则一些指导原则，但更多的是靠经验经验和试凑试凑对于具体问题若输入和输出变量确定输入和输出变量确定后，网络输入层输入层和输出层输出层的结点个数也随之确结点个数也随之确定定3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题确定网络的类型和结构确定网络的类型和结构对于隐含层的层数层数可先考虑只选择一个隐含层隐含层结点数的选择原则隐含层结点数的选择原则是：在能正确反映输入输出关系的基础上，尽量选取较少的隐含层结点数，而使网络尽量简单若采用某种方法选择得到的隐含层结点数太多，可考虑采用两个隐含层为了达到相同的映射关系，采用两个隐含层的结点数常比只用一个隐含层时少3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题训练和测试训练和测试网络中的权值体现着把输入模式映射到网络所需的知识最初，被给定问题域的权值是未知的，直到找到有用权值之前，神经网络不能解决这个问题寻找有用权值集合的过程，称为训练训练训练首先提供训练样本（集合）训练样本（集合），由输入样本由输入样本和与之相对应的代表正确分类的输出组成和与之相对应的代表正确分类的输出组成3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题训练和测试训练和测试在训练过程中对训练样本数据需要反复地使用训练样本数据需要反复地使用对所有样本数据正向运行一次并反传修改连接权一次称为一次训练一次训练（或一次学习），这样的训练需要反复地进行下去直至获得合适的映射结果训练网络的目的在于找出蕴含在样本数据中的训练网络的目的在于找出蕴含在样本数据中的输入和输出之间的本质关系，从而对于未经训输入和输出之间的本质关系，从而对于未经训练的输入也能给出合适的输出，即具备泛化功练的输入也能给出合适的输出，即具备泛化功能能3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题训练和测试训练和测试网络训练过程包括从训练集合到权值集合的映射至少在给定误差内，该组权值对训练集矢量给出正确的输出结果网络所学正是训练集合所致如果合理选择训练集合，并且训练算法有效，那么，网络应能正确地预测出不属于训练集合的输入量对应的输出具有泛化能力具有泛化能力3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题训练和测试训练和测试网络的性能主要用泛化能力泛化能力来衡量，它并不是用对训练数据的拟合程度来衡量，而是要用一组独立的数据来加以测试和检验在用测试数据检验用测试数据检验时，保持连接权系数不改变，只用该数据作为网络的输入，正向运行该网络，检验输出的均方误差3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题训练和测试训练和测试把神经网络应用于模式识别问题包括两个截然不同的阶段在网络训练阶段训练阶段，调整网络权值以表现问题域第二阶段或称工作阶段工作阶段，权值固定不变，并且当把实验数据或实际数据输入到网络时，网络能够在误差范围内正确地预测计算出结果3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题训练阶段训练阶段3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题工作阶段（测试阶段）工作阶段（测试阶段）3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题训练和测试训练和测试实际操作时，可以训练和测试交替进行，即每训练一次，同时用测试数据测试一遍，画出均方误差随训练次数的变化曲线从误差曲线可见，在使用测试数据检验时，均方误差开始逐渐减少，当训练次数再增加时，测试检验误差反而增加误差曲线上极小点所对应的即为恰当的训练误差曲线上极小点所对应的即为恰当的训练次数次数，若再训练即为“过度训练”3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题均方误差曲线3.5 典型前馈神经网络典型前馈神经网络BP网络网络训练神经网络的具体步骤和几个问题训练神经网络的具体步骤和几个问题训练和测试训练和测试对于网络隐含层结点数的选择若采用试验法，也需训练与测试相结合，最终用测试误差来衡量网络的性能均方误差与隐含层结点数也有与图类似的关系，因此也不是结点数越多越好选择结点数的原则选择结点数的原则是：选择尽量少的结点数以实现尽量好的泛化能力模式识别框图 图像识别系统主要部分 图像信息的获取 信息的加工和处理，提取特征 判断或分类 BP应用举例基于BP神经网络的图像模糊分类研究神经网络训练与学习的预处理不变矩矢量标准化 实质是对输入矢量实行线性映射 特征转换为0,1之间 设图像不变矩输入矢量X X的最大值为 ，最小值为 ，则不变矩矢量标准化过程可描述为 BP应用举例基于BP神经网络的图像模糊分类研究以BP网络做模糊分类 使用模糊化的方法先对输入特征数据做预处理将得到的归属值代替目标输出，介于01之间的值每一个图像模式归属于某一类是以其0到1的数字代表其归属程度，其中1与0分别代表最高与最低的归属度 BP应用举例基于BP神经网络的图像模糊分类研究实现过程 选择BP网络的实际输出中具有最大值的输出节点所在的位置标号 则该位置标号对应一个具体的输出类别 如果BP网络的实际输出节点同时存在多个最大值，则做出拒绝判断 BP应用举例基于BP神经网络的图像模糊分类研究竞争选择BP神经网络的训练与识别 BP应用举例基于BP神经网络的图像模糊分类研究实验结果与分析实验对象选用不同脏器的10幅医学图像 BP应用举例基于BP神经网络的图像模糊分类研究v基于面矩的BP神经网络模式识别实验将每幅图像做多比例缩放和多角度旋转变化 训练集由原始尺寸、缩小一半、放大一倍并各自旋转0、90、180、270得到120幅图像组成 测试集由原始尺寸、缩小一半、放大一倍并各自旋转45、135、225、315得到120幅图像组成 训练集和测试集中的图像互不重叠训练集的样本结构为第1类别样本的12幅图像；第2类别样本的12幅图像；第10类别样本的12幅图像测试集的样本结构与训练集的相同 BP应用举例基于BP神经网络的图像模糊分类研究 实验结果与分析采用三层BP网络拓扑结构 输入层节点数7 隐含层节点数9 输出层节点数取10 实验结果与分析 标准化后的特征矢量(部分1)实验结果与分析 标准化后的特征矢量(部分2)实验结果与分析 训练集中经模糊化预处理后期望目标归属值输出(部分)实验结果与分析 测试集的实际目标输出值(部分)实验结果与分析 识别结果同一类别不同图像间的不变矩是相同或相近的不同类别的图像其不变矩特征有着比较明显的差异选择不变矩作为图像的识别特征是合理的 实验结果与分析 均方根误差曲线，趋于平稳时的均方根误差值为0.0692 实验结果与分析 3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络反馈神经网络（Feedback Neural Network）是一种动态网络动态网络，需要工作一段时间才能达到稳定该网络主要用于联想记忆和优化计算联想记忆和优化计算反馈神经网络首先由Hopfield提出，通常称为Hopfield网，引入“能量函数能量函数”概念，给出了神经网络稳定性的判断依据网络稳定性的判断依据根据网络的输出是离散量或是连续量，Hopfield网络也分为离散离散（1982年）和连续连续（1984年）两种3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络在反馈神经网络系统中，输入数据决定反馈网络系统的初始状态初始状态经过一系列状态转移后，如果系统能逐渐收敛于稳定状态稳定状态，那么这个稳定状态就是反馈神经网络经计算后的输出结果输出结果一个反馈神经网络是否收敛于稳定状态，网络稳定性稳定性问题是反馈神经网络的最重要问题最重要问题属于无教师学习：当输入的实例模式进入神经网络后，网络按预先设定的规则按预先设定的规则（Hebb）自动调整权值）自动调整权值3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络离散Hopfield神经网络（DHNN）是离散时间系统是一个单层网络共有n个神经元结点网络是全互连的每个结点输出均连接到其他神经元的输入所有其他神经元的输出均连到该神经元的输入3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络离散Hopfield神经网络结构3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络对每一个神经元结点，工作方式同前，即 其中 为阈值，为输出变换函数若 则相应的DHNN称为无自反馈的无自反馈的DHNN，否则，称为有自反馈的DHNN。后面讨论均为前者3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络对于离散Hopfield网络，通常取为二值函数二值函数 即 或3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络若反馈神经网络在k=0时有任意输入数据 ，从初态 开始，存在某一个有限时刻k，从k时刻之后的神经网络状态不再发生变化，即有 则称神经网络是稳定神经网络是稳定的k时刻的网络状态称为神经网络的稳定状态稳定状态，也就是神经网络的输出结果神经网络的输出结果只有只有当反馈神经网络是稳定稳定的，才能才能得出稳稳定的计算输出结果定的计算输出结果3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络qDHNN的稳定性与的稳定性与DHNN工作方式有关工作方式有关DHNN两种工作方式两种工作方式异步方式（串行方式）异步方式（串行方式）每次只有一个神经元结点进行状态的调整计算，其他结点的状态均保持不变，即 其调整次序可随机选定，也可按规定的次序进行3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络DHNN两种工作方式两种工作方式同步方式同步方式 所有的神经元结点同时调整状态，即其矩阵形式为其中：是向量W是由 所组成的 矩阵 是向量函数，它表示3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络该网络是动态反馈网络其输入输入是网络的状态初值初值输出输出是网络的稳定状态稳定状态3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络稳定性和吸引子稳定性和吸引子若将稳定与某种优化计算的目标函数相对应，并作为目标函数的极小点则初态朝稳态的收敛过程便是优化计算优化计算过程该优化计算优化计算是在网络演变过程中自动完成自动完成的定义定义：若网络的状态 满足 ，则称 为网络的稳定点稳定点或吸引子吸引子3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络关于关于DHNN的串行（异步）稳定性定理的串行（异步）稳定性定理定理（定理（Hopfield 定理）定理）：设N是一个n阶神经网络，则N由（W,）唯一定义。对于离散Hopfield 网络，若按异步方式异步方式调整状态，且W为一对称矩阵为一对称矩阵，（且W的对角线元素非负，即 ，注：对于无自反馈DHNN，），则对于任意初态，网络对于任意初态，网络都最终收敛到一个吸引子都最终收敛到一个吸引子（稳定状态）。3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络关于关于DHNN的并行（同步）稳定性定理的并行（同步）稳定性定理定理（定理（Hopfield 定理）定理）：对于离散Hopfield 网络，若按同步方式同步方式调整状态，且连接权矩阵W为非负定对称阵为非负定对称阵，（且W的对角线元素非负，即 ，注：对于无自反馈DHNN，），则对于任意初态，网对于任意初态，网络都最终收敛到一个吸引子络都最终收敛到一个吸引子（稳定状态）。3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络关于关于DHNN的并行（同步）稳定性定理的并行（同步）稳定性定理定理（定理（Goles定理）定理）：对于离散Hopfield 网络，若按同步方式同步方式调整状态，且连接权矩阵W为为对称阵对称阵，（且W的对角线元素非负，即 ，注：对于无自反馈DHNN，），则对于任意初态，网络都最终收敛到一个吸引对于任意初态，网络都最终收敛到一个吸引子子（稳定状态）或状态空间中长度小于等于状态空间中长度小于等于2的极限环的极限环。长度为2的极限环上的状态满足3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络若变换函数取符号函数，则稳定点（稳定状态、吸引子）应满足 或对于符号函数，一般可以取阈值 03.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络例例：网络只有两个节点，变换函数取符号函数，阈值 0。串行方式，W对称可见，W对称，则有稳定点对称，则有稳定点。网络有2个节点，共有4个状态，即（1，1）（1，1）（1，1）（1，1），按稳定点的判断方法，（1，1）（1，1）是稳定点3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络例例：网络有三个节点，权矩阵为3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络离散离散Hopfield网络网络W满足对称