《神经网络》PPT课件.ppt

神经网络控制电信学院周强电信学院周强第一章第一章 引引 言言人工神经网络的人工神经网络的简介简介人工神经网络的人工神经网络的发展历史发展历史人工神经元的人工神经元的模型模型人工神经网络的人工神经网络的结构与学习规则结构与学习规则人工神经网络的人工神经网络的应用应用1.1 人工神经网络的简介人工神经网络的简介人工神经网络（Artificial Neural Network，ANN）即，神经网络（Neural Network，NN）是由大量处理单元（神经元Neurons）互连而成 的网络，是对 人脑的抽象、简化和模拟（即智 能化），模仿人脑信息处理的功能。涉及神经科学、数学、统计学、计算机科学 的一门学科。神经网络属于控制科学的范畴。神经网络属于控制科学的范畴。经典控制现代控制理论大系统 和 智能控制1992年 世界数学家大会 神经网络 模糊控制 仿人控制 遗传算法 蚁群算法 内分泌算法 免疫算法智能控制神经网络：最早、理论性最强、最深奥；目前的研究已经饱和；笨办法；模糊控制：理论较简单，模糊数学 抽象出模糊化；应用很成功。由于其简化作用，特别适合在处 理能力有限的处理器中使用，家用电气、导弹；仿人控制：对成功经验的数学化和固化，范围有限遗传算法：对生物进化学的模仿，个体随机性和统计规律性 的结合，理论上很巧妙，但应用范围也有限，目 前仅仅适合于优化。特点：特点：*并行运算并行运算（每个神经元都在独立的运算）（每个神经元都在独立的运算）*自学自学习习能力很能力很强强 *非非线线性性处处理能力理能力（这这源于神源于神经经网网络络的每一的每一块块砖砖都是非都是非线线性的，如性的，如S型函数）型函数）因此，神经网络具有能力：因此，神经网络具有能力：1、获取信息、获取信息 2、储存信息。、储存信息。1.2 人工神经网络发展历史20世纪40年代开始，经历兴起、萧条、兴盛3个阶段。1、兴起阶段（、兴起阶段（1943-1970）1943 神经病学和神经解剖学家神经病学和神经解剖学家McCulloch 数学家数学家Pitts#在总结神经元一些生理特性的基础上，提出在总结神经元一些生理特性的基础上，提出 神经元的数学模型，神经元的数学模型，MP模型。模型。#证明了：数量众多的神经元网络可以能计算证明了：数量众多的神经元网络可以能计算 任何可计算的函数。任何可计算的函数。#NN的兴起，同时也是人工智能（Artificial Intelligence，AI）这一学科。1949年，生物学家 提出改变NN连接强度的Hebb规则。1957年，Neumann提出感知器（Perceptron）的概念，并于次年将神经网络首次应用于工程实践。感知器 可应用于模式识别和联想记忆等方面。1960年，年，Widrow和和Hoff引入最小均方差（引入最小均方差（Least Mean-Square，LMS）算法，用于阐述感知器与）算法，用于阐述感知器与自适应线性元件之间选练差异的标准。自适应线性元件之间选练差异的标准。2.萧条阶段萧条阶段 （1970-1980）导致十年低谷的原因包括：导致十年低谷的原因包括：1、技术上的：计、技术上的：计算机技术支持不够；算机技术支持不够；2、信心上的：资金悲观情绪、信心上的：资金悲观情绪 这个阶段的标志，这个阶段的标志，1969年麻省理工学院著名的人工年麻省理工学院著名的人工智能专家智能专家M.Minsky和和S.Papert共同出版了专著共同出版了专著感知器感知器指出单层感知器无法解决非线性问题，线性问题需要由多指出单层感知器无法解决非线性问题，线性问题需要由多层感知器来解决，而感知器模型扩展到多层是否有意义，层感知器来解决，而感知器模型扩展到多层是否有意义，尚不能从理论上得到证明。尚不能从理论上得到证明。当时计算机水平低，人们都去研究人工智能和专家系当时计算机水平低，人们都去研究人工智能和专家系统了。统了。这一时期的研究成果也不够显著、值得一提的是这一时期的研究成果也不够显著、值得一提的是1977年年Anderson等提出的黑箱脑状态等提出的黑箱脑状态(Brain-state-in-a-Box)模型。不必关心它的参数，只关心输入模型。不必关心它的参数，只关心输入-输出。输出。3 兴盛阶段（兴盛阶段（1980-1982年美国生物物理学家年美国生物物理学家Hophield提出反馈神经网络提出反馈神经网络(Hophield网络网络)，标志着兴盛阶段的到来。，标志着兴盛阶段的到来。1998年，Broom和Lowe提出了径向基神经网络（RBF）。径向基神经网络具有对训练样本具有预处理的能力。是对BP网络的一大进步。90年代初，支持向量基（）。径向基神经网络和支持向量基都会在本课程中介绍。神经网络的应用及研究方向理论研究分为：利用神经生理与认知科学研究大脑思维即智能机理；（作为大脑的仿真研究手段）利用神经科学基础理论的研究成果，用数理方法探索智能水平更高的人工神经网络模型，深入研究网络的算法与性能（稳定性、收敛性、容错性、鲁棒性等），开发新的网络数理理论（神经网络动力学、非线性神经场）。应用研究包括两类：应用研究包括两类：神经网络的软件模拟和硬件实现的研究；神经网络在各个领域中的应用研究，这些领域包括：模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等。1.3 1.3 人工神经元的模型人工神经元的模型生物神经元模型生物神经元模型结构特点：轴突（神经纤维）很长（输出冲动）、结构特点：轴突（神经纤维）很长（输出冲动）、树突接受冲动，突出连接者（体现出连接权值），细树突接受冲动，突出连接者（体现出连接权值），细胞膜内外有电位差（内高外低）胞膜内外有电位差（内高外低）40-100mV。工作：工作：突出转换（放大或缩小）神经冲动，由树突输入到细突出转换（放大或缩小）神经冲动，由树突输入到细胞膜，如果大于细胞膜电压，则使得细胞兴奋，产生胞膜，如果大于细胞膜电压，则使得细胞兴奋，产生神经冲动，由轴突输出。神经冲动，由轴突输出。1.3.1.3.人工神经元网络模型人工神经元网络模型输入信号是输入信号是xi，总输入为总输入为uibi是阈值是阈值,除了阈值输入为除了阈值输入为vif()是激励函数，是激励函数，yi是输出是输出常用的激励函数有种（）阈值函数（符号函数）可用于分类（）符号函数（）（）Sigmoid函数函数（）组合函数（）组合函数 *激励函数的选择：相似性与紧支撑原则。激励函数的选择：相似性与紧支撑原则。1.4 人工神经元网络的结构及学习规则 按网络结构分类：前向神经网络按网络结构分类：前向神经网络 反馈神经网络反馈神经网络 按学习方式分类：有导师神经网络按学习方式分类：有导师神经网络 无导师神经网络无导师神经网络 *一定一定的结构决定了一定的学习方式。的结构决定了一定的学习方式。人工神经元网络的结构人工神经元网络的结构 1.1.单层前向网络单层前向网络 定义：所谓单层前向网络是指网络中计定义：所谓单层前向网络是指网络中计算节点（神经元）只有一层。算节点（神经元）只有一层。见图见图1-51-5 上面的网络，只有输出层有计算能力。上面的网络，只有输出层有计算能力。2.2.多层前向神经网络多层前向神经网络 多层前向神经网含有一个或多个隐层，即至少多层前向神经网含有一个或多个隐层，即至少隐层和输出层都有运算能力。隐层和输出层都有运算能力。输出层神经元的工作：输出层神经元的工作：计算隐层各神经元输出的加权和。计算隐层各神经元输出的加权和。隐层神经元的工作：隐层神经元的工作：计算输入层各神经元输出的加权和；计算输入层各神经元输出的加权和；加权和加权和 -神经元阈值；神经元阈值；此值作为隐层神经元激励函数的输入产生的函数此值作为隐层神经元激励函数的输入产生的函数 值作为隐层输出。值作为隐层输出。3.3.反馈网络反馈网络 所谓反馈网络是指网络中至少含有一个反馈所谓反馈网络是指网络中至少含有一个反馈回路的神经网络。回路的神经网络。这是一个自反馈神经网络，这是一个自反馈神经网络，z-1是滞后环节。是滞后环节。4.4.随机神经网络随机神经网络 将随机运算引入到神经网络中，具体来说，神经元将随机运算引入到神经网络中，具体来说，神经元的运算是按概率原理进行的。下图中阈值是一个随机变的运算是按概率原理进行的。下图中阈值是一个随机变量量竞争神经网络 竞争神经网络的输出神经元相互竞争以确定竞争神经网络的输出神经元相互竞争以确定胜者，胜者指出那一种输出最能代表网络输出。胜者，胜者指出那一种输出最能代表网络输出。上图是一个最简单的竞争神经网络，上图是一个最简单的竞争神经网络，HammingHamming网络。网络。每个输出神经元都与输入节点全连结；每个输出神经元都与输入节点全连结；输出神经元之间全互连输出神经元之间全互连（用于相互比较）（用于相互比较）；最终，竞争获胜的胜者作为网络的输出。最终，竞争获胜的胜者作为网络的输出。1.4.2 1.4.2 神经网络的学习神经网络的学习 定义：定义：神经网络的学习又称为神经网络的学习又称为训练训练，是指神经网络根，是指神经网络根据环境的刺激作用自动调整据环境的刺激作用自动调整神经元连结权值和自身阈值神经元连结权值和自身阈值的过程。的过程。神经网络学习的方式：神经网络学习的方式：有教师学习有教师学习 无教师学习无教师学习有教师学习有教师学习 又称有监督学习（又称有监督学习（Surpervised Learning）训练样本训练样本 （输入（输入-输出），（输入输出），（输入-输出），输出），偏差偏差 =网络实际输出网络实际输出 -网络期望输出网络期望输出 权重改变量权重改变量WW=G(=G(偏差偏差 )W W(n+1)=(n+1)=W W(n)+(n)+WW 见图见图1-111-11无教师的学习无教师的学习 没有外部导师统观学习过程，而是提供一个网络质没有外部导师统观学习过程，而是提供一个网络质量的衡量标准。根据这个标准进行学习。量的衡量标准。根据这个标准进行学习。图图1-11 有教师的神经网络学习有教师的神经网络学习图图1-12 1-12 无教师神经网络实现滤波电路无教师神经网络实现滤波电路神经网络学习的方式：神经网络学习的方式：每每 个神经网络结构都对应着一种学习方式。下面介个神经网络结构都对应着一种学习方式。下面介绍绍5 5种主要的神经网络学习规则：种主要的神经网络学习规则：HebbHebb学习学习、纠错学纠错学习习、基于记忆的学习基于记忆的学习、随机学习随机学习、竞争学习竞争学习1 1 HebbHebb学习规则学习规则a)a)语言描述：语言描述：i i 如果一个突触如果一个突触W Wijij两边的神经元被同时激活，则它的能两边的神经元被同时激活，则它的能量（权重）就被选择性的加强；量（权重）就被选择性的加强；ii ii 如果一个突触两边的神经元被异步激活，则它的能量如果一个突触两边的神经元被异步激活，则它的能量（权重）就被选择性的消弱或消除。（权重）就被选择性的消弱或消除。Hebb规则的数学描述：WijWij表示神经元表示神经元xjxj到神经元到神经元xixi的突触权重的突触权重 神经元神经元xjxj在一段时间内的平均值在一段时间内的平均值 神经元神经元xixi在一段时间内的平均值在一段时间内的平均值在学习进行到第在学习进行到第N N步时，对权重的调整为步时，对权重的调整为式中，是正常数，称为学习速率或者步长。它就像PID算法中的比例系数（后面会讲道）。Hebb规则的工作过程的描述：情况1、神经元Xi、Xj活动充分，则 权值被加强了。情况情况2 2、神经元神经元XiXi、XjXj活动异步，则即活动异步，则即 之一的情况存在，权重之一的情况存在，权重WijWij显然小显然小于于0 0。权重。权重WijWij被减弱了被减弱了。2 纠错学习规则 又称为Delta规则 或 Widrow-Hoff规则。神经网络的输入神经网络的输入Xi(n)Xi(n)，产生实际输出，产生实际输出yi(n),yi(n),网络期望输出网络期望输出di(n),di(n),期望值和真实值之间偏差期望值和真实值之间偏差 要调整权值，以误差要调整权值，以误差e(n)e(n)最小为原则（才能使最小为原则（才能使得网络无差），为避免正负号的影响，采用得网络无差），为避免正负号的影响，采用e(n)e(n)的最小二乘值最小为性能指数的最小二乘值最小为性能指数 可以推出权值的调整为可以推出权值的调整为 每一步运算都会得到一个权值的修改量每一步运算都会得到一个权值的修改量用于修改权值用于修改权值反复次运算，就可以获得新的权值，它实际是一个矩阵，反复次运算，就可以获得新的权值，它实际是一个矩阵，例如，下面是一个例如，下面是一个3单元输入层，单元输入层，2单元输出层的神经网络。单元输出层的神经网络。因此，神经网络的运算（前向因此，神经网络的运算（前向工作、反向工作、反向学习）都是矩阵运算。学习）都是矩阵运算。3、基于记忆的学习规则、基于记忆的学习规则 基于记忆的学习规则主要用于模式分类，一种简单而有效的方法最近临域法。设存储器中所记忆的某一类l1含有向量 如果，下式成立 则Xtest属于l1类，上式采用了欧式距离的计算。4.随机学习规则随机学习规则 又称为Boltzmann学习规则，其实质是模拟退火（Simulated Annealing，SA）算法。5.竞争学习规则竞争学习规则 竞争学习中，神经元网络之间相互竞争，在竞争学习中，神经元网络之间相互竞争，在任任一一时刻。只能有一个输出神经元是活性的。时刻。只能有一个输出神经元是活性的。如果一个神经元网络输入如果一个神经元网络输入x,一个神经元一个神经元i在竞争在竞争中获胜（即输出大于其它神经元）则其输出为中获胜（即输出大于其它神经元）则其输出为1，其它为其它为0；与神经元与神经元i相连的权值为相连的权值为与神经元与神经元i相连的权值为相连的权值为01.5 1.5 人工神经元网络的应用人工神经元网络的应用 神经网络几乎能够应用到任何一个领域，仅就控制领域神经网络几乎能够应用到任何一个领域，仅就控制领域来说，有以下一些实例。来说，有以下一些实例。曲线拟合：曲线拟合：浓度传感器的浓度传感器的 浓度浓度-输出电压输出电压 的非线性关系的非线性关系神经网络控制 神经网络可以学习控制器（PID、模糊、大林等等），也可以是一个有经验的操作工人，完成人工智能控制。故障诊断破坏性试验 获得数据训练样本非线性软测量 软测量就是间接测量，利用温度计接触式测量温度是直接测量，利用光谱测量温度就是温度软测量。热电厂煤块粉碎尺寸的软测量热电厂煤块粉碎尺寸的软测量测量粉碎机中煤块的尺寸利用声音完成测量基于小波基于小波-神经网络的瓷坯泥内部应力分布的软测量神经网络的瓷坯泥内部应力分布的软测量压力差即压力梯度是内应力不均匀的反应陶瓷颗粒定向问题内部应力的分布与真空练泥机的机头内壁压力的关系内部应力的分布与真空练泥机的机头内壁压力的关系 轴向 径向 切向模式识别 如指纹识别 药方的配置黑箱问题：药物的种类 药量 陶瓷的性质 建立对应关系面部识别、虹膜识别、笔迹识别身份识别：身份识别：原始数据用于训练、学习；记忆。与新的图像数据进行相关分析。面部识别：通过训练能够抓住最主要的几个特征点。为什么个人能够在瞬间识别出人的身份，而现在的机器却要几十分钟。是因为抓主 要特征，而忽略细节。笔迹识别：是神经网络识别的成功事例。语音压缩、语音记忆、字符语音识别 隐层各个神经元具有正交性（独立性）、完备性。重新调整系数，使得系数数据量最小。进行语音记忆，所占用信息量最小。字符语音识别：相关性计算。金融领域的发现金融曲线的分析：金融曲线的分析：股票分析股票分析证券市场预测证券市场预测 市场预测市场预测 自动证券估计自动证券估计(11)纸张平滑度软测量 平滑度是评价平滑度是评价纸纸张表面凸凹程度的一个张表面凸凹程度的一个指标指标，它是粗糙度的对立概念。纸张的平滑度与它是粗糙度的对立概念。纸张的平滑度与印刷印刷油墨油墨在纸面上的均一转移密切相关。因此，对在纸面上的均一转移密切相关。因此，对印刷印刷用纸的平滑度测量十分必要。用纸的平滑度测量十分必要。Aguilar,J.R.,Arenas,J.P.and Salinas,R.Friction noise technique for the measurement of surface roughness of papersJ.Applied Acoustics,2009,70(9):1235-1240.纸张定量仪测量纸张定量过程纸张定量仪测量纸张定量过程 纸张定量测量值纸张定量测量值 基于纸张定量噪声基于纸张定量噪声STPS的纸张的纸张平滑度在线软测量系统框图平滑度在线软测量系统框图 第二章 单层前向网络及LMS学习算法主要内容单层感知器自适应线性元件LMS学习算法2.1 单层感知器单层感知器的模型单层感知器的运算单层感知器的运算 线性累加器：外部偏差：二值阈值元件：单层感知器的作用单层感知器的作用 对外部输入量x1,x2,xm进行识别分类,分成2类l1和l2。当感 知器输出1则认为外部输入量x1,x2,xN属于l1类；当感知器输出-1则认为外部输入量x1,x2,xN属于l2类；2个状态的分界线是 （2-1）也就是说，使（2-1）大于等于0的x1,x2,xN被识别为l1类，而使（2-1）大于等于0的x1,x2,xN被识别为l2类。这里（2-1）直线(j=2)、平面(j=3)、超平面(j3)。例例 一种只有2个外部输入量x1,x2的单层感知器。它的分界线是：可以在一个平面上画出这个单层感知器单层感知器的工作包括2部分：！学习（以确定边界线）!识别（判断输入量属于I1 I2)单层感知器的学习算法 单层感知器的学习就是确定边界的过程，也就是调整权值w1 w2 和阈值b的过程。输入向量：权值向量：其中，n代表迭带次数，阈值b可以用w0来表示，因此，公式(2-1)的2个状态的分界线可以表示为学习步骤：学习步骤：第一步第一步 定义变量和参数 训练样本=输入向量，期望输出=X(n),d(n)权值向量（包括阈值b(n)）W(n)=b(n),w1(n),w2(n),wN(n)实际输出y(n)n迭代次数，即第几步 是学习速率第二步第二步 初始化，W(n)=b(n),w1(n),w2(n),wN(n)是随机给出的，不过研究表明w1(n),w2(n),wN(n)是小随机数比较好。怎么好那？大的权值易出现“早熟”。第三步第三步 计算单层感知器输出（前向运算）计算单层感知器输出（前向运算）第四步第四步 调整感知器权值向量（反向运算）调整感知器权值向量（反向运算）第五步第五步 判断是否满足条件判断是否满足条件 若满足 则结束运算；否则n=n+1，转到第三步接续运算。说明：1 是一个给定的小正数；2 期望输出关于线性可分与线性不可分的问题线性可分的情况：通过学习可以获得边界条件线性不可分的情况：通过学习无法获得边界条件例题 用单层感知器实现“与”、“或”、“异或”的运算。2.2 自适应线性元件自适应线性元件与感知器同时被提出，也很相似显然，自适应线性元件与感知器有相当的功能。显然，自适应线性元件与感知器有相当的功能。自适应线性元件实现非线性可分有自适应线性元件实现非线性可分有2 2个办法。个办法。（1 1）给神经元施加非线性输入函数，见下图）给神经元施加非线性输入函数，见下图分界线为：分界线为：模拟输出为：模拟输出为：显然：有一些非线性的运算需要在输入前完成显然：有一些非线性的运算需要在输入前完成例题：（0.5，0.5）（0.6，0.8）（1，1）（2 2）多个自适应线性元件组合，见下图）多个自适应线性元件组合，见下图解决线性可分的2方法问题：问题：单层感知器与自适应线性元件的区别在那里？答：答：在于反馈变量不同，感知器返回与期望值相比较的是二进制输出yi,自适应线性元件的连续输出vi。2.3 LMS学习算法 感知器和自适应元件，都使用感知器和自适应元件，都使用LMSLMS学习算法调整权值。学习算法调整权值。LMSLMS学习算法也是基于学习算法也是基于纠错规则纠错规则的学习算法。的学习算法。LMSLMS学习算法的推导：学习算法的推导：n n时刻的误差：时刻的误差：误差的均方值：误差的均方值：由上由上2 2式得到：式得到：由上由上2式得到：式得到：为了使误差均方值尽快减小，令权值为了使误差均方值尽快减小，令权值沿着误差函数负沿着误差函数负梯度方向梯度方向改变改变LMS算法权值调整公式算法权值调整公式学习步长学习步长 对于对于LMS算法影响很大：算法影响很大：快速性；快速性；全局最优；全局最优；收敛性收敛性；数据数据存存储储量。量。LMS算法是一种迭代算法。LMS算法的学习速率LMS算法的学习曲线学习速率的退火算法 （一种变步长的学习算法）这里 是初始步长，随着时间坐标的变化而衰减，正如退火过程一样。3 仿真研究 第3章 多层前向网络及BP学习算法主要内容主要内容多层感知器多层感知器BPBP学习算法学习算法径向基网络径向基网络小脑神经网络小脑神经网络神经网络在控制领域中的应用神经网络在控制领域中的应用本章前言本章前言 单层感知器只能解决分类问题，在单层感知器的输入输出层之间添加隐含层，就得到了多层感知器（Multilayer Perceptron，MLP)。这种由输入层、隐含层（一层或多层）和输出层构成的网络成为多层前多层前向神经元网络（向神经元网络（Multilayer forward Neural Multilayer forward Neural Networks)Networks)。多层前向神经元网络中前一层神经元作为后一层的输入。本章介绍2种多层前向网络：多层感知器和径向基神经网络，详细介绍多层感知器的学习算法著名的误差反向传递算法(Back-Propation Algorithm,BP算法)及其改进算法，并将比较这2种算法。3.1 多层感知器 多层感知器能够解决单层感知器不能解决非线性问题。其结构如下图。输入层神经元的个数为输入信号的维数，输出层的个数是输入层神经元的个数为输入信号的维数，输出层的个数是输出信号的维数，隐层个数根据输入输出个数主要是对应输出信号的维数，隐层个数根据输入输出个数主要是对应关系的复杂程度而定，通常有关系的复杂程度而定，通常有2n+1原则作为隐神经元初原则作为隐神经元初始个数，而后再调整。始个数，而后再调整。多层感知器的特点：多层感知器的特点：1、引入了隐含层（简称隐层），外界无法接触到它。、引入了隐含层（简称隐层），外界无法接触到它。2、隐层的激励函数可以选用非线性函数，这对于整个神、隐层的激励函数可以选用非线性函数，这对于整个神经元网络的性质非常重要。经元网络的性质非常重要。3、BP算法是针对于多层感知器的算法，因此算法是针对于多层感知器的算法，因此多层感知器多层感知器又称为又称为BP网络。网络。正是因为多层感知器的这些特性，使得它是当前应用正是因为多层感知器的这些特性，使得它是当前应用最广泛的一种神经网络。最广泛的一种神经网络。隐层神经元的激励函数1 Sigmoid函数请求解s形函数的导数2 双正切函数它和Sigmoid函数形状相似，不过它具有正负双极输出，它可以被认为是被光滑的阶跃函数。3 Gaussian高斯函数 高斯函数有简化优化问题的特点，而神经网络的学习实质上是优化问题，所使用的梯度下降法，必然会带来收敛速度慢的问题，高斯函数可以改善此问题。4新激活函数 5 组合激活函数3.2 BP学习算法3.2.1 BP学习算法的描述BP学习算法分为正向传播和反向传播学习算法分为正向传播和反向传播2部分。部分。1）工作信号正向传播：）工作信号正向传播：权值不变，由输入信号产生输出信号。权值不变，由输入信号产生输出信号。2）误差信号反向传播：）误差信号反向传播：偏差信号（网络实际输出与偏差信号（网络实际输出与 期望输出的差）由输出端逐期望输出的差）由输出端逐 层向前传播，即误差信号反层向前传播，即误差信号反 向传播，这个过程网络权值向传播，这个过程网络权值 由误差反馈进行调节。由误差反馈进行调节。下面以2层神经网络为例推导BP算法上图的神经网络中：输入层：输入层：M个输入信号，任一个输入信号用m表示；第一隐层：第一隐层：I个神经元，任一个神经元用i来表示；第二隐层：第二隐层：J个神经元，任一个神经元用j来表示；输出层：输出层：P个神经元，任一个神经元用p来表示。各层的连接权值分别是Wmi Wij Wjp 神经元的输入和输出：上标表示层（M、I、J、P）下标表示神经元序号，u表示输入，v表示输出。所有的神经元都用Sigmoid函数。训练样本集 X=X1,X2,Xk,XN，其中任一个样本Xk=xk1,xk2,xkM,yk1,yk2,ykp,(k=1,2,N).实际输出 Yk=yk1,yk2,ykpT期望输出 dk=dk1,dk2,dkPTK为迭代次数。网络输入训练样本Xk,由信号正向传播过程可得 第一隐层 第二隐层 输出层 输出层第p个神经元误差信号为定义神经元p的误差能量为 ，则输出层所有神经元的误差能量总和为E(n)误差信号由后向前传递，传播过程中，逐层修改权值。下面是反向传播过程。1）隐层神经元与输出层神经元之间权值的修改 BP算法中权值的修改量W与误差对该权值的偏微分成正比，即这就是寻优方式中所谓的牛顿梯度法。它的思想见下图。也即Delta规则 这里反映了修改权重的依据是:通过调整权重使得误差的均方值减小。这里很难直接求出，E对wip(n)的导数。由下图可见，E和wip(n)之间通过 传递。它们的关系可以由下式表达。因此有其中则有 （3-0）可以简写为 更有意义，设其中 ，这里 是局部梯度局部梯度，反映了输出层神经元其输入对于偏差的影响。(3-1)Sigmoid函数 的导数是从而有因此代入（3-1），得到因此，第二隐层和输出层之间的网络权值改变量由网络实际输出和期望输出、实际输入就可以计算易于计算。最后2）隐含层与隐含层之间的权值修正值（3-1）中只有 未知 代入公式（3-1），得3）输入层M与第一隐层I之间的连接权值的调整 3.2.2 BP算法的学习步骤第一步 设置变量和参数：输入向量（训练样本）N是训练样本的个数。几组权值期望输出期望输出实际输出实际输出第二步第二步 初始化，赋给初始化，赋给 小随机非零数。小随机非零数。第三步（正向过程）第三步（正向过程）输入样本，获得网络实际输出，计算偏差。输入样本，获得网络实际输出，计算偏差。第四步第四步（反向过程）根据偏差反向计算每层神经元的局部偏差（反向过程）根据偏差反向计算每层神经元的局部偏差第五步第五步 计算权值的修正量，并获得新权值计算权值的修正量，并获得新权值第六部第六部 若所有的样本都用完了，结束；否则转到第三步。若所有的样本都用完了，结束；否则转到第三步。说明：说明：1）权值的初始化问题）权值的初始化问题 权值过大会影响学习速度，使用小随机数，随机范围权值过大会影响学习速度，使用小随机数，随机范围 这里这里F是输入层单元的个数。是输入层单元的个数。2)Sigmoid函数的取值范围函数的取值范围（0,1）,也就是说只能趋也就是说只能趋近近0和和1，因此对于因此对于 神经元输出期望值只能取神经元输出期望值只能取0.01和和0.99这样近似这样近似0和和1的数字。的数字。3）BP算法的算法的2种方式，种方式，顺序方式：顺序方式：一个一个样本的训练一个一个样本的训练批处理方式：待组成一个周期的全部样本都一次性输批处理方式：待组成一个周期的全部样本都一次性输 入网络后，以总的平均误差能量为修正入网络后，以总的平均误差能量为修正 目标，训练网络。目标，训练网络。4）步长）步长5）激励函数）激励函数6）训练结束条件）训练结束条件3.2.3 BP算法的改进 实际应用中的神经网络存在2个问题，收敛速度慢和目标函数存在局部极小点。因此必须改进。1)加入动量项加入动量项 真对于学习步长 缺少自适应性，难以同时满足收敛性和快速性的问题，加入动量项，即在原来(ID控制器)公式中加入动量项 公式成为 （3-3）分析动量项的作用，将（3-3）展开由以上公式迭代计算得：分析：可见在n时刻，不仅n时刻的调节量起作用，n-1,n-2,n-m 时刻的调节量仍然起作用，只是乘上权重这和控制中的这和控制中的ID控制器十分相似，公式控制器十分相似，公式中第一项是微分项，后面的都是微分积分项，对于偏差的存中第一项是微分项，后面的都是微分积分项，对于偏差的存在，积分项加强了调节作用，最大（假设所用的在，积分项加强了调节作用，最大（假设所用的 相同相同）可达）可达 。的取值范围（的取值范围（0，1），例如动量项取），例如动量项取0.9，则调节作用可增大到，则调节作用可增大到10倍。倍。在在E(n)减小后，经过若干步后，传递到动量项，调节量减小减小后，经过若干步后，传递到动量项，调节量减小(正负抵消），但有些滞后，显然这是动量项的一个缺点，会正负抵消），但有些滞后，显然这是动量项的一个缺点，会引起一定幅度的引起一定幅度的振荡（总会有小幅振荡）振荡（总会有小幅振荡），但很快会消除。，但很快会消除。动量项的动量项的另一种分析：另一种分析：从从Z变换结果可见，调节量是计算量的一阶惯性滤波，变换结果可见，调节量是计算量的一阶惯性滤波，对于被优化曲线的波动，使其平滑，易于实现优化。对于被优化曲线的波动，使其平滑，易于实现优化。不过一阶惯性也会破坏一定的快速性。不过一阶惯性也会破坏一定的快速性。2）弹性）弹性BP算法算法 S型函数常常被称为型函数常常被称为“压扁压扁”函数，它将正负无穷的输入函数，它将正负无穷的输入影射为（影射为（0，1）范围，在输入很大、很小时，斜率）范围，在输入很大、很小时，斜率几乎为几乎为0，我们知道权值的修改量与激励函数的导数有关，因，我们知道权值的修改量与激励函数的导数有关，因此此时权值修改几乎停顿下来。此此时权值修改几乎停顿下来。采用的方法，只提取偏差符号，若连续偏差同号，加大步长；采用的方法，只提取偏差符号，若连续偏差同号，加大步长；若出现变号，说明出现震荡，减小步长。若出现变号，说明出现震荡，减小步长。3.3 径向基网络 RBF历史：径向基函数(Radial Basis Function,RBF)是多维空间插值的传统技术，由Powell于1985年提出。1988年，Broomhead 和Lowe将RBF引入到神经网络的设计中，产生了RBF神经网络。1989年，Jackson论证了RBF网络对非线性的一致逼近性能。RBF网络结构：与BP网络类似，输入层、隐含层、输出层三层组成，其中隐含层的个数由问题的复杂程度及研究精度而定，隐层函数是对称衰减的非线性非负函数。RBF网络的基本思想：以径向基函数（RBF）作为隐单元的“基”，构成隐含层空间，将输入数据用隐含层的多维空间进行衡量，使得非线性的线性不可分问题转化为高维空间线性可分问题。这个思想和解耦方法、非线性系统方法一致这个思想和解耦方法、非线性系统方法一致RBF网络的优点：径向基函数（RBF）网络学习收敛速度快，能够逼近任意非线性函数。RBF网络的应用：径向基函数（RBF）网络广泛地应用于时间序列分析、模式识别和图像处理等领域。水分定量耦合关系经过解耦新的控制变量吸收了耦合关系解耦控制中的近似思想解耦控制中的近似思想非线性控制系统中的近似思想非线性控制系统中的近似思想无论是非线性关系还是耦合关系的存在都无法消除；所谓补偿只是对其进行了空间上的移动，移到了更易处理的区域（移入了计算机）3.1.1 RBF神经网络模型RBF网络有2种模型：正规化网络(Regularization Network)广义网络 (Generalized Network)1.正规化网络 正规化网络的隐单元的就是训练样本，所以正规化网络其隐单元的个数与训练样本的个数相同。假设训练样本个数有N个，如图3-8 图中输入层有M个神经元，m表示任一个；隐层有N个神经元，i表示任一个；输出层有J个神经元，j表示任一个；为隐层的“基函数”，它是第i个隐单元的激励输出。隐含层与输出层权值用 。设训练样本集 其中任一 训练样本 对应实际输出为期望输出当网络输入训练样本Xk时，网络第j个输出的实际输出为其中“基函数”一般选用格林函数更多的情况下，一般选用高斯函数（一种特殊的格林函数），式中，为高斯函数的中心，为方差。对于多维的高斯函数 可以表示为式中，是高斯函数的中心，高斯函数的方差。正规化网络是一个通用逼近器，只要隐单元足够多，它就可以逼近任意M元连续函数，且对任一未知的非线性函数out(.)，总存在一组权值使网络对该函数out(.)的逼近效果最好。正规化网络只是实际上难以体现RBF网络的优点。2.广义网络 正规化网络的训练样本Xi与“基函数”是一一对应的，当N很大时，网络的实现复杂，且求解网络权值时可能产生病态问题。为减少隐层神经元的个数，假设训练样本个数为N。广义网络输入、输出层数量未变，隐层数量减少（IN），第i个隐层神经元的激励输出为“基函数”，其中 ，为基函数的中心；输出层还设置了阈值 ，而令输出层与其连接权值为 。当网络输入训练样本Xk时，网络第j个神经元的实际输出为当“基函数”为高斯函数时，可如下表示式中，为高斯函数中心；为高斯函数方差。实际应用中，我们使用的都是广义的RBF网络。3.3.2 RBF网络的学习算法 RBF网络要学习的参数有三个：基函数中心、方差、隐含层与输出层间的权值。RBF网络有多种学习算法：随机选取中心法、自组织选取中心法自组织选取中心法、有监督选取中心法和正交最小二乘法。下面详细介绍自组织选取中心法。特点：中心和权值的确定分别独立进行。（1）学习中心 K-均值聚类算法学习过程：学习过程：(2)方差 中心一旦确定，方差也就固定。反映了数据的离散程度。(3)学习权值可以使用LMS算法，即几点注意：1)K均值聚类算法的终止条件是网络学完所有的训练样本 且中心分布不再变化；2）“基函数”除了选用高斯函数外，也常使用多二次函数多二次函数和逆逆多二次函数。多二次函数。它们都是中心点径向对称函数。多二次函数多二次函数 逆多二次函数逆多二次函数3.3.3 RBF网络与BP网络的比较1)RBF网络只有一个隐含层，BP网络则可以是一层或者是多层。2)BP网络是对非线性输入-输出关系的全局逼近，而RBF网络使用局部指数衰减的非线性函数（如高斯函数）对非线性输入-输出关系的局部逼近(局域性局域性）。也就是一段一段的逼近 显然，RBF网络所使用的神经元 及 耗费计算量要比BP网络少很多。3.4 小脑模型连接控制器（CMAC）网络原理：从小脑活动只获取启发1）小脑从各种传感器获得信号、反馈和命令，构成地址，地址 的内容形成各种动作 一种查表工作方式。2）输出的动作只限制在最活跃神经中的一个小子集，绝大多数 神经元都受到抑制。网络逼近功能：前面所介绍的前馈都可以看为输入输出之间的映射。调整网络结构和网络的权连接系数，影射可以达到期望的程度。这就是网络的逼近能力。这就是网络的逼近能力。全局逼近网络：如果网络的权连接系数或自适应可调参数在输入空间的每一个点对任何一个输出都有影响。该网络为全局逼近。对每个输入输出数据对，网络的每个权连接系数均需要进行调整。这一点带来的问题网络 的学习速度非常慢学习速度非常慢；前面所学习的前馈网络合反馈网络大多属于全局逼近型网络。局部逼近网络：对输入空间某局部区域，只有几个权连接系数影响网络的输出。对于输入输出数据对只要少量几个权连接系数需要进行调整。CMAC小脑模型连接控制器、B样条、RBF、模糊神经网络都是局部逼近网络。全局网络和局部网络示意图全局网络和局部网络示意图耦合与解耦耦合与解耦CMAC结构原理4部分组成输入空间相联空间输出空间CMAC工作原理以逼近函数关系为例CMAC所要逼近的函数影射关系为 y=f(x)其中实现二个映射输入状态空间n维相联存贮空间m维s:x Ap:A P输出状态空间r维S:xA,即=S(x),这里对进行关注P:Ay，即y=P()=W非线性体现在什么地方哪