神经网络在模糊控制中应用.ppt
第四章 神经网络基本理论,人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。,人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。,6.1 神经网络的基本原理 神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。,神经网络的基本特征与功能,结构特征：并行式处理分布式存储容错性,能力特征：自学习自组织自适应性,非线性映射功能,分类与识别功能,6,人类大脑大约包含有1.41011个神经元，每个神经元与大约103105个其它神经元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。,6.1.2 神经元的生理结构,神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最小单元。,1 神经元的生理结构,1生物神经元的结构,生物神经元在结构上由 细胞体(Cell body) 树突(Dendrite) 轴突(Axon) 突触(Synapse) 四部分组成。用来完成神经元间信息的接收、传递和处理。,4.1 人工神经元模型,人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。,生物神经元模型,生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超过某个阈值，神经元将产生冲动。,人工神经元模型,模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型,x1,xnT为输入向量，y为输出，f(·)为激发函数，为阈值。 Wi为神经元与其它神经元的连接强度，也称权值。,6.1.3 神经元的数学模型,4.1 人工神经元模型,常用的激发函数f 的种类 ：,1）阈值型函数,4.1 人工神经元模型,2）分段线性函数,3）双曲函数,4.1 人工神经元模型,4）S型函数,5）高斯函数,6.1.4 人工神经网络模型,神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。,定义,特点,（1）非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。（2）自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。（3） 并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。（5）便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。,1 感知器模型,感知器(Perceptron)是由美国学者F.Rosenblatt于1957年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。,激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否则为0或-1。它的权系W可变，这样它就可以学习。,感知器的结构,4.3 感知器模型,感知器的学习算法,为方便起见，将阈值(它也同样需要学习)并入W中，令Wn+1=-，X向量也相应地增加一个分量xn+1=1，则,学习算法：, 给定初始值：赋给Wi(0)各一个较小的随机非零值，这里Wi(t)为t时刻第i个输入的权(1in)，Wn+1(t)为t时刻的阈值；, 输入一样本X=(xi,xn,1)和它的希望输出d；, 计算实际输出, 修正权W ： Wi(t+1)=Wi(t)+d-Y(t)xi, i=1,2,n+1, 转到直到W对一切样本均稳定不变为止。,根据某样本训练时，均方差随训练次数的收敛情况,构成,从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。 状态方程描述每个神经元的输入、输出、权值间的函数关系。 学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输入输出关系。,分类,（1）从结构上划分,通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构上来说，主要分为层状和网状结构。,4.4 神经网络的构成和分类,层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内神经元不能联接。,前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每个神经元从前一层接收输入，发送输出给下一层。,网状结构：网络中任何两个神经元之间都可能双向联接。,反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。,混合型网络：前向网络的同一层神经元之间有互联的网络。,（2）从激发函数的类型上划分,高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等,（3）从网络的学习方式上划分,有导师学习神经网络为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼近样本数据的输入输出关系。无导师学习神经网络不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提取出来。,（4）从学习算法上来划分：,基于BP算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。,6.1.6 BP型神经网络 原理简介,最早由werbos在1974年提出的，1985年由Rumelhart再次进行发展。,多层前向神经网络的结构,多层前向神经网络由输入层、隐层（不少于1层）、输出层组成，信号沿输入>输出的方向逐层传递。,沿信息的传播方向，给出网络的状态方程，用Inj(i)， Outj(i)表示第i层第j个神经元的输入和输出，则各层的输入输出关系可描述为：,第一层（输入层）：将输入引入网络,第二层（隐层）,第三层（输出层）,网络的学习,学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可能接近期望的输出。,假设有M个样本:,将第k个样本Xk输入网络，得到的网络输出为,定义学习的目标函数为 ：,为使目标函数最小，训练算法是：,令,则,学习的步骤：,（3）计算,（4）计算,如果样本数少，则学习知识不够；如果样本多，则需计算更多的dJk/dw, ，训练时间长。可采用随机学习法每次以样本中随机选取几个样本，计算 dJk/dw, ，调整权值。,例4.1 多层前向BP网络训练,训练样本SISO：SampleInput=0 0.1 0.2 0.3 0.4;SampleOutput=4 2 2 2 2;,网络结构：,网络输入输出关系：,需训练的量：,训练算法：,训练初始参数：,W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;,训练后参数：,W1-0.4059 8.5182 -0.5994 -0.1153 -1.1916;W2=0.6245 2.8382 0.6632 0.5783 3.5775;Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;Theta=1.5832 0.1900 1.5406 1.6665 -0.1441;,训练1000次目标函数的变化曲线：,训练结束后神经网络的输出与样本的拟和情况,前向网络进一步需研究的问题,局部最优问题，（网络初值选取不恰当）。学习算法收敛速度慢，Sigmaid函数本身存在无穷多闪导数，而BP算法只用了一次导数，致使收敛速度慢。网络的运行是单向传播，没有反馈，是一个非浅性映射，而不是非浅性动力系统。网络隐层节点个数和初始权值的选取，尚无理论指导。,4.5 大脑自组织神经网络,是一种无导师学习的网络,脑神经科学研究表明：传递感觉的神经元排列是按某种规律有序进行的，这种排列往往反映所感受的外部刺激的某些物理特征。,大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的有序排列,在这种网络中，输出节点与其邻域其他节点广泛相连，并互相激励。输入节点和输出节点之间通过强度wij(t)相连接。通过某种规则，不断地调整wij(t)，使得在稳定时，每一邻域的所有节点对某种输入具有类似的输出，并且这种聚类的概率分布与输入模式的概率分布相接近。,4.5 大脑自组织神经网络,自组织学习算法：,权值初始化并选定领域的大小；,(2) 输入模式；,(3) 计算空间距离,式中xi(t)是t时刻i节点的输入，wij(t)是输入节点i与输出节点j 的连接强度，N为输入节点的数目；,(4) 选择节点j*，它满足,(5) 按下式改变j*和其领域节点的连接强度 wij(t+1)= wij(t)+(t)xi(t)- wij(t), jj*的领域，0iN-1 式中(t)称之为衰减因子。,(6) 返回到第(2)步，直至满足xi(t)- wij(t)2(为给定的误差)。,4.5 大脑自组织神经网络,例4.2 大脑自组织网络的训练,输入模式：Xx1,x2,x3网络节点数量：9 邻域：1网络初始权值：W= 0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.5692 0.0877 0.3025;,4.5 大脑自组织神经网络,1. 单模式训练情况,输入为：X=0 0 1结果：W= 0.1122 0.0000 0.0000 0.0000 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.0000 0.0000 0.0000 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 1.0000 1.0000 1.0000 0.8045 0.3939 0.5692 0.0877 0.3025,输入为：X=0 1 0结果：W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.0000 0.0000 0.0000 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 1.0000 1.0000 1.0000 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.0000 0.0000 0.0000,4.5 大脑自组织神经网络,2. 多模式训练情况,训练结果：,W,网络输出：,Output=Input*W=,模式1,模式2,模式3,模式2,模式1,模式3,模式1,模式2,模式3,6.2 模糊神经网络,模糊神经网络，利用神经网络来实现模糊推理。1）使网络的结构和权值具有了明确的物理意义，网络的结构设计和权值的初始化都有了理论的根据，避免了网络陷入局部最优。2）可以利用神经网络的学习能力来调整模糊控制的控制规则和模糊化的方式，使模糊控制具有了一定的自适应能力。3）模糊神经网络将定性的知识表达和定量的数值运算很好地结合了起来，具有很好的控制效果,第1层（输入层）：将输入（系统误差，误差变化率）引入网络：,第2层（模糊化层）：对输入进行模糊化。假设在每个输入论域上定义3个模糊语言词集N，Z，P=“负”，“零”，“正”，隶属函数采用高斯基函数，与N，Z，P对应的中心值分别为-1，0，1，宽度为0.5，0.5，0.5。隶属函数的形状与分布如图所示。,第3层（模糊推理）：代表“and”操作，在此网络中用乘法代替取小运算,第4层代表去模糊化过程，在这里采用权值平均判决法。,wij为网络的权值，其物理意义是各控制规则的输出对应的语言词集的中心值。,学习仍采用BP算法，定义目标函数,则,6.3 用自适应神经模糊系统建立FIS6.3.1 ANFIS图形用户界面简介1.ANFIS编辑器的调出2.相减聚类法3.四个编辑器的功能和用法,6.3.2 用ANFIS建立FIS的步骤设计Sugeno模糊系统1.打开Anfis编辑器界面2.将训练、测试或校核数据装入Anfis编辑器3.生成初始FIS4.训练初始FIS,图形区,装载数据,生成 初始FIS,训练FIS,测试FIS,图6-10 Anfis编辑器界面,菜单条,系统结构状态显示,删除数据,数据处理彩单,6.3.3 用ANFIS建立FIS举例1.将实测数据送入MATLAB工作空间2.调出ANFIS编辑器3.将实测数据装入anfis。4.生成初始FIS5.对初始FIS进行训练6.训练后的FIS,用ANFIS建立FIS举例,把表4-4中的希腊字母x、和改为英文字母x、y、u，对应关系是：xx、y、u。按照表4-4中的数据，在MATLAB主窗口键入x、y、u的数据：x =1.00 1.95 2.88 . 9.81 9.88 9.91; y=0.00 9.37 18.23 . 86.72 88.34 89.44; u=-19.00 -14.95 16.90 .-3.25 -2.20 0.00;abc=x y u （指令中“.”表示省略显示的数据，实际录入时不得省略）,采用默认选项：“和取”为“prod”；“清晰化”方法为“wtaver”。,用上面得出的系统模糊规则，可推得表6-3，其数据与表4-4基本符合,
