神经网络第四章精品文稿.ppt

《神经网络第四章精品文稿.ppt》由会员分享，可在线阅读，更多相关《神经网络第四章精品文稿.ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经网络第四章第1页，本讲稿共52页第第4章章反向传播网络反向传播网络反向传播网络也称为BP(BackPropagation)网络，采用推广的W-H学习规则-BP算法BP网络的主要用途：网络的主要用途：1.函数逼近2.模式识别3.分类4.数据压缩：在人工神经网络的实际应用中，绝大多数的网络模型都是BP网络及其变化形式。第2页，本讲稿共52页1BP网络模型与结构BP网络模型网络模型输入层隐层输出层第3页，本讲稿共52页1BP网络模型与结构BP网络的激活函数一定要可微多数情况下，隐层为S型，输出层为线性。输入与输出关系要求：非线性、光滑、取值连续，分类精确网络误差测定第p个样本的误差测度网络关于整

2、个样本集的误差测度,第4页，本讲稿共52页1BP网络模型与结构权值与偏差：隐层输出层，第5页，本讲稿共52页1BP网络模型与结构一组输入与输出多组输入与输出，第6页，本讲稿共52页关系表达式：1.输入向量、输出向量的维数、网络隐藏层的层数和 各个隐藏层神经元的个数的决定。2.BP网很多都选用二级网络。1BP网络模型与结构第7页，本讲稿共52页2BP学习规则是有指导训练的前馈多层网络训练算法，靠调节各层的加权，使网络学会由输入输出对组成的训练组。类似于感知器中线性单元和非线性单元的训练算法，执行优化的基本方法是梯度下降法。求多元函数的U(x1,x2,xn)的极小值：若出发点是M0=(x10,x2

3、0,xn0),则自变量按如下规则改变：，第8页，本讲稿共52页2BP学习规则 BP算法的主要思想：通过引入误差函数，对于学习样本P及目标输出T，利用梯度下降法来调整权值W和B，使网络的实际输出A与T尽可能接近，而使误差尽量达到最小。其过程是用输出层的误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程 BP算法从形式上看，分为两个计算过程：1信息的正向传递；2.调整W和B的误差反向传播第9页，本讲稿共52页2BP学习规则1.信息的正向传递隐

4、层中第i个神经元输出：输出层中第k个神经元输出：第10页，本讲稿共52页2BP学习规则误差函数一组输入情形：其中，第11页，本讲稿共52页2BP学习规则q组输入情形：第12页，本讲稿共52页2BP学习规则2.误差反向传播 输出层权值、偏差的调整因为故由最速下降法，得权值改变量：第13页，本讲稿共52页2BP学习规则偏差改变量：其中 隐层权值、偏差的调整因为第14页，本讲稿共52页2BP学习规则故由最速下降法，得其中第15页，本讲稿共52页3误差反向传播的流程图与图形解释第16页，本讲稿共52页3误差反向传播的流程图与图形解释S型激活函数1（0,0.5）n（0,0）o0.5f(n)0.25o01

5、第17页，本讲稿共52页4BP网络的训练及其设计过程设计Bp网络的结构包括以下内容：网络的层数，每层神经元数，每层的激活函数等BP网络的训练步骤：1）初始化每层权值和偏差，期望误差，最大循环次数，学习率等2）建立多层前向网络函数newcf.m或newff.m，格式如下：net=newcf(minmax(P),5,1,tansigpurelin,traingd);3)训练net=train(net,P,T)第18页，本讲稿共52页4BP网络的训练及其设计过程例4.1用于函数逼近的BP网络的设计。迭代次数：经过4000-7000次训练成功，误差小于给定的门限误差0.02。误差变化图：逼近曲线效果良

6、好结论：二层BP网络可很好地逼近非线性函数。第19页，本讲稿共52页5BP网络的设计考虑因素：层数，每层神经元数，初始化，学习率等1 网络的层数理论结果：具有偏差和至少一个S型隐含层的网络，能够逼近任意的有理函数。层数对网络影响：增加层数可进一步降低误差，提高精度；不足之处是使网络结构复杂化。隐层节点数对网络影响：可提高精度，降低误差；虽然也增加了一点网络的复杂度，但比增加层数要低设计的原则：首先应选择层数较少的网络，这样可降低复杂度；同时为了提高精度和降低误差，应先考虑增加隐层的神经元数目。第20页，本讲稿共52页5BP网络的设计为了提高精度和逼近能力：为了提高精度和逼近能力：1）增加隐层神

7、经元数；）增加隐层神经元数；2）增加网络层数。）增加网络层数。综合效果：以增加网络层数效果更好。综合效果：以增加网络层数效果更好。第21页，本讲稿共52页5BP网络的设计例4.2考虑两个单元输入的联想问题：其输入和输出为：P=-32,T=0.4,0.8目标误差：0.001该问题可采用自适应网络解决：w=0.08,b=0.64,e=T-A=0利用Bp网络解决：有一定误差。结论：能利用自适应网络或感知器解决的问题，应尽量不用Bp网络第22页，本讲稿共52页5BP网络的设计例4.3用一层网络来实现下面的输入/输出关系：P=-6-6.1-4.1-444.166.1T=0.00.00.970.990.0

8、10.0311理论分析：约束等式共8个，参数1个权值+1个偏差。因此，可能无准确解。仿真计算：可求出近似解。但效果与线性网络相当。逼近图效果：近似解相当于一种分类功能。结论：单层网络不能解决。能利用单层网络解决问题，应先考虑利用感知器和自适应线性元件。第23页，本讲稿共52页5BP网络的设计例4.4非线性误差曲面特性观察BP网络的误差函数E凸凹不平，有些地方很平坦，另外的地方很陡峭，这对算法的效果有较大影响。从提高算法的效率上讲，在陡峭的地方应选择小的学习率，以避免“过调”，在平坦的地方利用大学习率，以加快收敛速度。结论：常学习率在误差曲面非常不规则时可能效果不好。第24页，本讲稿共52页5B

9、P网络的设计2 隐含层的神经元数问题：隐含层的神经元数应选择为多少才适合？例4.5用两层BP网络实现“异或”问题。数学描述：输入及目标输出矢量隐层神经元数分别为：2，3，4，5，6，20，25，30对二值型离散数据也能利用BP网络逼近：可将二值型激活函数利用S型代替，训练成功后，将输出层的激活函数换成二值型函数，则训练达到一定精度时，实际输出与目标输出一致。第25页，本讲稿共52页5BP网络的设计训练效果表s1Time(s)epoch25.7111834.409044.398854.458564.6285203.5768254.0672305.1196第26页，本讲稿共52页5BP网络的设计分

10、析：神经元太少，影响学习效果，精度不高，易训练失败理论上讲，神经元越多，网络功能越强，但神经元越多训练时间会增加，并可能出现不协调的拟合。s1=3,4,5,6的效果相当，s1小，循环一次的时间少结论：在隐层神经元数设计的原则是在能解决问题的情况下，增加12个神经元。第27页，本讲稿共52页5BP网络的设计3 初始权值的选取饱和区域：误差曲面中非常平坦的区域，通常出现在为很小的值，因，且初始值的选取应避免取在饱和区域。隐层的初始值：在工具箱中，可采用initnw.m函数初始化W1和B1第28页，本讲稿共52页5BP网络的设计例4.6.好的初始值的训练效果观察。（例1数据）旧方法：随机初始化的训练

11、次数为5000次左右；新方法：用initnw产生初始值的训练次数为400次左右在同样的目标误差下，训练速度加快了。一个好的学习算法应在统计的基础上来评价第29页，本讲稿共52页5BP网络的设计4 4 学习速率学习速率学习率的大小对算法的影响：过大的学习率使计算不稳定，出现“震荡”过小的学习率导致计算时间长，收敛慢。学习率选取一般在0.010.8之间问题：由于误差曲面的复杂性，有的地方要求大学习率，另外地方要求小的学习率。例4.7观察学习速率太大的影响第30页，本讲稿共52页5BP网络的设计5 5 期望误差的选取期望误差的选取期望误差的大小对训练的影响：期望误差的大小受问题本身的影响，应选择适当

12、；期望误差过小，往往要求多的隐含层的节点数，并可能增加训练时间。实际训练时，可选择2-3个不同的期望误差进行比较后，进行综合考虑第31页，本讲稿共52页6限制与不足BP算法存在问题：算法存在问题：完全不能训练网络的麻痹现象局部最小训练时间过长，复杂问题甚至要训练几天到几周时间。选取了不适当的学习速率第32页，本讲稿共52页6限制与不足网络的麻痹现象网络的麻痹现象在训练过程中，加权调得较大可能迫使所有的或大部分的加权和输出sj较大，从而使得操作会在S型函数的饱和区进行，此时函数处在其导数f(s)非常小的区域内。由于在计算加权修正量时，正比于f(s)，因此当f(s)-0时-0，这使得，相当于调节过

13、程几乎停顿下来。为了避免这种现象，可将学习（训练）速率系数减小，但这又会增加训练时间。第33页，本讲稿共52页6限制与不足局部最小局部最小BP训练算法实际上采用梯度下降法，训练过程从某一起始点沿误差函数的斜面最陡方向逐渐达到最小点E-0。对于复杂的网络，其误差函数面在多维空间，其表面可能凹凸不平，因而在训练过程中可能会陷入某一个小谷区，称之为局部最小点。由此点向各方向变化均使E增加，以致无法逃出这个局部最小点。第34页，本讲稿共52页6限制与不足局部最小点示意图初始随机加权的影响。如果这些加权太大，可能一开始就使网络处于S型函数饱和区，系统就很有可能陷入局部最小。为此，可采用如下策略选取随机加

14、权值：使结点输入加权和的绝对值|sj|1，但又不可太小。可选择各加权值的量级为，其中ki为连接到结点j的所有前层结点的数目。第35页，本讲稿共52页6限制与不足学习速率学习速率大小大小如果选得太小，收敛会很慢；如果选得太大，可能出现麻痹现象或连续不稳定。需按照实验和经验确定。Wasserman曾提出自适应学习速率算法，在训练过程中自动调节阶距的大小。例例4.8误差的局部和全局最小值的观察误差的局部和全局最小值的观察第36页，本讲稿共52页7反向传播法的改进1附加动量法附加动量法基本思想：在BP法的调整权值方法的基础上，增加一个正比于前次权值变化量的值，称之为附加动量(法)附加动量法的计算公式：

15、其中，k为训练次数，mc为动量因子，可取0.95左右。第37页，本讲稿共52页7反向传播法的改进附加动量法的一个显著特点：避免局部极小值附加动量法的一个显著特点：避免局部极小值在误差曲面很平坦的地方，接近0，此时BP法的权值修正量几乎为0，但。这样防止了，并可从误差曲面的局部极小值中跳出来。相关函数的动量因子的调整公式相关函数的动量因子的调整公式工具函数：工具函数：traingdm.m作为作为train.m或或newcf.m的一个选项。的一个选项。第38页，本讲稿共52页7反向传播法的改进附加动量法的几个问题附加动量法的几个问题1.学习速率的选择：不能太大，或太小2.训练次数的选择：要给予足够

16、的训练次数3.初始值的选择：误差下降方向，位置选择例例4.9采用附加动量法的反向传播网络的训练。采用附加动量法的反向传播网络的训练。第39页，本讲稿共52页7反向传播法的改进2自适应学习速率自适应学习速率恰当学习率的选取很困难，主要凭经验或训练过大或过小的学习率对训练都不利固定学习率的不足之处在于没有利用误差曲面的特性，因此影响了学习效果；自适应学习利用误差曲面特性，可增强学习效果。基本思想：基本思想：在误差曲面平坦之处利用大学习率，可避免无法“训练”现象，加快收敛速度等；在误差曲面非常狭窄陡峭之处，利用小学习率，可避免出现“过调”现象。第40页，本讲稿共52页7反向传播法的改进一种自适应学习

17、率的调整公式：注：的选取有任意性。工具函数：taningda.m作为train.m的参数。动量法和变学习率算法可结合起来：taningdx.m调用格式：net=newff(minmax(P),5,1,(tansig,purelin),traingdx)例例4.10采用自适应学习率训练网络。采用自适应学习率训练网络。第41页，本讲稿共52页7反向传播法的改进3弹性弹性BP算法算法标准的BP法中利用S型函数，其不足之处在于当输入绝对值很大时，训练可出现完全不能训练；弹性BP算法：只取的符号，它决定了权值变化的方向，确定一个“更新值”；若连续两次“同号”，增加更新值；否则，减少更新值。算法出现“振荡

18、”，减少“更新值”。第42页，本讲稿共52页8基于数值优化方法的训练算法BP网络训练实质是一个非线性目标函数优化问题。求误差函数极小值，除了可利用“最速下降法”-BP法外，还存在其他求极小值方法称为“优化”法。BP法是利用误差函数的一阶导数信息，此外，还有利用“二阶导数”信息的“优化”算法，例如：拟牛顿法，拟牛顿法，Levenberg-Marquardt法，共轭梯度法法，共轭梯度法等。第43页，本讲稿共52页8基于数值优化方法的训练算法优化算法的统一表示如下：寻优分二步：确定当前迭代的最佳搜索方向；在该方向上寻找最优步长；梯度下降法、拟牛顿法、Levenberg-Marquardt法、共轭梯度

19、法等是其中的几种寻优方法。他们的主要区别在于“寻优”的技巧不一样。第44页，本讲稿共52页8基于数值优化方法的训练算法拟牛顿法拟牛顿法牛顿法的步骤:第一次迭代的搜索方向：负梯度方向调整公式为以后的各次迭代的搜索方向：调整公式为第45页，本讲稿共52页8基于数值优化方法的训练算法其中是海森（Hessian）矩阵：一个问题：一个问题：海森（Hessian）矩阵的计算量和存储量大，因此，利用不同的简化计算方法得到不同的“拟牛顿法”第46页，本讲稿共52页8基于数值优化方法的训练算法1BFGS拟牛顿法：拟牛顿法：海森矩阵的近似计算公式：其中，。的调整与牛顿法一致。近似的海森矩阵存储量仍然巨大，计算较为

20、复杂。第47页，本讲稿共52页8基于数值优化方法的训练算法2正割拟牛顿法正割拟牛顿法搜索方向：其中与BFGS法相比，正割法减少了存储量和计算量。第48页，本讲稿共52页8基于数值优化方法的训练算法共轭梯度法共轭梯度法共轭梯度法可避免梯度下降法中速度慢，拟牛顿法计算复杂的弊端，其过程如下：第1次迭代的搜索方向为负梯度方向：其后的搜索方向其中，的不同选法可构成不同的共轭梯度法。第49页，本讲稿共52页8基于数值优化方法的训练算法常见的两种形式：其中共轭梯度法通常比梯度下降法速度要快，且减少存储量和计算量。或第50页，本讲稿共52页8基于数值优化方法的训练算法Levenberg-Marquardt法法该方法是梯度下降法和牛顿法的结合搜索方向：Levenberg-Marquardt法开始时，取为大数，在接近最优点时，减小到0，即搜索方向从负梯度方向转向牛顿法的方向。Levenberg-Marquardt法的长处是在网络权值数目较少时收敛非常迅速；短处是存储量大。第51页，本讲稿共52页8基于数值优化方法的训练算法各种方法的选择原则：网络参数较少时，可利用牛顿法和L-M法；网络参数适中时，可利用拟牛顿法；网络参数较多时，可利用共轭梯度法。以上各法都存在局部极小值问题，相对而言，L-M法可获得较好结果。为避免局部极小，都需要多次训练。第52页，本讲稿共52页