Matlab的神经网络工具箱实用指南.docx

《Matlab的神经网络工具箱实用指南.docx》由会员分享，可在线阅读，更多相关《Matlab的神经网络工具箱实用指南.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、静态网络中的批处理方式批处理方式可以用adapt 或 train 函数来实现，虽然由于由于承受了更高效的学习算法，train 通常是最好的选择。增加方式只能用adapt 来实现，train 函数只能用于批处理方式。让我们用前面用过的静态网络的例子开头，学习速率设置为0.1。net = newlin(-1 1;-1 1,1,0,0.1);net.IW1,1 = 0 0;net.b1 = 0;用 adapt 函数实现静态网络的批处理方式，输入向量必需用同步向量矩阵的方式放置：P = 1 2 2 3; 2 1 3 1;T = 4 5 7 7;当我们调用adapt 时将触发adaptwb 函数，这是缺

2、省的线性网络调整函数。learnwh 是缺省的权重和偏置学习函数。因此，Widrow-Hoff 学习法将会被使用：net,a,e,pf = adapt(net,P,T); a = 0 0 0 0e = 4 5 7 7留意网络的输出全部为 0，由于在全部要训练的数据提交前权重没有被更，假设我们显示权重，我们就会觉察：net.IW1,1ans = 4.9000 4.1000net.b1 ans = 2.3000经过了用adapt 函数的批处理方式调整，这就和原来不一样了。现在用train 函数来实现批处理方式。由于Widrow-Hoff 规章能够在增加方式和批处理方式中应用，它可以通过adapt

3、和 train 触发。我们有好几种算法只能用于批处理方式特别是Levenberg-Marquardt 算法，所以这些算法只能用 train 触发。网络用一样的方法建立：net = newlin(-1 1;-1 1,1,0,0.1);net.IW1,1 = 0 0;net.b1 = 0;在这种状况下输入向量即能用同步向量矩阵表示也能用异步向量细胞数组表示。用train 函数，任何异步向量细胞数组都会转换成同步向量矩阵。这是由于网络是静态的， 并且由于train 总是在批处理方式中使用。由于 MATLAB 实现同步模式效率更高，所以只要可能总是承受同步模式处理。P = 1 2 2 3; 2 1 3

4、 1;T = 4 5 7 7;现在我们开头训练网络。由于我们只用了一次adapt，我们这里训练它一次。缺省的 线性网络训练函数是trainwb。learnwh 是缺省的权重和偏置学习函数。因此，我们应当和前面缺省调整函数是adaptwb 的例子得到同样的结果。net.inputWeights1,1.learnParam.lr = 0.1;net.biases1.learnParam.lr = 0.1;net.trainParam.epochs = 1;net = train(net,P,T);经过一次训练后，我们显示权重觉察：net.IW1,1ans = 4.9000 4.1000net.b1

5、 ans = 2.3000这和用adapt 训练出来的结果是一样的。在静态网络中，adapt 函数能够依据输入数据格式的不同应用于增加方式和批处理方式。假设数据用同步向量矩阵方式输入就用批 处理方式训练；假设数据用异步方式输入就用增加方式。但这对于train 函数行不通，无论输入格式如何，它总是承受批处理方式。动态网络中的增加方式训练静态网络相对要简洁一些。假设我们用train 训练网络，即使输入是异步向量细胞数组，它也是转变成同步向量矩阵而承受批处理方式。假设我们用adapt。输入格式打算着网络训练方式。假设传递的是序列，网络用增加方式，假设传递的是同步向量就采 用批处理方式。在动态网络中，

6、批处理方式只能用train 完成，特别是当仅有一个训练序列存在时。为了说明清楚，让我们重考虑那个带延迟的线性网络。我们把学习速率设为0.02当 我们承受梯度下降算法时，我们要用比增加方式更小的学习速率，应为全部的分立的梯度都要在打算权重转变步进之前求和net = newlin(-1 1,1,0 1,0.02);net.IW1,1=0 0;net.biasConnect=0; net.trainParam.epochs = 1;Pi = 1;P = 2 3 4;T = 3 5 6;我们用以前增加方式训练过的那组数据训练，但是这一次我们期望只有在全部数据 都提交后才更权重批处理方式。由于输入是一个

7、序列，网络将用异步模式模拟。但是权重将用批处理方式更。net=train(net,P,T,Pi);经过一次训练后，权重值为：net.IW1,1ans = 0.9000 0.6200这里的权重值和我们用增加方式得到的不同。在增加方式中，通过训练设置，一次训练可以更权重三次。在批处理方式中，每次训练只能更一次。第三章 反向传播网络BP 网络1. 概述前面介绍了神经网络的构造和模型，在实际应用中，我们用的最广泛的是反向传播网络BP 网络。下面就介绍一下 BP 网络的构造和应用。BP 网络是承受Widrow-Hoff 学习算法和非线性可微转移函数的多层网络。一个典型的 BP 网络承受的是梯度下降算法，

8、也就是Widrow-Hoff 算法所规定的。backpropagation 就是指的为非线性多层网络计算梯度的方法。现在有很多根本的优化算法，例如变尺度算法和牛顿算法。神经网络工具箱供给了很多这样的算法。这一章我们将争论使用这些规则和这些算法的优缺点。一个经过训练的BP 网络能够依据输入给出适宜的结果，虽然这个输入并没有被训练过。这个特性使得BP 网络很适合承受输入/目标对进展训练，而且并不需要把全部可能的输入/目标对都训练过。为了提高网络的适用性，神经网络工具箱供给了两个特性-规章 化和早期停顿。这两个特性和用途我们将在这一章的后面争论。这一章还将争论网络的 预处理和后处理技术以提高网络训练

9、效率。2. 根底网络构造神经网络的构造前一章已具体争论过，前馈型BP 网络的构造构造和它根本一样，这里就不再具体论述了，这里着重说明以下几点：1. 常用的前馈型BP 网络的转移函数有logsig，tansig，有时也会用到线性函数pu relin。当网络的最终一层承受曲线函数时，输出被限制在一个很小的范围内，假设承受线性函数则输出可为任意值。以上三个函数是BP 网络中最常用到的函数，但是假设需要的话你也可以创立其他可微的转移函数。2. 在 BP 网络中，转移函数可求导是格外重要的，tansig、logsig 和 purelin 都有对应的导函数dtansig、dlogsig 和 dpureli

10、n。为了得到更多转移函数的导函数，你可以带字符“deriv“的转移函数：tansig(”deriv”) ans = dtansig网络构建和初始化训练前馈网络的第一步是建立网络对象。函数newff 建立一个可训练的前馈网络。这需要 4 个输入参数。第一个参数是一个 Rx2 的矩阵以定义R 个输入向量的最小值和最大值。其次个参数是一个颟顸每层神经元个数的数组。第三个参数是包含每层用到的转移函数名称的细胞数组。最终一个参数是用到的训练函数的名称。举个例子，下面命令将创立一个二层网络,其网络模型如以以下图所示。它的输入是两个元素的向量，第一层有三个神经元，其次层有一个神经元。第一层 的转移函数是ta

11、n-sigmoid，输出层的转移函数是linear。输入向量的第一个元素的范围是-1 到 2，输入向量的其次个元素的范围是0 到 5，训练函数是traingd。net=newff(-1 2; 0 5,3,1,”tansig”,”purelin”,”traingd”);这个命令建立了网络对象并且初始化了网络权重和偏置，因此网络就可以进展训练了。我们可能要屡次重初始化权重或者进展自定义的初始化。下面就是初始化的具体步骤。在训练前馈网络之前，权重和偏置必需被初始化。初始化权重和偏置的工作用命令 init 来实现。这个函数接收网络对象并初始化权重和偏置后返回网络对象。下面就是网络如何初始化的：net

12、= init(net);我们可以通过设定网络参数net.initFcn 和 net.layeri.initFcn 这一技巧来初始化一个给定的网络。net.initFcn 用来打算整个网络的初始化函数。前馈网络的缺省值为initlay，它允许每一层用单独的初始化函数。设定了net.initFcn ，那么参数net.lay eri.initFcn 也要设定用来打算每一层的初始化函数。对前馈网络来说，有两种不同的初始化方式常常被用到：initwb 和 initnw。initwb函数依据每一层自己的初始化参数(net.inputWeightsi,j.initFcn)初始化权重矩阵和偏置。前馈网络的初始

13、化权重通常设为rands，它使权重在-1 到 1 之间随机取值。这种方式常常用在转换函数是线性函数时。initnw 通常用于转换函数是曲线函数。它依据Nguy en 和 WidrowNgWi90为层产生初始权重和偏置值，使得每层神经元的活动区域能大致平坦的分布在输入空间。它比起单纯的给权重和偏置随机赋值有以下优点：1削减神经元的铺张由于全部神经元的活动区域都在输入空间内。2有更快的训练速度因 为输入空间的每个区域都在活动的神经元范围中。初始化函数被newff 所调用。因此当网络创立时，它依据缺省的参数自动初始化。init 不需要单独的调用。可是我们可能要重初始化权重和偏置或者进展自定义的初始化

14、。例如，我们用newff 创立的网络，它缺省用initnw 来初始化第一层。假设我们想要用r ands 重初始化第一层的权重和偏置，我们用以下命令：net.layers1.initFcn = ”initwb”; net.inputWeights1,1.initFcn = ”rands”; net.biases1,1.initFcn = ”rands”; net.biases2,1.initFcn = ”rands”;net = init(net);网络模拟(SIM)函数 sim 模拟一个网络。sim 接收网络输入p，网络对象net，返回网络输出a，这里是 simuff 用来模拟上面建立的带一个

15、输入向量的网络。p = 1;2;a = sim(net,p) a =-0.1011(用这段代码得到的输出是不一样的，这是由于网络初始化是随机的。)下面调用sim 来计算一个同步输入 3 向量网络的输出： p = 1 3 2;2 4 1;a=sim(net,p) a =-0.1011 -0.2308 0.4955网络训练一旦网络加权和偏差被初始化，网络就可以开头训练了。我们能够训练网络来做函数近似非线性 后退，模式结合，或者模式分类。训练处理需要一套适当的网络操作的例子-网络输入p 和目标输出t。在训练期间网络的加权和偏差不断的把网络性能函数net.performFcn 削减到最小。前馈网络的缺

16、省性能函数是均方误差mse-网络输出和目标输出t 之间的均方误差。这章的余项将描述几个对前馈网络来说不同的训练算法。全部这些算法都用性能函数的梯度来打算怎样把权重调整到最正确。梯度由叫做反向传播的技 术打算，它要通过网络实现反向计算。反向传播计算源自使用微积分的链规章。根本的 反向传播算法的权重沿着梯度的负方向移动，这将在下一节表达。以后的章节将表达更 简洁的算法以提高收敛速度。反向传播算法反向传播算法中有很多变量，这一章将争论其中的一些。反向传播学习算法最简洁的应用是沿着性能函数最速增加的方向-梯度的负方向更权重和偏置。这种递归算法可以写成：xk+1 = xk- a k g k这里 xk 是

17、当前权重和偏置向量，g k 是当前梯度，a k 是学习速率。有两种不同的办法实现梯度下降算法：增加模式和批处理模式。在增加模式中，网络输入每提交一次，梯度计算一次并更权重。在批处理模式中，当全部的输入都被提交后网络才被更。下面两节将争论增加模式和批处理模式。增加模式训练法ADAPT函数 adapt 用来训练增加模式的网络，它从训练设置中承受网络对象、网络输入和目标输入，返回训练过的网络对象、用最终的权重和偏置得到的输出和误差。这里有几个网络参数必需被设置，第一个是net.adaptFcn，它打算使用哪一种增加模式函数，缺省值为adaptwb，这个值允许每一个权重和偏置都指定它自己的函数，这些单

18、个的学习函数由参数net.biasesi,j.learnFcn、net.inputWeightsi,j.learnFcn、 net.layerWeightsi,j.learnFcn和 Gradient Descent (LEARDGD)来打算。对于根本的梯度最速下降算法，权重和偏置沿着性能函数的梯度的负方向移动。在这种算法中， 单个的权重和偏置的学习函数设定为“learngd“。下面的命令演示了怎样设置前面建立的 前馈函数参数：net.biases1,1.learnFcn = ”learngd”; net.biases2,1.learnFcn = ”learngd”; net.layerWei

19、ghts2,1.learnFcn = ”learngd”; net.inputWeights1,1.learnFcn = ”learngd”;函数 learngd 有一个相关的参数-学习速率 lr。权重和偏置的变化通过梯度的负数乘上学习速率倍数得到。学习速率越大，步进越大。假设学习速率太大算法就会变得不稳 定。假设学习速率太小，算法就需要很长的时间才能收敛。当learnFcn 设置为learngd 时，就为每一个权重和偏置设置了学习速率参数的缺省值，如上面的代码所示，固然你也 可以自己依据意愿转变它。下面的代码演示了把层权重的学习速率设置为0.2。我们也可以为权重和偏置单独的设置学习速率。ne

20、t.layerWeights2,1.learnParam.lr= 0.2;为有序训练设置的最终一个参数是net.adaptParam.passes，它打算在训练过程中训练值重复的次数。这里设置重复次数为200net.adaptParam.passes = 200;现在我们就可以开头训练网络了。固然我们要指定输入值和目标值如下所示：p = -1 -1 2 2;0 5 0 5;t = -1 -1 1 1;假设我们要在每一次提交输入后都更权重，那么我们需要将输入矩阵和目标矩阵转变为细胞数组。每一个细胞都是一个输入或者目标向量。p = num2cell(p,1); t = num2cell(t,1);

21、现在就可以用adapt 来实现增加方式训练了:net,a,e=adapt(net,p,t);训练完毕以后，我们就可以模拟网络输出来检验训练质量了。a = sim(net,p) a =-0.9995 -1.0000 1.0001 1.0000带动力的梯度下降法(LEARDGDM)除了 learngd 以外，还有一种增加方式算法常被用到，它能供给更快的收敛速度-l earngdm,带动量的最速下降法。动力允许网络不但依据当前梯度而且还能依据误差曲面 最近的趋势响应。就像一个低通滤波器一样，动量允许网络无视误差曲面的小特性。没有动量，网络又可能在一个局部最小中被卡住。有了动量网络就能够平滑这样的最小

22、。动量能够通过把权重变得与上次权重变化的局部和由算法规章得到的变化的和一样而 参与到网络学习中去。上一次权重变化对动量的影响由一个动量常数来打算，它能够设 为 0 到 1 之间的任意值。当动量常数为 0 时，权重变化之依据梯度得到。当动量常数为 1 时的权重变化等于上次的权重变化，梯度值被无视了。Learngdm 函数有上面所示的learngd 函数触发，除非mc 和 lr 学习参数都被设置了。由于每一个权重和偏置有它自己的学习参数，每一个权重和偏置都可以用不同的参数。 下面的命令将用lerangdm 为前面建立的用增加方式训练的网络设置缺省的学习参数：net.biases1,1.learnF

23、cn = ”learngdm”; net.biases2,1.learnFcn = ”learngdm”; net.layerWeights2,1.learnFcn = ”learngdm”; net.inputWeights1,1.learnFcn = ”learngdm”; net,a,e=adapt(net,p,t);批处理训练方式训练的另一种方式是批处理方式，它由函数train 触发。在批处理方式中，当整个训练设置被应用到网络后权重和偏置才被更。在每一个训练例子中的计算的梯度加在一起来打算权重和偏置的变化。批处理梯度下降法(TRAINGD)与增加方式的学习函数learngd 等价的函数

24、是traingd，它是批处理形式中标准的最速下降学习函数。权重和偏置沿着性能函数的梯度的负方向更。假设你期望用批处理最速下降法训练函数，你要设置网络的trainFcn 为 traingd，并调用train 函数。不像以前章节的学习函数，它们要单独设置权重矩阵和偏置向量，这一次给定的网络只有一个学习函数。Traingd 有几个训练参数：epochs,show,goal,time,min_grad,max_fail和 lr。这里的学习速率和lerangd 的意义是一样的。训练状态将每隔show 次显示一次。其他参数打算训练什么时候完毕。假设训练次数超过epochs,性能函数低于goal，梯度值低于

25、mingrad或者训练时间超过time，训练就会完毕。下面的代码将重建我们以前的网络，然后用批处理最速下降法训练网络。留意用批处理方式训练的话全部的输入要设置为矩阵方式net=newff(-1 2; 0 5,3,1,”tansig”,”purelin”,”traingd”);net.trainParam.show = 50;net.trainParam.lr = 0.05;net.trainParam.epochs = 300; net.trainParam.goal = 1e-5;p = -1 -1 2 2;0 5 0 5;t = -1 -1 1 1;net=train(net,p,t);T

26、RAINGD, Epoch 0/300, MSE 1.59423/1e-05, Gradient 2.76799/ 1e-10TRAINGD, Epoch 50/300, MSE 0.00236382/1e-05, Gradient 0.0495292/1e-10TRAINGD, Epoch 100/300, MSE 0.000435947/1e-05, Gradient 0.0161202/1e-10TRAINGD, Epoch 150/300, MSE 8.68462e-05/1e-05, Gradient 0.00769588/1e-10TRAINGD, Epoch 200/300, M

27、SE 1.45042e-05/1e-05, Gradient 0.00325667/1e-10TRAINGD, Epoch 211/300, MSE 9.64816e-06/1e-05, Gradient 0.00266775/1e-10TRAINGD, Performance goal met. a = sim(net,p)a =-1.0010 -0.9989 1.0018 0.9985用 nnd12sd1 来演示批处理最速下降法的性能。带动量的批处理梯度下降法TRAINGDM带动量的批处理梯度下降法用训练函数traingdm 触发。这种算法除了两个例外和le armgdm 是全都的。第一梯

28、度是每一个训练例子中计算的梯度的总和，并且权重和偏置仅仅在训练例子全部提交以后才更。其次假设在给定重复次数中的性能函数超过 了以前重复次数中的性能函数的预定义速率max_perf_inc(典型的是 1.04)倍，那么的权重和偏置就被丢弃，并且动量系数mc 就被设为 0。在下面的代码重，我们重建了以前的网络并用带动量的梯度下降算法重训练。Traingdm 的训练参数和traingd 的一样，动量系数mc 和性能最大增量max_perf_inc 也是如此。无论什么时候，只要 net.trainFcn 倍设为 traingdm,训练参数就被设为缺省值。 net=newff(-1 2; 0 5,3,1

29、,”tansig”,”purelin”,”traingdm”);net.trainParam.show = 50;net.trainParam.lr = 0.05;net.trainParam.mc = 0.9;net.trainParam.epochs = 300; net.trainParam.goal = 1e-5;p = -1 -1 2 2;0 5 0 5;t = -1 -1 1 1;net=train(net,p,t);TRAINGDM, Epoch 0/300, MSE 3.6913/1e-05, Gradient 4.54729/ 1e-10TRAINGDM, Epoch 50/

30、300, MSE 0.00532188/1e-05, Gradient 0.213222/1e-10TRAINGDM, Epoch 100/300, MSE 6.34868e-05/1e-05, Gradient 0.0409749/1e-10TRAINGDM, Epoch 114/300, MSE 9.06235e-06/1e-05, Gradient 0.00908756/1e-10TRAINGDM, Performance goal met. a = sim(net,p)a =-1.0026 -1.0044 0.9969 0.9992留意，既然我们在训练前重初始化了权重和偏置，我们就得到了一个和使用traingd 不同的均方误差。假设我们想用traingdm 重初始化并且重训练,我们仍将得到不同的军方误差。初始化权重和偏置的随机选择将影响算法的性能。假设我们期望比较不同算法的性能，我们应当测试每一个使用着的不同的权重和偏值的设置。用 nnd12mo 来演示批处理最速下降法的性能。