前馈型神经网络模型.ppt

《前馈型神经网络模型.ppt》由会员分享，可在线阅读，更多相关《前馈型神经网络模型.ppt（90页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三章第三章 前馈型神经网络模型前馈型神经网络模型 3.1 感知器（感知器（Perception）3.2 多层前馈型神经网络多层前馈型神经网络 3.3 误差逆传播算法（误差逆传播算法（BP算法）算法）3.4 误差逆传播算法误差逆传播算法(BP算法算法)的若干改进的若干改进3.5 使用遗传算法使用遗传算法(GA)训练前馈型神经网络方训练前馈型神经网络方法法3.6 前馈型神经网络结构设计方法前馈型神经网络结构设计方法 2873.7 基于算法的前馈型神经网络在识别问题中基于算法的前馈型神经网络在识别问题中的应用的应用 3.8 自适应线性元件自适应线性元件 3.9 径向基函数神经网络径向基函数神经网络

2、 3873.1 感知器（感知器（Perception）3.1.1 单层感知器单层感知器3.1.2 感知器的收敛定理感知器的收敛定理 3.1.3 多层感知器网络多层感知器网络3.1.4 感知器用于分类问题的算例感知器用于分类问题的算例 4873.1.1 单层感知器单层感知器 一、单层感知器网络一、单层感知器网络 单层感知器神经网络，输入向量为X=（X1,X2,Xm），输出向量为Y=(Y1,Y2,Yn)。感知器的输入向量为XRn,权值向量为WRn单元的输出为Y1,1。其中：其中，X=(X,1),W=(W,)。587w21wmjw22wmnw12w11xmx1x2y1y2yn12nw1nw2mwmj

3、wijw2jw1jyjxix1x2xm 图图3.1 单层感知器网络单层感知器网络 图图3.2 最简单的感知器最简单的感知器 wm1687 二、单层感知器的学习算法二、单层感知器的学习算法 令Wn+1=,Xn+1=-1,则，具体算法如下：具体算法如下：初始化 给Wi(0)各赋一个较小的随机非零值。这里Wi(t)为t时刻第i个输入的权值（1in）,Wn+1(t)为t时刻的阈值。输入样本X=(X1,X2,Xn,T),T 称为教师信号，在两类样本分类中，如果XA类，则T=1；如果XB类，则T=-1。787 计算实际输出 修正权值 WWi i(t+1t+1)=)=WWi i(t t)+)+(T T Y

4、Y(t t)X Xi i i i=(=(1,2,1,2,n,n+1,n,n+1)其中，01用于控制修正速度，通常不能太大，会影响Wi(t)的稳定，也不能太小，会使Wi(t)的收敛速度太慢。转到直到W对一切样本均稳定不变为止。用单层感知器可实现部分逻辑函数，如：用单层感知器可实现部分逻辑函数，如：X X1 1X X2 2：Y=1X Y=1X1 1+1X+1X2 2-2-2 即即WW1 1=W=W2 2=1,=2=1,=2 X X1 1X X2 2：Y=1XY=1X1 1+1X+1X2 2-0.5-0.5 即即WW1 1=W=W2 2=1,=0.5=1,=0.5 ：Y Y=(=(-1-1)XX1

5、1+0.5+0.5 即即WW1 1=-1=-1，=-0.5=-0.5887三、单层感知器的局限性三、单层感知器的局限性 异或逻辑为 ，假定单层感知器能实现异或逻辑，那么，Y=W1X1+W2X2，要求：表表 3.1 异或逻辑异或逻辑 输入样本输出000011101110987 W1+W2-0W1+W2 0+0-00 0+W2-0W2(a)XOR 逻辑逻辑 (b)AND逻辑逻辑 (c)OR逻辑逻辑 图图 3.3 线性可分性线性可分性(0,0)(0,0)(0,0)(0,1)(0,1)(0,1)(1,1)(1,1)(1,1)(1,0)(1,0)(1,0)1087 3.1.2 感知器的收敛定理感知器的收

6、敛定理 一、线性可分函数一、线性可分函数 对给定的X和Y，存在W和和线性映像函数f，使得：f：Rn 1,1,XRn,则称 f为线性可分函数。所谓的线性可分是指存在一个超平面（二 维为一条直线）能将两类样本分开。对于上面的异或逻辑可用一个平面将其输出类别分开。平面方程为：X1W1+X2W2+X3W3=，X1W1+X2W2+(X1X2)W3=。1187 表表3.2 三维异或逻辑三维异或逻辑输入样本输入样本输出输出00000101100111101287图图 3.4 异或问题的三维表示异或问题的三维表示 13871487 二、定理二、定理3.1 感知器收敛定理感知器收敛定理 若函数f是线性可分的，则

7、感知器的学习算法在有限次叠代后收敛。为证明此定理，先做一些简化。(1)令Xk=1(即学习样本都是单位向量)；(2)若Yk0(因f是线性可分的)；这样，要证明上述定理只要证明以下的结论即可。1587 因为k个样本是线性可分的，若存在一个W*，对所有的样本k使得W*Xk 都成立，0。则下面步骤中的第步仅需有限次。置t=1，选初值W(t)为不等于0的值；任选k1,N，置X(t)=Xk；若W(t)X(t)0 返回，否则 令W(t+1)=W(t)+X(t),t=t+1,返回。1687证明：C(t)表示向量W(t)与W*间夹角余弦，即 W*W(t+1)=W*W(t)+X(t)=W*W(t)+W*X(t)W

8、*W(t)+W*W(t)tW(t+1)2=W(t)2+2W(t)X(t)+X(t)2W(t)2+1 W(t)2t，C(t)0(W12 X1+W22 X2-2)0(W13 X1+W23 X2-3)0 Y3=(X1,X2)Y12Y22 3 6 =(X1,X2)(W1jX1+W2j X2-j)0)(W1j X1 j=1 j=4 +W2j X2-j)0)2387 (A)(B)图图3.6 多层感知器对输入空间的划分多层感知器对输入空间的划分 2487 Y11=1X1+1 X2-1 Y21=(-1)X1+(-1)X2-(-1.5)Y2=1 Y11+1 Y21-2图图 3.7 解决异或问题的三层感知器解决异

9、或问题的三层感知器X1X22587 图图3.8 单层与多层感知器的决策分类能力单层与多层感知器的决策分类能力 26873.1.4 感知器用于分类问题的算例感知器用于分类问题的算例 感知器的结构见图 3.9所示。图图3.9 感知器结构感知器结构 Yw1w2x1x22787 其中，u=W1X1+W2X2，在此特选定输出单元为非线性函数，其输出为：输入模式为：(0.5,0.05)、(0.05,0.5)A类 (0.95,0.5)、(0.5,0.95)B类 教师信号为：2887 W1(t+1)=W1(t)+(T-Y)X1 W2(t+1)=W2(t)+(T-Y)X2 (t+1)=(t)+(T-Y)总的误差

10、之和为：2987NYW和用随即数初始化计算y更新W和输入一个学习样本（x,T）样本全部输入完吗？E小于上限吗？学习次数到吗？结束开始YNNY图图3.10程序框图程序框图3087 表表 3.3(a)表表 3.3(b)参数参数取值取值X1X2YW随机范围随机范围0.200.500.050.99随机范围随机范围0.100.050.500.99u00.200.950.500.010.400.50 0.95 0.010.30误差上限误差上限0.01最大学习次数最大学习次数 2003187100学习次数200误差 xpb(0,0)(10)(1,0)y(1,1)papbpa501500100200图图 3.

11、11 (a)误差曲线误差曲线 (b)直线变化情况直线变化情况3287 3.2 多层前馈型神经网络多层前馈型神经网络 3.2.1 网络结构及工作过程网络结构及工作过程 3.2.2 误差函数与误差曲面误差函数与误差曲面 3.2.3 网络的学习规则网络的学习规则梯度下降算法梯度下降算法 33873.2.1 网络结构及工作过程网络结构及工作过程 一、学习样本一、学习样本 输入样本为：（XK，TK），其中K1,2,N，N为学习样本数，XKRn，TKRm。二、工作过程二、工作过程3487 图图 3.12 前馈型神经网络结构前馈型神经网络结构 3587三、非线性单元常采用的转移函数三、非线性单元常采用的转移

12、函数 11xy1 0.5xy00图图3.13 常用的转移函数常用的转移函数(a)Sigmoid函函数数 (b)双双曲曲正正切切函函数数3687(0 f(x)1)通常增加参数和来调整函数的斜率和使其左右平移，Sigmoid函数为一单调递增连续函数，且处处可导，其导数为：3787 Sigmoid函数通过下式能够映射到(1,1)范围：双曲正切函数的表达式为：(-1 f(x)0。存在正整数N和常数Ci、i(i=1,2,N)和Wij(i=1,2,N;j=1,2,n)使：(3.3.16)成立。此定理说明对于任意0，存在一个三层网络，其隐单元的输出函数为(X)，输入输出单元为线性的，对于任意连续映射f：Rn

13、Rm，在任意的有界闭集合上能以任意精度逼近。5987 BP算法虽然简单，对各个方面都有重要意义，但是它存在有以下问题：1从数学上看它是一个非线性优化的问题，这就不可避免地存在局部极小的问题。2学习算法的收敛速度很慢，通常需要几千步迭代或更多。3网络的运行还是单向传播，没有反馈，目前这种模型并不是一个非线性动力学系统，只是一个非线性映射。6087 4网络的隐节点数目选取尚无理论上的指导，而是根据经验或实验选取。5对于新加入的样本要影响已经学完的样本，不能在线学习，同时描述每一个样本的特征数目也要求必须相同。61873.4 误差逆传播算法误差逆传播算法(BP算法算法)的若干改进的若干改进 3.4.

14、1 基于全局学习速率自适应调整的基于全局学习速率自适应调整的BP算法算法 3.4.2 基于局部学习速率自适应调整的基于局部学习速率自适应调整的BP算法算法 3.4.3 BI(Back Impedance)算法算法 62873.4.1 基于全局学习速率自适应调整的基于全局学习速率自适应调整的BP算法算法 1加入动量项 其中，为动量系数，一般取0.9左右。引入这个动量项之后，使得调节向着底部的平均方向变化，不致产生大的摆动，即动量起到缓冲平滑的作用。若系统进入误差曲面的平坦区，那么误差将变化很小，于是(t+1)近似等于(t)，而平均的将变为：式中-/(1-)变化大，将调节尽快脱离饱和区和截至区。6

15、3872学习速率的经验公式法 对于批处理更新的学习速率，是基于相类似训练模式产生类似梯度的假设。=1.5/=0.9 3学习速率渐小法 从大的学习速率(0)开始，在训练期间，这个值减小到大约(0)/(t+1)，后来为(t)=(0)/(t+1)6487 4渐进自适应学习速率 用一种简单的进化策略来调节学习速率。从某个值开始，下一步更新通过用增加和减小学习速率去完成。产生比较好性能中的一个被用作为下一步更新的起始点：创建两个一样的网络和初始学习速率。按下式调节两个网络的权。6587 如果两者总误差已经得到增加(回溯)，放弃这些网络并重新起动以前的网络和初始学习速率。在减小总误差的情况下，用具有比较小

16、的总误差的网络以及学习速率以启动下一个学习步。66873.4.2 基于局部学习速率自适应调整的基于局部学习速率自适应调整的BP算法算法 1基于符号变换的学习速率自适应 工作步骤如下：对每个权值，选择某个小初值ij(0)；修改学习速率 ij(t)=ij(t-1)u 如果 否则6787 更新连接 只要保持 u1/d，选择合适的参数和是很容易的。推荐的值分别是1.11.3或者0.70.9。如果总误差增加。用回溯策略重新起动更新步骤，对于这种重新起动，所有学习速率被减半。2DeltaBarDelta技术 DeltaBarDelta方法通过观察指数平均梯度的符号变化来控制学习速率。通过加入常值代替乘这个

17、值来提高学习速率：对每个权重，选择某个小的初值ij(0)6887 修改学习速率如果 如果 其他 其中(t)表示指数平均梯度：6987 更新连接 对于u推荐很不同的值(5.0，0.095，0.085，0.035)，对于d，采用(0.9，0.85，0.666)和对于采用0.7。特别是难于找到合适的u，小的值可能产生慢自适应，而大的值危及学习过程。70873.4.3 BI(Back Impedance)算法算法 1BI算法算法 给权值赋予一个小的随机数。给定输入函数值与相应的输出函数值。计算每个节点的输出值，计算输出层节点的误差项，7187 调整权值 Wij(t+1)=Wij(t)+aj Yi+b(

18、Wij(t)-Wij(t-1)+c(Wij(t-1)-Wij(t-2)式中，a学习率，相当于梯度下降算法中的学习步长；b影响从“前一次”权值改变到“当前”权值的权值空间运动方向，是影响权值变化的一个常数；c 影响从“再前一次”权值改变到“前一次”权值的权值空间运动方向，也是影响权值变化的常数。a、b、c三个常数满足下列关系，则收敛速度会加快：a=1/(1+J+M+D)b=(2J+M)/(J+M+D)c=J/(J+M+D)7287 式中J、M、D满足：给定另一输入函数值，返回。所有的输入函数值循环进行计算，直至所有权值稳定，网络误差达到预定精度算法结束。7387 图图 3.18 网络结构网络结构

19、7487 2算法应用于函数非线性变换 网络的输入函数为：式中X=0,1，A、B、C是常数，网络的期望输出函数为：D=KX+P。取A=0.5,B=0.75,C=3,K=-5,P=12。使用BI算法，运行结果见下表3.6，精度达到99.206%。7587表表 3.5 使用算法函数非线性变换的运行结果使用算法函数非线性变换的运行结果 输入值输入值实际输出值实际输出值期望输出值期望输出值误差误差X=2.23924Y=11.89190T=12.00000E=0.10810X=2.22559Y=11.87502T=11.87500E=0.00002X=2.18502Y=11.82476T=11.75000

20、E=0.07476X=2.11860Y=11.74228T=11.62500E=0.11728X=2.02810Y=11.62998T=11.50000E=0.12998X=1.91583Y=11.49186T=11.37500E=0.11686X=1.43210Y=7.20418T=7.12500E=0.07918X=1.46002Y=7.12972T=7.00000E=0.1297276873.5 前馈型神经网络结构设计方法前馈型神经网络结构设计方法 3.5.1 输入层和输出层的设计方法输入层和输出层的设计方法 3.5.2 隐层数和层内节点数的选择隐层数和层内节点数的选择 77873.5.

21、1 输入层和输出层的设计方法输入层和输出层的设计方法 输出层维数应根据使用者的要求来设计，如果网络用作分类器，其类别数为m，那么一般取m个神经元，其训练样本集中的x。xj属于第j类，要求其输出为：即第j个输出为1，其他输出为0，此外，输出神经元还可根据类别进行编码，即m类的输出只要用log2 m个输出节点即可。78873.5.2 隐层数和层内节点数的选择隐层数和层内节点数的选择 一、隐层数的选择一、隐层数的选择 定理3.4 假定隐层的节点数可以根据需要自由设置，那么用三层S状的I/O特性的节点，可以以任意精度逼近任何连续函数。二、隐层内节点数的确定二、隐层内节点数的确定 有一种设计是采用逐步增

22、长和逐步修剪法来调整隐单元数目，初始时使用足够多的隐单元，然后在学习过程中逐步修剪掉那些不起作用的隐单元，一直减少到不可收缩为止。也可以在初始时设定较少的隐单元，学习一定次数后，不成功后再逐步增加隐单元数，一直到增加到比较合理的隐单元数为止。7987 另一种方法是使用遗传算法来确定网络的隐层数和隐层单元数，即把这些待定的数目编码成染色体的基因，然后通过遗传操作来优化网络结构，以确定隐层数和隐单元数。下面介绍几种方法，可作参考：下面介绍几种方法，可作参考：（l）1987年HechtNielsen在讨论了具有单隐层的ANN的功能之后，指出它可实现输入的任意函数，并提出隐含层节点的数目为2N+1，其

23、中N为输入的节点数。8087 （2）1987年RPLinnmann利用他对多层网络功能的几何解释，提出了对隐含层节点数的估算。对于一个图形识别问题，假设输出判别边界是任意的形状，那么平均来说，由于每个非凸域的输出边界是靠组合第二隐层的两个凸子域形成的，所以，第二隐层的节点数应为M2，这里M为输出层的节点数。在模式分类中，有 H=log2T 的近似关系，其中H为隐单元数；T为输入训练模式数。（3）1988年Kuarycki根据其实验发现，在高维输入时，第一隐层对第二隐层的最佳节点数比例为3：1。8187 例如，由两个隐层的BP算法的神经元网络实现图形识别时，设输入节点为20和输出节点为8时，按L

24、innmann的关系，第二隐层的节点数为 M2=82=16，根据Kuarycki的推论，第一隐层的节点数应为3（M2）=48个。（4）用于统计过程控制的ANN 1990年Nelson和Illingworth建议隐含层节点数应为4N。对于图形识别的ANN，隐含层节点数大为减少，当输入维数较高时，节点数最少可达到0.02N。例如，在贷款评估的网络中，输入节点为4，那么隐含层节点均取44=16，并在图形识别的例子中，输入节点数为64，第一隐含层节点数取64，第二隐含层节点数取20。8287 （5）对于医疗诊断，不少人作了研究，认为用具有单隐含层的网络就可得到满意结果。这种单隐含层网络的输出的判决域通

25、常是凸域。下面介绍几种选择单隐含层节点数目的估值方法如下：Lippmann认为最大隐含层节点的数目为M1(N+1)。Kuarycki认为最大隐含层节点的数目为M13。A.J.Maren等人认为，对小型网络来说，输入节点数大于输出节点数时，最佳隐含层节点数等于输入和输出节点的几何平均值即(M1N)1/2。M1为输出层节点数。8387 （6）下面几个公式也可供选择隐含层单元数参考 n Kn1，Cin1=0。，其中m为输出层神经元数，n为输入层单元数，为1至10间的常数。n1=log2n，n为输入层神经元数，用于数据压缩的网络。隐单元数与输入单元数的比为其数据压缩比，常使用此公式。8487 还有一种

26、方法就是使隐含单元数可变。一种是开始放入足够的隐含单元，然后把学习后那些不起作用的隐含单元逐步去掉，一直减少到不可收缩为止。另一种是在开始放入比较少的隐含单元，学习一定次数后，还不成功就要增加隐含单元个数，一直达到比较合理的隐含单元数为止。这样做对于用硬件完成BP多层网有一定的好处，但是对于结构的选定所花的时间比较长，这属于一种变结构类型。8587 三、初始权值的选取三、初始权值的选取 由于系统是非线性的，初始值对于学习是否达到全局最小或是否能够收敛关系很大。一般情况下，希望初始权值在输入累加时使每个神经元的状态接近于零，这样开始时在误差曲面上不落到那些平坦区上。权值一般取较小的随机数，这样可

27、以保证每个神经元在一开始时都在转移函数变化最大的区域进行。对于输入样本要进行归一化处理，使得那些比较大的输入值或者太小的输入值不至于使得神经元过于饱和或截止，应能使输入落在神经元转移函数梯度最大的那些区域。8687作业作业1、说明多层感知器的基本作用和思想，并给出其学习算法的数学描述。2、说明BP算法和梯度下降法的基本关系。3、利用梯度下降算法求出下面函数的极小值：z=2exp(x2+y2),x,y5,+5要求给出基本框图和伪代码。8787上机编程事项上机编程事项-1利用BP算法处理二分类问题l利用BP算法解决简单分类问题，如给定一些数据，然后编程实现分类；l或者利用神经网络构造映射关系。我们

28、将研究分类问题。输入的基本数据形式：(XK,TK)例如：(x1,x2,x3,x4,x5,t)(X,T)。具体例子：(0.6,1.6,4.5,2.0,10.5,1)(0.3,1.2,3.5,3.0,7.5,0)(0.8,1.7,4.9,2.2,11.5,1).(0.1,1.5,3.8,3.5,6.5,0)8887上机编程事项上机编程事项-2具体方法：1.1.初始化：设定学习次数t=0；对网络权值和阈值赋于小的随机数，Wij(t)1,1、Wjk(t)1,1,j(t)1,1,k(t)1,1。2.输入一个学习样本(XK,TK),其中K1,2,N、N为样本数，XKRn，TKRm3.计算隐层各节点的输出值：4.计算输出层节点的输出：8987上机编程事项上机编程事项-35.计算输出误差说明：该误差可以在计算样本输出时同时算出，即E=E+(TkYk3)6.计算误差对于各个权值的偏导数7.按照前述方法修改权值，令t=t+1;8.判断是否满足停止条件；若满足，停止；否则，返回步骤2，继续训练。9087