人工神经网络讲稿ch优秀PPT.ppt

《人工神经网络讲稿ch优秀PPT.ppt》由会员分享，可在线阅读，更多相关《人工神经网络讲稿ch优秀PPT.ppt（43页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第4章章BP网络网络 主要内容：主要内容：BP网络的构成网络的构成隐藏层权的调整分析隐藏层权的调整分析Delta规则理论推导规则理论推导算法的收敛速度及其改进探讨算法的收敛速度及其改进探讨BP网络中的几个重要问题网络中的几个重要问题重点：重点：BP算法算法难点：难点：Delta规则的理论推导规则的理论推导10/30/202214.1概述概述 1、BP算法的出现算法的出现非循环多级网络的训练算法非循环多级网络的训练算法UCSDPDP小小 组组 的的 Rumelhart、Hinton和和Williams1986年年独独立立地地给给出出了了BP算算法法清清晰晰而而简简洁洁的的描述描述1982年，年

2、，Paker就完成了相像的工作就完成了相像的工作1974年，年，Werbos已提出了该方法已提出了该方法2、弱弱点点：训训练练速速度度特特殊殊慢慢、局局部部微微小小点点的的逃逃离离问问题题、算法不确定收敛算法不确定收敛3、优点：广泛的适应性和有效性。、优点：广泛的适应性和有效性。10/30/202224.2基本基本BP算法算法 4.2.1网络的构成网络的构成 神经元的网络输入：神经元的网络输入：neti=x1w1i+x2w2i+xnwni神经元的输出：神经元的输出：10/30/20223输出函数分析输出函数分析0.5f(net)0.25o011（0,0.5）net（0,0）o应应当当将将net

3、net的的值值尽尽量量限限制制在在收收敛敛比比较较快快的的范范围围内内可可以以用用其其它它的的函函数数作作为为激激活活函函数数，只只要要该该函函数数是到处可导的是到处可导的10/30/20224网络的拓扑结构网络的拓扑结构x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxnW(1)W(2)W(3)W(L)10/30/20225网络的拓扑结构网络的拓扑结构 1.BP网的结构网的结构2.输输入入向向量量、输输出出向向量量的的维维数数、网网络络隐隐藏藏层层的层数和各个隐藏层神经元的个数的确定的层数和各个隐藏层神经元的个数的确定3.试试验验：增增加加隐隐藏藏层层的的层层数数和和隐隐藏藏层层神神

4、经经元元个个数数不不确确定定总总能能够够提提高高网网络络精精度度和和表表达达实实力力4.BP网一般都选用二级网络网一般都选用二级网络10/30/20226网络的拓扑结构网络的拓扑结构x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxnWV10/30/202274.2.2训练过程概述训练过程概述 样本：样本：(输入向量，志向输出向量输入向量，志向输出向量)权初始化：权初始化：“小随机数小随机数”与饱和状态；与饱和状态；“不不同同”保证网络可以学。保证网络可以学。1、向前传播阶段：、向前传播阶段：（1）从样本集中取一个样本）从样本集中取一个样本(Xp，Yp)，将，将Xp输入网络；输入网络；

5、（2）计算相应的实际输出）计算相应的实际输出Op：Op=Fl(F2(F1(XpW(1)W(2)W(L)10/30/202284.2.2训练过程概述训练过程概述 2 2、向后传播阶段、向后传播阶段误差传播阶段：误差传播阶段：（1 1）计计算算实实际际输输出出OpOp与与相相应应的的志志向向输输出出YpYp的的差；差；（2 2）按微小化误差的方式调整权矩阵。）按微小化误差的方式调整权矩阵。（3 3）网络关于第）网络关于第p p个样本的误差测度：个样本的误差测度：（4）网络关于整个样本集的误差测度：网络关于整个样本集的误差测度：10/30/202294.2.3误差传播分析误差传播分析 1、输出层权的

6、调整、输出层权的调整wpq=wpq+wpqwpq=qop=fn(netq)(yq-oq)op=oq(1-oq)(yq-oq)op wpqANpANq第第L-1层层第第L层层wpq10/30/2022102 2、隐藏层权的调整、隐藏层权的调整 ANpANqANhvhppk-11kwp1wpqqkwpmmk第第k-2层层第第k层层第第k-1层层10/30/2022112 2、隐藏层权的调整、隐藏层权的调整pk-1的值和的值和1k，2k，mk有关有关不妨认为不妨认为pk-1通过权通过权wp1对对1k做出贡献，做出贡献，通过权通过权wp2对对2k做出贡献，做出贡献，通过权通过权wpm对对mk做出贡献。

7、做出贡献。pk-1=fk-1(netp)(wp11k+wp22k+wpmmk)10/30/2022122 2、隐藏层权的调整、隐藏层权的调整vhp=vhp+vhpvhp=pk-1ohk-2=fk-1(netp)(wp11k+wp22k+wpmmk)ohk-2=opk-1(1-opk-1)(wp11k+wp22k+wpmmk)ohk-2ANpANqANhvhppk-11kwp1wpmqkwpqmk第第k-2层层第第k层层第第k-1层层10/30/2022134.2.4基本的基本的BP算法算法 样本集：样本集：S=(X1,Y1),(X2,Y2),(Xs,Ys)基本思想基本思想：逐一地依据样本集中的

8、样本逐一地依据样本集中的样本(Xk,Yk)计算出实计算出实际输出际输出Ok和误差测度和误差测度E1，对，对W(1)，W(2)，W(L)各做一次调整，重复这个循环，直各做一次调整，重复这个循环，直到到Epdo4.1E=0;10/30/202215算法算法4-1基本基本BP算法算法4.2对对S中的每一个样本（中的每一个样本（Xp,Yp）：）：4.2.1计算出计算出Xp对应的实际输出对应的实际输出Op；4.2.2计算出计算出Ep；4.2.3E=E+Ep；4.2.4依据相应式子调整依据相应式子调整W(L)；4.2.5k=L-1；4.2.6whilek0do4.2.6.1依据相应式子调整依据相应式子调整

9、W(k)；4.2.6.2k=k-14.3E=E/2.010/30/2022164.3算法的改进算法的改进 1、BP网网络络接接受受样样本本的的依依次次对对训训练练结结果果有有较较大大影响。它更影响。它更“偏爱偏爱”较后出现的样本较后出现的样本2、给给集集中中的的样样本本支支配配一一个个适适当当的的依依次次，是是特特殊殊困难的。困难的。3、样样本本依依次次影影响响结结果果的的缘缘由由：“分分别别”、“依依次次”4、用用(X1,Y1)，（X2,Y2），（Xs,Ys）的的“总效果总效果”修改修改W(1)，W(2)，W(L)。w(k)ij=pw(k)ij10/30/202217算法算法4-2 4-2

10、消退样本依次影响的消退样本依次影响的BPBP算法算法 1fork=1toLdo1.1初始化初始化W(k)；2初始化精度限制参数初始化精度限制参数；3E=+1;4whileEdo4.1E=0;4.2对全部的对全部的i，j，k：w(k)ij=0；10/30/2022184.3对对S中的每一个样本（中的每一个样本（Xp,Yp）：）：4.3.1计算出计算出Xp对应的实际输出对应的实际输出Op；4.3.2计算出计算出Ep；4.3.3E=E+Ep；4.3.4对全部对全部i，j依据相应式子计算依据相应式子计算pw(L)ij；4.3.5对对全全部部i，j：w(L)ij=w(L)ij+pw(L)ij；4.3.6

11、k=L-1；4.3.7whilek0do4.3.7.1对对全全部部i,j依依据据相相应应式式子子计计算算pw(k)ij；4.3.7.2对对全全部部i,j：w(k)ij=w(k)ij+pw(k)ij；4.3.7.3k=k-14.4对全部对全部i，j，k：w(k)ij=w(k)ij+w(k)ij;4.5E=E/2.010/30/202219算法算法4-2分析分析 较好地解决了因样本的依次引起的精度问较好地解决了因样本的依次引起的精度问题和训练的抖动问题题和训练的抖动问题 收敛速度：比较慢收敛速度：比较慢偏移量：给每一个神经元增加一个偏移量偏移量：给每一个神经元增加一个偏移量来加快收敛速度来加快收敛

12、速度 冲量：联接权的本次修改要考虑上次修改冲量：联接权的本次修改要考虑上次修改的影响，以削减抖动问题的影响，以削减抖动问题 10/30/202220算法算法4-2分析分析冲量设置冲量设置Rumelhart等人等人1986年年wij=joi+wijwij为上一次的修改量，为上一次的修改量，为冲量系数，一般可为冲量系数，一般可取到取到0.9 Sejnowski与与Rosenberg，1987年年wij=(1-)joi+wij)wij也是上一次的修改量，也是上一次的修改量，在在0和和1之间取值之间取值 10/30/2022214.4算法的实现算法的实现 主要数据结构主要数据结构WH，m输出层的权矩阵

13、；输出层的权矩阵；Vn，H输入（隐藏）层的权矩阵；输入（隐藏）层的权矩阵；om输出层各联接权的修改量组成的向量；输出层各联接权的修改量组成的向量；hH隐藏层各联接权的修改量组成的向量；隐藏层各联接权的修改量组成的向量；O1隐藏层的输出向量；隐藏层的输出向量；O2输出层的输出向量；输出层的输出向量；(X，Y)一个样本。一个样本。10/30/202222算法的主要实现步骤算法的主要实现步骤 1 1用不同的小伪随机数初始化用不同的小伪随机数初始化W W，V V；2 2初始化精度限制参数初始化精度限制参数；学习率；学习率 ；3 3循环限制参数循环限制参数E=+1E=+1；循环最大次数；循环最大次数M

14、M；循环次数限制参数循环次数限制参数N=0N=0；4 4while E&N&N0，此时，此时wij0取取E0wij10/30/202230而其中的而其中的所以，所以，最速下降法，要求最速下降法，要求E E的微小点的微小点10/30/202231令令所以所以wij=joi为学习率为学习率最速下降法，要求最速下降法，要求E E的微小点的微小点10/30/202232ANj为输出层神经元为输出层神经元 oj=f(netj)简洁得到简洁得到从而从而10/30/202233ANj为输出层神经元为输出层神经元10/30/202234所以，所以，故，当故，当ANjANj为输出层的神经元时，它对应为输出层的神

15、经元时，它对应的联接权的联接权wijwij应当依据下列公式进行调整：应当依据下列公式进行调整：ANj为输出层神经元为输出层神经元10/30/202235ANj为隐藏层神经元为隐藏层神经元 函数10/30/202236ANj为隐藏层神经元为隐藏层神经元netk=oio2o1oHhnetk是是oj下一级的神下一级的神经元的网络输入经元的网络输入oj10/30/202237ANj为隐藏层神经元为隐藏层神经元10/30/202238ANj为隐藏层神经元为隐藏层神经元10/30/202239ANj为隐藏层神经元为隐藏层神经元10/30/2022404.6 几个问题的探讨几个问题的探讨 收敛速度问题收敛速

16、度问题局部微小点问题局部微小点问题逃离逃离/避开局部微小点：修改避开局部微小点：修改W、V的初值的初值并不是总有效。并不是总有效。逃离逃离统计方法；统计方法；Wasserman，1986将将Cauchy训练与训练与BP算法结合起来，可以在保算法结合起来，可以在保证训练速度不被降低的状况下，找到全局证训练速度不被降低的状况下，找到全局微小点。微小点。10/30/2022414.6 几个问题的探讨几个问题的探讨 网络瘫痪问题网络瘫痪问题在训练中，权可能变得很大，这会使神经在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激元的网络输入变得很大，从而又使得其激活函数的导函数在此点

17、上的取值很小。依活函数的导函数在此点上的取值很小。依据相应式子，此时的训练步长会变得特殊据相应式子，此时的训练步长会变得特殊小，进而将导致训练速度降得特殊低，最小，进而将导致训练速度降得特殊低，最终导致网络停止收敛终导致网络停止收敛稳定性问题稳定性问题用修改量的综合实施权的修改用修改量的综合实施权的修改连续变更的环境，它将变成无效的连续变更的环境，它将变成无效的10/30/2022424.6几个问题的探讨几个问题的探讨步长问题步长问题BP网络的收敛是基于无穷小的权修改量网络的收敛是基于无穷小的权修改量步长太小，收敛就特殊慢步长太小，收敛就特殊慢步长太大，可能会导致网络的瘫痪和不稳步长太大，可能会导致网络的瘫痪和不稳定定自适应步长，使得权修改量能随着网络的自适应步长，使得权修改量能随着网络的训练而不断变更。训练而不断变更。1988年，年，Wasserman10/30/202243