神经网络算法精品文稿.ppt

《神经网络算法精品文稿.ppt》由会员分享，可在线阅读，更多相关《神经网络算法精品文稿.ppt（17页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经网络算法第1页，本讲稿共17页神经网络方法简介与应用神经网络方法简介与应用n 神经网络方法概述神经网络方法概述n神经网络方法基础（以神经网络方法基础（以BP网络为例）网络为例）n神经网络方法应用举例（人脸和手写数字）神经网络方法应用举例（人脸和手写数字）n神经网络方法发展前景（功能柱神经网络方法发展前景（功能柱-神经场）神经场）第2页，本讲稿共17页 2121世纪世纪:智能科学智能科学(Nature 409,2001)第3页，本讲稿共17页人工神经元的基本构成人工神经元的基本构成胞体(Soma)枝蔓（Dendrite）胞体(Soma)轴突（轴突（Axon）突触（Synapse）人工神经元模

2、拟生物神经元的一阶特性人工神经元模拟生物神经元的一阶特性。n输入：输入：X=X=（x1x1，x2x2，xnxn）n联接权：联接权：W=W=（w1w1，w2w2，wnwn）T Tn网络输入：网络输入：net=xiwinet=xiwin向量形式：向量形式：net=XWnet=XWn激活函数：激活函数：f fn网络输出：网络输出：o=f o=f（netnet）InputsignalSynapticweightsSummingfunctionActivationfunctionLocalFieldvOutputox1x2xnw2wnw1w0 x0=+1第4页，本讲稿共17页1一组突触和联结，联结具有权

3、值 W1,W2,Wn2通过加法器功能，将计算输入的权值之和 net=xiwinet=xiwi3激励函数限制神经元输出的幅度o=f（net）第5页，本讲稿共17页典型激励函数典型激励函数netooc线性函数（Liner Function）f（net）=k*net+c-net o 非线性斜面函数（非线性斜面函数（RampFunction）a+b o(0,c)netac=a+b/2 S形函数 第6页，本讲稿共17页典型网络结构典型网络结构简单单级网x1x2xno1o2onwnmw11w1mw2mwn1输出层输入层第7页，本讲稿共17页输出层x1o1w11w1mx2o2w2mxnomwn1输入层V单级

4、横向反馈网第8页，本讲稿共17页多级网多级网输出层隐藏层输入层o1o2omx1x2xn第9页，本讲稿共17页循环网循环网x1o1输出层隐藏层输入层x2o2omxn第10页，本讲稿共17页基本基本BPBP算法算法非循环多级网络非循环多级网络n基本基本BPBP算法算法neti=x1w1i+x2w2i+xnwni第11页，本讲稿共17页BPBP网络拓扑结构网络拓扑结构x1o1输出层隐藏层输入层x2o2omxnWV第12页，本讲稿共17页BPBP网络训练过程（网络训练过程（1 1）n样本样本n权初始化权初始化n向前传播阶段向前传播阶段nOp=Fn(F2(F1(XpW(1)W(2)W(n)n误差测度误差

5、测度第13页，本讲稿共17页n向后传播阶段向后传播阶段误差传播阶段误差传播阶段n输出层权的调整输出层权的调整nwpq=qop=fn(netq)(yq-oq)op=oq(1-oq)(yq-oq)opn隐藏层权的调整隐藏层权的调整ANpANqANhvhppk-11kwp1wpqqkwpmmkvhp=opk-1(1-opk-1)(wp11k+wp22k+wpmmk)ohk-2BPBP网络训练过程（网络训练过程（2 2）第14页，本讲稿共17页基本基本BPBP算法实现算法实现n1fork=1toLdon1.1初始化初始化W(k)；n2初始化精度控制参数初始化精度控制参数；n3E=+1;n4whileE

6、don4.1E=0;4.2对对S中的每一个样本（中的每一个样本（Xp,Yp）：）：4.2.1计算出计算出Xp对应的实际输出对应的实际输出Op；4.2.2计算出计算出Ep；4.2.3E=E+Ep；4.2.4根据相应式子调整根据相应式子调整W(L)；4.2.5k=L-1；4.2.6whilek0do4.2.6.1根据相应式子调整根据相应式子调整W(k)；4.2.6.2k=k-14.3E=E/2.0第15页，本讲稿共17页n为什么叫为什么叫BP神经网络神经网络n我们最常用的神经网络就是BP网络，也叫多层前馈网络。BP是back propagation的所写，是反向传播的意思。有人比较糊涂，因为一直不

7、理解为啥一会叫前馈网络，一会叫BP（反向传播）网络，不是矛盾吗？其实是这样的，前馈是从网络结构上来说的，是前一层神经元单向馈入后一层神经元，而后面的神经元没有反馈到之前的神经元；而BP网络是从网络的训练方法上来说的，是指该网络的训练算法是反向传播算法，即神经元的链接权重的训练是从最后一层（输出层）开始，然后反向依次更新前一层的链接权重。因此二者并不矛盾，只是我没有理解其精髓而已。n随便提一下BP网络的强大威力：1）任何的布尔函数都可以由两层单元的网络准确表示，但是所需的隐藏层神经元的数量随网络输入数量呈指数级增长；2）任意连续函数都可由一个两层的网络以任意精度逼近。这里的两层网络是指隐藏层使用sigmoid单元、输出层使用非阈值的线性单元；3）任意函数都可由一个三层的网络以任意精度逼近。其两层隐藏层使用sigmoid单元、输出层使用非阈值的线性单元。n【注】参考自机器学习第16页，本讲稿共17页谢 谢！第17页，本讲稿共17页