ANN中文学习教程.pptx

《ANN中文学习教程.pptx》由会员分享，可在线阅读，更多相关《ANN中文学习教程.pptx（44页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、典型工作典型工作:Warren McCulloch and Walter Pitts:M-P模型模型Donald Hebb:Hebb learning rule(Hebb学习律学习律)Frank Ronsenblatt:Perceptron(感知器感知器)Bernald Widrow and Ted Hoff:adaptive linear neural networks(自适应线性神经网络自适应线性神经网络),Widrow-Hoff learning rule(Widrow-Hoff学习律学习律).第1页/共44页低谷时期低谷时期(1960-1980)然而然而Rosenblatt和和Widr

2、ow的网络都有同样的局限的网络都有同样的局限性性.这个问题随着下面这本书的出版而广为人知这个问题随着下面这本书的出版而广为人知:M.Minsky and S.Papert,Perceptrons,Cambridge,MA:MIT Press,1969Rosenblatt和和Widow也清楚这些局限也清楚这些局限,他们提出他们提出了新的网络了新的网络.但新网络更复杂但新网络更复杂,针对旧网络提出的针对旧网络提出的学习算法不再适应新网络的训练学习算法不再适应新网络的训练.遗憾的是他们遗憾的是他们没能成功地改进学习算法没能成功地改进学习算法.第2页/共44页许多研究者受到许多研究者受到Minsky和

3、和Papert的影响的影响,相信继续研相信继续研究神经网络是一条死路究神经网络是一条死路.当时没有功能强大的数字计算机来做实验也是制约当时没有功能强大的数字计算机来做实验也是制约神经网络领域研究的一个原因神经网络领域研究的一个原因.这一阶段仍然有一些重要的工作这一阶段仍然有一些重要的工作:1972年年,Teuvo Kohonen和和James Anderson分别独立分别独立地提出了一种可以作为记忆器的新网络地提出了一种可以作为记忆器的新网络.Stephen Grossberg在自组织网络方面的研究也很活在自组织网络方面的研究也很活跃跃.第3页/共44页复兴时期复兴时期(1980以来以来)个人

4、计算机和工作站越来越普及个人计算机和工作站越来越普及,其功能越来越强大其功能越来越强大,.而且提出了一些重要的新概念而且提出了一些重要的新概念.John Hopfield:Hopfield network(1982)David Rumelhart和和James McClelland(1986):Backpropagation algorithm(反传算法反传算法,BP算法算法).(还还有其他几位研究者相互独立地发现了该算法有其他几位研究者相互独立地发现了该算法)发表了成千上万的相关论文发表了成千上万的相关论文.第4页/共44页Soft Computing(软计算)Artificial neur

5、al network(人工神经网络)Fuzzy systems(模糊系统)Evolution computing(进化算法)第5页/共44页应用1988年年,DARPF Neural Network study 列出了神列出了神经网络的许多应用经网络的许多应用其中一个成功的商业应用是其中一个成功的商业应用是:1984年年,自适应信道自适应信道均衡器均衡器文献中提到的应用领域包括文献中提到的应用领域包括:航空航空,汽车汽车,银行银行,国防国防,电子电子,娱乐娱乐,金融金融,保险保险,制造制造,医药医药,石油石油,机器人技术机器人技术,通讯通讯,运输等等运输等等第6页/共44页神经元(Neuron

6、)神经元组成神经网络的基本信息处理单元.第7页/共44页n=w1,1p1+w1,2p2+w1,RpR+b,n=Wp+ba=f(n)=f(Wp+b)输入输入:p1,p2,pRp=(p1,p2,pR)T权重权重:w1,1,w1,2,w1,RW=(w1,1,w1,2,w1,R)偏置偏置:b激励函数激励函数:fp*=(1,p1,p2,pR)T,W*=(b,w1,1,w1,2,w1,R)n=W*p*,a=f(n)=f(W*p*)第8页/共44页激励函数函数名输入/输出关系 图标MATLAB 函数Hard Limita=0,n=0hardlimSymmetrical Hard Limita=-1,n=0h

7、ardlimsLineara=npurelinSaturating Lineara=0,n 0a=n,0=n1satlin第9页/共44页函数名输入/输出关系 图标MATLAB 函数Symmetric Saturating Lineara=-1,n -1a=n,-1=n 1satlinsLog-Sigmoid 1 1+e-nlogsigHyoerbolic Tangent Sigmoid en e-n en+e-ntansigPositive Lineara=0,n=0poslinCompetitivea=1,neuron with max na=0,all other neuronscomp

8、eta=a=C第10页/共44页网络结构单层神经元W=w1,1w1,2w1,Rw2,1w2,2w2,RwS,1wS,2wS,Ra=f(Wp+b)b=(b1,b2,bs)Ta=(a1,a2,as)Tf(.)=(f1(.),f2(.),fS(.)T第11页/共44页单层神经元单层神经元第12页/共44页多层神经元第13页/共44页输入层隐层输出层第14页/共44页递归网络延时单元延时单元积分单元积分单元第15页/共44页一种离散时间循环网络一种离散时间循环网络:初始条件初始条件:a(0)=p网络将来的输出由它之前的输出计算网络将来的输出由它之前的输出计算:a(1)=satlins(Wa(0)+b)

9、,a(2)=satlin(Wa(1)+b),第16页/共44页学习律有监督(教师)的学习(Supervised Learning)训练集:p1,t1,p2,t2,pQ.tQReinforcement Learning对网络的每个输入,这种学习算法不提供当前的正确输出,只是给出一个等级.无监督(教师)的学习(Unsupervised Learning)权重和偏置的修改仅与网络的输入有关第17页/共44页多层感知器模式划分模式划分函数逼近函数逼近第18页/共44页Universal Approximation Theorem:设设 ()是有界单调增的连续函数是有界单调增的连续函数,而且而且()不是

10、常数不是常数,则对任则对任意给定的意给定的n-维单位超立方体维单位超立方体0,1n 上的连续函数上的连续函数f,有有:对任意对任意给定的给定的 0,存在整数存在整数m 和实常和实常 数数 i,bi,wij,其中其中i=1,m,j=1,n,使得使得是函数是函数f()的近似的近似,满足满足|F(x1,xn)f(x1,xn)|只要隐层神经元足够过只要隐层神经元足够过,隐层激励函数隐层激励函数sigmoid函函数数,输出层激励函数是线性函数的两层网络实质输出层激励函数是线性函数的两层网络实质上可以逼近任意函数到任意精度上可以逼近任意函数到任意精度.第19页/共44页反传算法反传算法(BP算法算法)训练

11、数据训练数据:p1,t1,p2,t2,pQ,tQ均方误差均方误差:E(eTe)=E(t a)T(t a)均方误差可由下式近似均方误差可由下式近似(k)=(t(k)a(k)T(t(k)a(k)=eT(k)e(k)学习律学习律:w(k+1)=w(k)第20页/共44页计算计算和和于是于是 f令令 对第对第m层第层第i个神经元的输个神经元的输入入nim 变化的敏感度变化的敏感度第21页/共44页敏感度的反传敏感度的反传1.若第若第m层是输出层层是输出层:(m=M)第22页/共44页2.隐层隐层:敏感度是由最后一层反传至第一层的敏感度是由最后一层反传至第一层的:sM sM-1 s2 s1第23页/共4

12、4页Log-sigmoid 激励函数激励函数:=f(n)(1 f(n)Hyperbolic tangent sigmoid 激励函数激励函数:=(1 f(n)(1+f(n)第24页/共44页反传反传(BP)算法总结算法总结:初始化初始化给出训练数据前向计算反向计算迭代通常初始权重和偏置选为小随机数通常初始权重和偏置选为小随机数第25页/共44页应用反传算法应用反传算法选择网络结构选择网络结构要达到足够的性能，需要多少层，每层要多要达到足够的性能，需要多少层，每层要多少个神经元？少个神经元？例例 1:,2 p 2其中其中 i=1,2,4,8.只有一个隐层只有一个隐层,隐层激励函数为隐层激励函数为

13、log-sigmoid函数函数,输出层激励函数为线性函数输出层激励函数为线性函数.第26页/共44页用用1-3-1网络作函数逼近网络作函数逼近第27页/共44页例例2:for 2 p 2隐层神经元个数增加的效果隐层神经元个数增加的效果:第28页/共44页收敛性收敛性g(p)=1+sin(p),2 p 2收敛的全局最小收敛的全局最小收敛到局部极小收敛到局部极小第29页/共44页网络确实可以逼近给定的函数网络确实可以逼近给定的函数,但学习算法没有收敛但学习算法没有收敛到使网络有良好逼近性能的网络参数到使网络有良好逼近性能的网络参数.即使反传算法收敛了即使反传算法收敛了,我们也我们也不能确保不能确保

14、得到了一个得到了一个最优解最优解.可以采用不同的初始条件多试几次可以采用不同的初始条件多试几次,以保证以保证得到最优解得到最优解.第30页/共44页Generalization例例:,2 p 2对上面的函数在点对上面的函数在点 p=2,1.6,1.2,1.6,2 处处采样得到训练集采样得到训练集.1-2-1 Network1-9-1 Network,overfit第31页/共44页如果要一个网络的推广性能好如果要一个网络的推广性能好,那么它所含参数的那么它所含参数的个数应小于训练集中数据点的个数个数应小于训练集中数据点的个数.小网络就可以完成的工作小网络就可以完成的工作,就不要用大网络就不要用

15、大网络训练集与测试集训练集与测试集第32页/共44页反传算法的一些改进反传算法的一些改进Momentum(0 1)可变学习率可变学习率共轭梯度共轭梯度Levenberg-Marquardt 算法算法牛顿方法牛顿方法第33页/共44页MATLAB 函数函数Net=newff(PR,S1 S2 SN,TF1 TF2 TF3,BTF,PF)PR:R 2 矩阵矩阵,由由R个输入元素的最小和最大允许个输入元素的最小和最大允许值构成值构成.Si:总共总共N层层,其中第其中第 i 层的神经元个数层的神经元个数.TFi:第第 i 层的激励函数层的激励函数,默认值为默认值为tansig.BTF:反传网络训练函数

16、反传网络训练函数,默认值为默认值为trainlm.PF:性能函数性能函数,默认值为默认值为mse.该函数返回一个该函数返回一个N层的前馈层的前馈BP网络网络.第34页/共44页例例P=0 1 2 3 4 5 6 7 8 9 10;T=0 1 2 3 4 3 2 1 2 3 4;net=newff(0 10,5 1,tansig purelin);Y=sim(net,P);plot(P,T,P,Y,o)net.trainParam.epochs=50;net=train(net,P,T);Y=sim(net,P);plot(P,T,P,Y,o)第35页/共44页径向基函数网络 bw1wjwmp1

17、p2pn-1pnaGGG第36页/共44页用用MATLAB进行精确设计进行精确设计:Net=newrbe(P,T,SPREAD)P:训练集中的输入向量训练集中的输入向量T:对应的目标向量对应的目标向量(期望输出期望输出)SPREAD:spread constant.G(SPREAD)=0.5.默认值默认值=1.Net:一个当输入是一个当输入是P时时,输出就是输出就是T的径向基网络的径向基网络.第37页/共44页函数函数 newrbe 生成的网络其隐层神经元个数与训生成的网络其隐层神经元个数与训练集中输入向量的个数一样多练集中输入向量的个数一样多.我们在实际工作中遇到的典型情况是我们在实际工作中

18、遇到的典型情况是:训练集中有训练集中有大量的输入大量的输入-目标输出向量对目标输出向量对,需要用这些数据来得需要用这些数据来得到合适的径向基网络到合适的径向基网络.用函数用函数newrbe所得到的网络所得到的网络隐层神经元就会太多隐层神经元就会太多,一般是不可接受的解一般是不可接受的解.Generalization第38页/共44页更有效的设计更有效的设计Net=newrb(P,T,GOAL,SPREAD)在每次迭代时在每次迭代时,使网络误差下降最多的那个输入向量用来产使网络误差下降最多的那个输入向量用来产生一个径向基神经元生一个径向基神经元.检查新网络的误差检查新网络的误差.如果误差已经足够

19、小如果误差已经足够小,newrb就结束运算就结束运算,否则就加入下一个神经元否则就加入下一个神经元.重复这个过程重复这个过程,直到达到事先确定的误差标准直到达到事先确定的误差标准,或者达到可允或者达到可允许的最大神经元个数许的最大神经元个数.newrb 一次只产生一个神经元.第39页/共44页径向基网络径向基网络 vs.多层感知器多层感知器径向基网络一般比同性能的多层感知器需要更多的神经元.另一方面另一方面,设计径向基网络通常比训练多层感知设计径向基网络通常比训练多层感知器所需要的时间少器所需要的时间少,而且有时候也可能会只需要用而且有时候也可能会只需要用更少的神经元更少的神经元.第40页/共

20、44页例例P=-1:.1:1;T=-.9602-.5770-.0729.3771.6405.6600.4609 .1336-.2013-.4344-.5000-.3930-.1647.0988 .3072 .3960 .3449 .1816-.0312-.2189-.3201;subplot(2,2,1);plot(P,T,+);title(Training Vectors);xlabel(Input Vector P);ylabel(Target Vector T);p=-3:.1:3;a=radbas(p);subplot(2,2,2);plot(p,a)title(Radial Basi

21、s Transfer Function);xlabel(Input p);ylabel(Output a);第41页/共44页a2=radbas(p-1.5);a3=radbas(p+2);a4=a+a2*1+a3*0.5;subplot(2,2,3);plot(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m-)title(Weighted Sum of Radial Basis Transfer Functions);xlabel(Input p);ylabel(Output a);eg=0.02;%sum-squared error goalsc=1;%spread constantnet=newrb(P,T,eg,sc);subplot(2,2,4);plot(P,T,+);xlabel(Input);X=-1:.01:1;Y=sim(net,X);hold on;plot(X,Y);hold off;legend(Target,Output)第42页/共44页第43页/共44页感谢您的观赏！第44页/共44页