人工神经网络HOPFIELD神经网络课件ppt.ppt
《人工神经网络HOPFIELD神经网络课件ppt.ppt》由会员分享,可在线阅读,更多相关《人工神经网络HOPFIELD神经网络课件ppt.ppt(86页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、武汉科技大学1人工神经网络(Artifical Neural Network)张凯 副教授武汉科技大学 计算机学院2要点简介要点简介1. 研究背景研究背景2. 离散离散Hopfield神经网络神经网络3. 连续连续Hopfield神经网络神经网络4. Hopfield网络求解网络求解TSP问题问题研究背景研究背景前几章介绍的神经网络模型属于前向神经网络,从学习的观点上看,它们是强有力的学习系统,结构简单,易于编程。从系统的观点看,它们属于一种静态的非线性映射,通过简单非线性处理单元的复合映射可获得复杂的非线性处理能力,但它们因缺乏反馈,所以并不是一个强有力的动力学系统。2022-7-263研究
2、背景研究背景Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.Hopfield教授于1982年提出,是一种单层反馈神经网络。2022-7-264研究背景研究背景1985年,J.J.Hopfield和D.W.Tank建立了相互连接型的神经网络模型,并用它成功地探讨了旅行商问题(TSP)的求解方法。2022-7-265研究背景研究背景Hopfield模型属于反馈型神经网络,从计算的角度上讲,它具有很强的计算能力。这样的系统着重关心的是系统的稳定性问题。稳定性是这类具有联想记忆功能神经网络模型的核心,学习记忆的过程就是系统向稳定状态发展的过程。Hopfield
3、网络可用于解决联想记忆和约束优化问题的求解。2022-7-266研究背景研究背景反馈型神经网络作为非线性动力学系统,可表现出丰富多样的动态特性,如稳定性、极限环、奇怪吸引子(混沌)等。这些特性是神经网络引起研究人员极大兴趣的原因之一。研究表明,由简单非线性神经元互连而成的反馈动力学神经网络系统具有两个重要特征:1. 系统有若干个稳定状态,如果从某一个初始状态开始运动,系统总可以进入其中某一个稳定状态;2. 系统的稳定状态可以通过改变各个神经元间的连接权值而得到。 研究背景研究背景Hopfield神经网络设计与应用的关键是对其动力学特性的正确理解:网络的稳定性是其重要性质,而能量函数是判定网络稳
4、定性的基本概念。Hopfield神经网络神经网络Hopfield网络分为离散型和连续型两种网络模型,分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。 2022-7-2692022-7-2610网络模型表示法一1x2xnx离散Hopfield神经网络结构图ix12in21w1nw1 iw12w2nw2iw1nwinw2nw2iw1iwniw1b1ib1nb12b1(状态)(阈值)(连接权值)离散离散Hopfield 神经网络神经网络2022-7-2611网络模型表示法二离
5、散离散Hopfield 神经网络神经网络网络中每个神经元的输出都与其它神经元的输入相连2022-7-2612反馈网络结构反馈网络结构(单层全反馈网单层全反馈网)反馈网络的特性反馈网络的特性网络输出不仅依赖网络参数和输入,还是时间的函数。对不同的输入和参数,网络的输出(或状态)可能 出现如下几种情况: 发散:网络状态的轨迹随时间一直延伸到无穷远; 混沌:网络状态随时间推移不能稳定,但又不发散, 而是在某个确定范围内变化,状态有无穷多个; 振荡:网络状态随时间呈现周期(环状)变化,永远不 会停止; 收敛:经过一段时间后,网络状态停止在一点上,不再 变化,称该点为网络的平衡点反馈网络的特性反馈网络的
6、特性平衡点可分为: 渐近稳定平衡点:在该平衡点周围区域内,从任意一初始点出发,当时间趋向无穷时都收敛到这个点。 不稳定平衡点:在某些特定的轨迹演化过程中,能够使网络达到该稳定点,但对该点其它方向上任一个无论多么小的区域,其轨迹在某个时刻以后总是偏离该点。 网络的稳定点解:网络最后是稳定到设计所要求的平衡点上,而且平衡点又是渐近稳定平衡点。 网络的伪稳定点:网络最后是稳定到一个稳定平衡点上,但这个稳定平衡点不是设计所要求的解。反馈网络的作用反馈网络的作用反馈网络是利用渐近稳定平衡点来解决某些问题 联想记忆:把渐近稳定平衡点视为一个记忆,从初始点朝这个渐近稳定平衡点流动的过程就是寻找该记忆的过程。
7、初始点可认为是给定的有关记忆的部分信息,这时就是从部分信息去寻找全部信息的联想记忆过程。 优化计算:把渐近稳定平衡点视为某能量函数的极小点,从初始点到达稳定点,可看作是稳定点把初始点吸引了过来,在初始点时,能量比较大,而吸引到稳定点时能量比较小,渐近稳定平衡点就可以作为一个优化目标函数的极小点。反馈网络研究的内容反馈网络研究的内容网络稳定性:即研究在什么条件下,网络不会出现发散、振荡和混沌现象。网络稳定点:非线性的网络可能有很多个稳定点,如何设计权使其中的某些稳定点是所要求的解。 对于用作联想记忆的网络,希望稳定点都是一个记忆,那么记忆容量就与稳定点的数目有关,若要求记忆容量大,稳定点的数目也
8、就要大。但稳定点的数目增加可能会引起吸引域的减少,从而使其联想功能减弱。 对于用作优化计算的网络,由于目标函数往往要求只有一个全局最小,因而希望稳定点(局部极小点)越少越好。反馈网络研究的内容反馈网络研究的内容吸引域的设计:希望解的稳定点有尽可能大吸引域2022-7-2618网络模型表示法一1x2xnx离散Hopfield神经网络结构图ix12in21w1nw1 iw12w2nw2iw1nwinw2nw2iw1iwniw1b1ib1nb12b1(状态)(阈值)(连接权值)离散离散Hopfield 神经网络神经网络2022-7-2619)(f1(1)( )niijjijx kfw x kb 注:
9、注:0iiwixibinw10( )10sf ss10( )00sf ss或或1 iw1xnx)(f )(f连接权连接权阈值阈值-1输入输出关系:输入输出关系:离散离散Hopfield 神经网络神经网络离散离散Hopfield 神经网络神经网络激励函数2022-7-2620n1n11( )0(1)1( )0,ijjijj iiijjijj iw x tbx tw x tbn1n11( )0(1)0( )0,ijjijj iiijjijj iw x tbx tw x tb离散离散Hopfield 神经网络神经网络相关参数说明 任意神经元i与j间的突触权值wij为,神经元之间连接是对称的,神经元自
10、身无连接. 每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己 设Hopfield网络中有n个神经元,其中任意神经元的输入用xi(t)表示,输出xi(t+1)用表示,它们都是时间的函数,其中 xi(t)也称为神经元在时刻 t的状态。 (1)(W( ),x kfx kbi离散离散Hopfield 神经网络神经网络离散Hopfield网络的状态 离散型Hopfield网络的状态由n个神经元的状态集合构成。因此,在任何一个给定的时刻 t,离散型Hopfield网络的的状态可以表示为2022-7-262212( )( ,)nX tx xx离散离散Hopfield 神经网络神经网
11、络离散Hopfield网络的运行规则 (1)串行(异步)工作方式 在任时刻,只有某神经元 (随机的或确定的选择)依上式变化,而其他神经元的状态不变。 (2)并行(同步)工作方式 在任一时刻,部分神经元或全部神经元的状态同时改变。2022-7-2623工作方式异步(串行)方式:同步(并行)方式:1(1)( ),niijjijx kfw xkbi(1)(w( ),x kfx kbi1(1)( )(1)( ),niijjijjjx kfw x kbx kx kji离散离散Hopfield 神经网络神经网络串行(异步)工作方式运行步骤 第一步 对网络进行初始化; 第二步 从网络中随机选取一个神经元 i
12、 ; 第三步 求出该神经元 i 的输出; 第四步 求出该神经元经激活函数处理后的输出,此时网络中的其他神经元的输出保持不变; 第五步 判断网络是否达到稳定状态,若达到稳定状态或满足给定条件则结束;否则转到第二步继续运行。 2022-7-2625离散离散Hopfield 神经网络神经网络例:一个3个节点离散型Hopfield神经网络的初始状态X(0)=(-1, -1, -1),网络连接权值w和各个节点的阈值分别如下,试求解网络稳定状态。2022-7-2626012w103230503离散离散Hopfield 神经网络神经网络2022-7-2627异步(串行)方式:1(1)( )(1)( ),ni
13、ijjijjjx kfw x kbx kx kji离散离散Hopfield 神经网络神经网络X(0)=(x1, x2, x3)X(0)=(-1, -1, -1)012w103230503x1(1)=sgn1(-1)+2(-1)-(-5)=sgn2=11(1)( )niijjijx kfw x kX(1)=(1, -1, -1)离散离散Hopfield 神经网络神经网络X(1)=(x1, x2, x3)X(1)=(1, -1, -1)012w103230503x2(2)=sgn11+(-3)(-1)-(0)=sgn4=11(1)( )niijjijx kfw x kX(2)=(1, 1, -1)
14、离散离散Hopfield 神经网络神经网络X(2)=(x1, x2, x3)X(2)=(1, 1, -1)012w103230503x3(3)=sgn21+(-3)1-3=sgn-4=-11(1)( )niijjijx kfw x kX(3)=(1, 1, -1)离散离散Hopfield 神经网络神经网络X(3)=(x1, x2, x3)X(3)=(1, 1, -1)012w103230503x1(4)=sgn11+2(-1) -5=sgn4=11(1)( )niijjijx kfw x kX(4)=(1, 1, -1)离散离散Hopfield 神经网络神经网络X(4)=(x1, x2, x3
15、)X(4)=(1, 1, -1)012w103230503x2(5)=sgn11+2(-1) -5=sgn4=11(1)( )niijjijx kfw x kX(5)=(1, 1, -1)离散离散Hopfield 神经网络神经网络X(5)=(x1, x2, x3)X(5)=(1, 1, -1)012w103230503x3(6)=sgn21+(-3)1 -3=sgn-4=-11(1)( )niijjijx kfw x kX(6)=(1, 1, -1)离散离散Hopfield 神经网络神经网络能量函数(Lyapunov function) 因因Hopfield并无训练目标值,因此无法以并无训练目
16、标值,因此无法以MSE、RMSE或误判率来衡量网络误差大小或误判率来衡量网络误差大小 因此,以能量函数进行误差的衡量2022-7-2634离散离散Hopfield 网络的能量函数网络的能量函数11112nnnijijiiijiijj iEw x xb x 能量函数(Lyapunov function) 用以判断是否会收敛 能量函数趋近于0,表示会收敛2022-7-2635离散离散Hopfield 网络的能量函数网络的能量函数简化能量函数当各处理单元的状态变量值所构成向量与训练范例特征向量之一相似或相同时,能量函数倾向较低的值2022-7-2636离散离散Hopfield 网络的能量函数网络的能
17、量函数111112 .or. iijjiijjijijEx w xEx w x 离散型Hopfield网络的能量函数网络中任意一个神经元 的能量为2022-7-263711112nnnijijiiijiijj iEw x xb x 1112nnjijijiijij iEw x xb x 离散离散Hopfield 网络的能量函数网络的能量函数稳定状态 若网络从某一时刻以后,状态不再发生变化,则称网络处于稳定状态 网络为对称连接,即;神经元自身无连接 能量函数在网络运行中不断降低,最后达到稳定2022-7-2638()( )0 x ttx tt 11112nnnijijiiijiijj iEw x
18、 xb x 离散离散Hopfield 网络的能量函数网络的能量函数网络中神经元能量函数变化量1111(1)( )11(1)(1)( )( )221(1)( ) ()21()2iiinnijijiiijijiiiiijijniiijjiiijniijjiiijEE tE tw x txb x tw x t vb x tx tx tw xbxw xb 2022-7-2639E0i Hopfield网络状态向着能量函数减小的方向演化。由于能量函数有界,所以系统必然会趋于稳定状态 。112niijijiiiijEw x xb x 离散离散Hopfield 网络的能量函数网络的能量函数离散型离散型Hop
19、field网络权值设计网络权值设计设计原则: 为保证异步方式工作时网络收敛,权矩阵应为对称阵; 为保证同步方式工作时网络收敛,权矩阵应为非负定对称阵; 保证给定的样本是网络的吸引子,并且要有尽可能大的吸引域。 离散型离散型Hopfield网络权值设计网络权值设计外积法 当所需要的吸引子较多时,可采用Hebb规则的外积法。 设给定m个要记忆样本 设样本两两正交,且nm,则权值矩阵 为记忆样本的外积和为例:一个3个节点离散型Hopfield神经网络的3个学习模式为X 1=(-1, -1, -1),X 2=(-1, -1, -1), X 3=(-1, -1, -1),试计算其连接矩阵并验证其联想记忆
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工 神经网络 HOPFIELD 课件 ppt
限制150内