第三讲(3)人工神经网络(Hopfield).ppt

《第三讲(3)人工神经网络(Hopfield).ppt》由会员分享，可在线阅读，更多相关《第三讲(3)人工神经网络(Hopfield).ppt（43页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第5节节循环网络循环网络第三讲第三讲 人工神经网络人工神经网络Hopfield网络网络Hopfield网络网络l基本概念基本概念l特点特点l训练方法训练方法5.1 Hopfield网络网络的基本概念的基本概念l美美国国加加州州理理工工学学院院物物理理学学家家J.J.HopfieldJ.J.Hopfield教教授授于于19821982年提出年提出；lHopfield网络网络可用作联想存储器的互连网络可用作联想存储器的互连网络；lHopfieldHopfield神神经经网网络络模模型型是是一一种种循循环环神神经经网网络络，从输出到输入有反馈连接从输出到输入有反馈连接；l有离散型和连续型两种。有离

2、散型和连续型两种。5.1 Hopfield网络网络的基本概念的基本概念网络结构网络结构X1Xno1om5.2 离散型离散型Hopfield神经网络神经网络lHopfield最最早早提提出出的的一一种种反反馈馈网网络络是是二二值值神神经网络经网络；l采用的神经元是二值神经元采用的神经元是二值神经元；l神神经经元元的的输输出出只只取取1和和0这这两两个个值值，分分别别表表示示神经元处于激活和抑制状态。神经元处于激活和抑制状态。一、一、网络的状态网络的状态DHNN网中的每个神经元都有相同的功能，其输出称为状网中的每个神经元都有相同的功能，其输出称为状态，用态，用xj 表示。表示。j=1,2,n所有神

3、经元状态的集合就构成反馈网络的状态所有神经元状态的集合就构成反馈网络的状态X=x1,x2,xnT反馈网络的输入就是网络的状态初始值，表示为反馈网络的输入就是网络的状态初始值，表示为X(0)=x1(0),x2(0),xn(0)T反馈网络在外界输入激发下，从初始状态进入动态演反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为变过程，变化规律为5.2 离散型离散型Hopfield神经网络神经网络5.2 离散型离散型Hopfield神经网络神经网络三个神经元组成的离散三个神经元组成的离散Hopfield神经网络神经网络5.2 离散型离散型Hopfield神经网络神经网络且有：且有：Yi=

4、1,当当Uii 时时Yi=0,当当UiE2 P(E2)P(E1)。即，系统处于高能量状态的可能性。即，系统处于高能量状态的可能性小于处于低能量状态的可能性小于处于低能量状态的可能性 能量与温度能量与温度能量与温度能量与温度低温情况下：低温情况下：T非常小，非常小，E的大小对的大小对P(E)的影响非常大的影响非常大，设，设E1E2 P(E2)P(E1)。即，当温度趋近于。即，当温度趋近于0时，系统几乎时，系统几乎不可能处于高能量状态不可能处于高能量状态 模拟退火组合优化法模拟退火组合优化法目标函数目标函数能量函数能量函数人工温度人工温度T一个初值较大的数一个初值较大的数依据网络的能量和温度来决定

5、联接权的调依据网络的能量和温度来决定联接权的调整量（称为步长）。整量（称为步长）。与金属的退火过程（与金属的退火过程（Annealing）非常相似）非常相似模拟退火组合优化法模拟退火组合优化法基本思想基本思想随机地为系统选择一个初始状态随机地为系统选择一个初始状态wij(p)，在此，在此初始状态下，给系统一个小的随机扰动初始状态下，给系统一个小的随机扰动wij(p)，计算系统的能量变化，计算系统的能量变化E=E(wij(p)+wij(p)-E(wij(p)若若Er则使则使ANi的状态为的状态为1，否则使否则使ANi的状态为的状态为0；3 3 逐渐降低温度逐渐降低温度T，如果温度足够低，则算法结

6、束。，如果温度足够低，则算法结束。否则，重复否则，重复25.4 统计统计Hopfield网网 5.5 Boltzmann机机 BoltzmannBoltzmann机机Boltzmann机机是是多多级级循循环环网网络络，是是Hopfield网网的一种扩展。的一种扩展。神经元神经元ANi实际输出状态实际输出状态oi=1的概率为：的概率为：T T趋趋近近于于0 0时时，神神经经元元的的状状态态不不再再具具有有随随机机性性，BoltzmannBoltzmann机退化成一般机退化成一般HopfieldHopfield网。网。BoltzmannBoltzmann机的训练机的训练神经元神经元ANi在运行中状

7、态发生了变化在运行中状态发生了变化BoltzmannBoltzmann机的能量函数机的能量函数(一致性函数一致性函数)BoltzmannBoltzmann机的训练机的训练如如果果i0，则则应应该该选选ANi输输出出为为1，否否则则，应该选应该选ANi输出为输出为0。i的值越大，神经元的值越大，神经元ANi应该处于状态应该处于状态1的概率就应该越大。反之，的概率就应该越大。反之，i的值越小，的值越小，神经元神经元ANi应该处于状态应该处于状态1的概率就应该越的概率就应该越小。从而，小。从而，oi=1的概率为：的概率为：BoltzmannBoltzmann机的训练机的训练处于状态处于状态a，b的概

8、率的概率Pa和和Pb，对应于，对应于oi=1和和oi=0，其它的神经元在，其它的神经元在a，b状态下不变状态下不变Pa=pi Pb=（1-1-pi）BoltzmannBoltzmann机的训练机的训练网网络络进进行行足足够够多多次次迭迭代代后后，处处于于某某状状态态的的概概率率与与此此状状态态下下的的能能量量和和此此时时系系统统的的温温度度有有关。关。由由于于高高温温时时网网络络的的各各个个状状态态出出现现的的概概率率基基本本相相同同，这这就就给给它它逃逃离离局局部部极极小小点点提提供供了了机机会。会。当系统的温度较低时，如果当系统的温度较低时，如果EaPb：网络处于较低能量状态的概率较大：网

9、络处于较低能量状态的概率较大 BoltzmannBoltzmann机的训练机的训练1986年，年，Hinton和和Sejnowski训练方法训练方法自自由由概概率率P Pijij-：没没有有输输入入时时ANi和和ANj同同时时处于激发状态的概率。处于激发状态的概率。约约束束概概率率P Pijij+：加加上上输输入入后后ANi和和ANj同同时时处于激发状态的概率。处于激发状态的概率。联接权修改量联接权修改量：wij=(Pij+-Pij-)Boltzmann Boltzmann机训练算法机训练算法 1 1计算约束概率计算约束概率1.1对样本集中每个样本，执行如下操作：对样本集中每个样本，执行如下操

10、作：1.1.1将将样样本本加加在在网网络络上上（输输入入向向量量及及其其对应的输出向量）；对应的输出向量）；1.1.2让网络寻找平衡；让网络寻找平衡；1.1.3记录下所有神经元的状态；记录下所有神经元的状态；1.2计计算算对对所所有有的的样样本本，ANi和和ANj的的状状态态同同时为时为1的概率的概率P Pijij+；Boltzmann Boltzmann机训练算法机训练算法2计算自由概率计算自由概率2.1从从一一个个随随机机状状态态开开始始，不不加加输输入入、输输出出，让让网网络络自自由由运运行行，并并且且在在运运行行过过程程中中多次纪录网络的状态；多次纪录网络的状态；2.2对对所所有有的的

11、ANi和和ANj，计计算算它它们们的的状状态态同时为同时为1的概率的概率P Pijij-；3对权矩阵进行调整对权矩阵进行调整wij=(Pij+-Pij-)5.6 联联想想存储器存储器 lHopfield网网络络的的一一个个功功能能是是可可用用于于联联想想记记忆忆，也也即即是是联联想想存存储器。储器。l对对于于Hopfield网网络络，用用它它作作联联想想记记忆忆时时，首首先先通通过过一一个个学学习习训训练练过过程程确确定定网网络络中中的的权权系系数数，使使所所记记忆忆的的信信息息在在网网络络的的n维维超立方体的某一个顶角的能量最小。超立方体的某一个顶角的能量最小。l当当网网络络的的权权系系数数

12、确确定定之之后后，只只要要向向网网络络给给出出输输入入向向量量，这这个个向向量量可可能能是是局局部部数数据据即即不不完完全全或或部部分分不不正正确确的的数数据据，但但是是网网络仍然产生所记忆的信息的完整输出。络仍然产生所记忆的信息的完整输出。基本的双联存储器结构基本的双联存储器结构 W第第1层层输入向量输入向量第第2层层输出向量输出向量WTx1xnymy15.7 Hopfield网解决网解决TSP问题问题1985年年，J.J.Hopfield和和D.W.Tank用用循循环环网网求求解解TSP。试试验验表表明明，当当城城市市的的个个数数不不超超过过30时时，多多可可以以给给出出最最优优解解的的近近似似解解。而而当当城城市市的的个个数数超超过过30时时，最最终终的的结结果果就就不不太理想了太理想了 n n个城市间存在个城市间存在n!/(2n)n!/(2n)条可能路径条可能路径 设设问问题题中中含含有有n个个城城市市,用用n*n个个神神经经元元构构成成网络网络