hopfield神经网络模型与学习算法.ppt

智能中国网提供学习支持智能中国网提供学习支持Hopfield神经网络模型与学习算法 2023/1/162概述概述 Hopfield Hopfield网络是神经网络发展历史上的一个重要的里网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家教授于程碑。由美国加州理工学院物理学家教授于19821982年提出，年提出，是一种单层反馈神经网络。是一种单层反馈神经网络。HopfieldHopfield网络是一种由非线性元件构成的反馈系统，其稳网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。定状态的分析比前向神经网络要复杂得多。19841984年，年，HopfieldHopfield设计并研制了网络模型的电路，并成功地解决了设计并研制了网络模型的电路，并成功地解决了旅行商旅行商(TSP)(TSP)计算难题计算难题(优化问题优化问题)。Hopfield Hopfield网络分为离散型和连续型两种网络模型，分网络分为离散型和连续型两种网络模型，分别记作别记作DHNN(Discrete Hopfield Neural Network)DHNN(Discrete Hopfield Neural Network)和和CHNN(Continues Hopfield Neural Network)CHNN(Continues Hopfield Neural Network)。Hello,Im John Hopfield2023/1/163离散离散Hopfield Hopfield 神经网络神经网络p网络模型表示法一网络模型表示法一2023/1/164离散离散Hopfield Hopfield 神经网络神经网络p网络模型表示法二网络模型表示法二2023/1/165离散离散Hopfield Hopfield 神经网络神经网络p相关参数说明相关参数说明任意神经元 与 间的突触权值 为，神经元之间连接是对称的，神经元自身无连接.每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己 设Hopfield网络中有n个神经元，其中任意神经元的输入用 表示，输出 用表示，它们都是时间的函数，其中 也称为神经元在时刻 的状态。2023/1/166离散离散Hopfield Hopfield 神经网络神经网络p激励函数激励函数2023/1/167离散离散Hopfield Hopfield 神经网络神经网络p离散离散HopfieldHopfield网络的运行规则网络的运行规则(1)串行(异步)工作方式 在任在任时刻，只有某时刻，只有某神经元神经元 (随机的或随机的或确定的选择确定的选择)依上式变化，而其他神经元依上式变化，而其他神经元的状态不变。的状态不变。(2)并行(同步)工作方式 在任一时刻，部分神经元或全部神经元的在任一时刻，部分神经元或全部神经元的状态同时改变。状态同时改变。2023/1/168离散离散Hopfield Hopfield 神经网络神经网络p串行串行(异步异步)工作方式运行步骤工作方式运行步骤第一步 对网络进行初始化；第二步 从网络中随机选取一个神经元；第三步 按式(2-5)求出该神经元i的输出；第四步 按式(2-6)求出该神经元经激活函数处理后的输出，此时网络中的其他神经元的输出保持不变；第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件则结束；否则转到第二步继续运行。2023/1/169离散离散Hopfield Hopfield 神经网络神经网络p稳定状态稳定状态若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态网络为对称连接，即；神经元自身无连接 能量函数在网络运行中不断降低，最后达到稳定2023/1/1610离散离散Hopfield Hopfield 神经网络神经网络p网络中神经元能量函数变化量网络中神经元能量函数变化量Hopfield网络状态向着能量函数减小的网络状态向着能量函数减小的方向演化。由于能量函数有界，所以系方向演化。由于能量函数有界，所以系统必然会趋于稳定状态统必然会趋于稳定状态。2023/1/16112.9.2 2.9.2 连续连续Hopfield Hopfield 神经网络神经网络网络模型网络模型2023/1/16122.9.2 2.9.2 连续连续Hopfield Hopfield 神经网络神经网络p稳定性分析稳定性分析将下式代入得：因为因为连续连续Hopfield网络模型是稳定的网络模型是稳定的2023/1/16132.9.2 2.9.2 连续连续Hopfield Hopfield 神经网络神经网络p连续连续HopfieldHopfield网络模型的主要特性网络模型的主要特性1)连续Hopfield网络的神经元作为I/O转换，其传输特性具有Sigmoid特性；2)具有时空整合作用；3)在神经元之间存在着大量的兴奋性和抑制性连接，这种联接主要是通过反馈来实现。4)具有既代表产生动作电位的神经元，又有代表按渐进方式工作的神经元，即保留了动态和非线性两个最重要的计算特性。pHopfieldHopfield神经网络设计的目标就是使得网络存储一些特神经网络设计的目标就是使得网络存储一些特定的平衡点，当给定网络一个初始条件时，网络最后会定的平衡点，当给定网络一个初始条件时，网络最后会在这样的点上停下来在这样的点上停下来 2023/1/16142.9.3 Hopfield 2.9.3 Hopfield 神经网络的神经网络的MATLABMATLAB实现实现函 数 名功 能satlin()饱和线性传递函数satlins()对称饱和线性传递函数newhop()生成一个Hopfield回归网络nnt2hop()更新NNT 2.0 Hopfield回归网络pMATLABMATLAB中中HopfieldHopfield网络的重要函数和功能网络的重要函数和功能 2023/1/16152.9.3 Hopfield 2.9.3 Hopfield 神经网络的神经网络的MATLABMATLAB实现实现p MATLAB MATLAB中与中与HopfieldHopfield网络有关的重要函数和功能网络有关的重要函数和功能 newhop()功能 生成一个Hopfield回归网络。格式 net=newhop(T)说明 net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins()函数，层中的神经元有来自它自身的连接权和阈值。2023/1/16162.9.3 Hopfield 2.9.3 Hopfield 神经网络的神经网络的MATLABMATLAB实现实现pMATLABMATLAB中与中与HopfieldHopfield网络有关的重要函数和功能网络有关的重要函数和功能satlins()功能 对称饱和线性传递函数格式 A=satlins(N)A输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素取值位于区间0，1内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。2023/1/16172.9.3 Hopfield 2.9.3 Hopfield 神经网络的神经网络的MATLABMATLAB实现实现p例例2-8 2-8 设印刷体数字由设印刷体数字由10 1010 10点阵构成，就点阵构成，就是将数字分成很多小方块，每个方块就对应数是将数字分成很多小方块，每个方块就对应数字的一部分，构成数字本部分的方块用字的一部分，构成数字本部分的方块用1 1表示，表示，空白处用空白处用-1-1表示。试设计一个表示。试设计一个HopfieldHopfield网络，网络，能够正确识别印刷体的数字。能够正确识别印刷体的数字。由点阵构成由点阵构成的数字的数字1由点阵构成由点阵构成的数字的数字22023/1/1618例例2-82-8程序程序2023/1/1619小结小结p概述概述p离散离散HopfieldHopfield神经网络及工作过程神经网络及工作过程p连续连续HopfieldHopfield神经网络神经网络p稳定性分析稳定性分析pHopfieldHopfield神经网络的神经网络的MATLABMATLAB实现实现p实例分析实例分析2023/1/1620谢谢！谢谢！