神经网络 第四章幻灯片.ppt

《神经网络 第四章幻灯片.ppt》由会员分享，可在线阅读，更多相关《神经网络 第四章幻灯片.ppt（172页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经网络 第四章第1页，共172页，编辑于2022年，星期二4.1 Hopfield神经网络 美国加州工学院物理学家J.J.Hopfleld于1982年 和1984年分别提出了两种神经网络模型，简称 HNN。n 离散的随机模型（离散离散Hopfleld网络网络）n 确定论模型（连续连续Hopfleld网络网络）第2页，共172页，编辑于2022年，星期二 HNN模型是目前得到了最充分研究和广泛应用的反馈式神经元网络模型。Hopfield将“能能量量函函数数”(也称李雅普诺夫函数)的概念引入分析一类人工神经元网络的稳定过程，使网络运行的稳稳定定性性判判断断有了可靠和简便的依据。开辟了人工神经网络

2、应用于联联想想记记忆忆和优优化化计算计算等领域的范围。由于Hopfield网络与电子电路存在明显的对应关系，所以使得这种网络易于理解和便于实现。显然，为神经网络计算机的研究奠定了基础。第3页，共172页，编辑于2022年，星期二Hopfield网络的基本思想nHopfield网络作为一种全连接型神经网络曾经在人工神经网络研究发展历程中起过唤起希望、开辟研究新途径的作用。n它用与阶层型神经网络不同的结构特征和学习方法，模模拟拟生生物物神神经经网网络络的的记记忆忆机机理理，获得了令人满意的结果。第4页，共172页，编辑于2022年，星期二 1985年Hopfield和DWTank用这种网络模型成功

3、地求解了优化组合问题中的具有典型意义的旅行商(TSP)问题，在所有随机选择的路径中找到了其中十万分之一的最优路径，这在当时是神经网络研究工作中所取得的突破性进展。Hopfield是从物理学磁磁场场理理论论中受到启发，结合生物神经网络的思维机理而提出这一网络模型的。第5页，共172页，编辑于2022年，星期二 磁场也是种具有记忆功能的物质，人们很早就利用磁场的记忆功能创造出许多很有价值的产品，如目前广泛使用的计算机磁盘。由物理学知识可知:在磁性材料中游动着大量的磁旋，正是由于这些带有方向的磁旋的相互作用，才产生了磁场本身所具有的各种性质。在永久磁铁中，由于所有的磁旋都朝向一个方向，构成了磁铁的N

4、极和S极的两极特性。第6页，共172页，编辑于2022年，星期二nHopfield网络的网络的基本思想基本思想:n用人工神经元模拟的磁旋，用神经元之间的连接 权模拟磁场中磁场中磁旋的相互作用；n用各神经元的“激活”和“抑制”两种状态，模拟磁场中磁旋的上、下两个方向，构成一个具有记忆功能的神经网络系统；v引用物理学中有关能量的概念，用“计算能量函数”(ComPutational Energy Function)来评价和指导整个网络的记忆功能。第7页，共172页，编辑于2022年，星期二磁场与神经网络的对照示意图第8页，共172页，编辑于2022年，星期二Hopfield网络的结构和算法n 离散型

5、Hopfield网络结构如图。第9页，共172页，编辑于2022年，星期二第10页，共172页，编辑于2022年，星期二 Hopfield为一层结构的反馈网络，能处理双双极极型型离离散散数数据据,即输入 及二进制数据二进制数据 当网络经过训练后，可以认为网络处于等待等待工作状态。第11页，共172页，编辑于2022年，星期二对网络给定初始输入x时，网络就处于特定的初始状态，由此初始状态开始运行，可以得到网络输出即网络的下一状态；然后，这个输出状态通过反馈回送到网络的输入端，作为网络下一阶段运行的输入信号，而这个输入信号可能与初始输入信号不同，由这个新的输入又可得到下步的输出，这个输出也可能与上

6、一步的输出不同；第12页，共172页，编辑于2022年，星期二如此下去，网网络络的整个运行的整个运行过过程就是上述反程就是上述反馈过馈过程的程的重复重复。如果网络是稳定的，那么，随着许多次反馈运行，网络状态的变化减少，直到后来不再变化达到稳态。这时，在网络的输出端可以得到稳定的输出。第13页，共172页，编辑于2022年，星期二这是一个只有四个神经元的离散型Hopfield网络。第14页，共172页，编辑于2022年，星期二 其中每个神经元只能取“1”，或“0”两个状态。设网络有n个神经元，则各个神经元的状态可用向量U表示：U(u1，u2，,un)其中，ui1或0 (i1，2，n)Hopfie

7、ld网络的各个神经元都是相相互互连连接接的，即每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时每个神经元又都接收所有其它神经元传递过来的信息。第15页，共172页，编辑于2022年，星期二 特别值得注意的是，由于Hopfield网络的这种结构特征，对于每一个神经元来说、自己输出的信号经过其它神经元又反馈回自己，所以也可以认为Hopfield网络是一种反反馈馈型神型神经经网网络络。其它形式的Hopfield网络结构：第16页，共172页，编辑于2022年，星期二第17页，共172页，编辑于2022年，星期二 对于Hopfield网络已有定理证明：当当网网络络满满足足以以下下 两两个

8、个条条件件时时，Hopfield学学习习算算法法总总是是收收敛的敛的。n(1)网络的连接权矩阵无自连接且具有对称性，即 这一假设条件虽然不符合生物神经网络的实际情况(生物神经元之间连接强度通常是不对称的)。但是却与磁场中各磁旋的相互作用情况相一致。第18页，共172页，编辑于2022年，星期二（2）网络中各神经元以非同步或串行方式，依据 运行规则改变其状态，即各神经元按随机选 取方式，依据运行规则改变状态；且当某个 神经元改变状态时其它所有神经元保持原 状态不变。这一点符合生物神经网络的情况。这一点符合生物神经网络的情况。第19页，共172页，编辑于2022年，星期二 (1)串行(异步)方式：

9、任一时刻只有一个单元改变状态只有一个单元改变状态，其余单元不 变(动作顺序可以随机选择或按某种确定顺序选 择)。(2)并行(同步)方式：某一时刻所有神经元同时改变状态(常称这种工 作方式的网络为Litt1e模型)。第20页，共172页，编辑于2022年，星期二Hopfield网络运行规则 神经网络主要有两种运行方式运行方式：n一种是前面介绍过的学习运行方式，即通过对训练模式的学习，调整连接权达到模式记忆的目的；n另一种就是下面将要介绍的工作运行方式。在这种运行方式中，各连接权值是固定的，只是通过按一定规则的计算，更新网络的状态，以求达到网络的稳定状态。第21页，共172页，编辑于2022年，星

10、期二 图是Hopfield网络中某个神经元的结构图。设网络由n个这样的神经元构成。时刻t第i个神经元的输出为：第22页，共172页，编辑于2022年，星期二 上式表明：当所有其它神经元输出的加权总和超过第i个神经元的输出阈值时，此神经元被“激活”、否则将受到”抑制”。这里特别应该注意的是，改变状态的神经元ui，并不是按顺顺序序进行的，而是按随机的方式选取随机的方式选取的。第23页，共172页，编辑于2022年，星期二下面将Hopfield工作运行规则工作运行规则总结如下：(1)从网络中随机选取一个神经元ui；(2)求所选中的神经元ui的所有输入的加权总和；(3)计算ui的第t+1时刻的输出值，

11、即第24页，共172页，编辑于2022年，星期二(4)ui以外的所有神经元输出保持不变(5)返回到第一步，直至网络进如稳定状态。第25页，共172页，编辑于2022年，星期二 Hopfield网络是一种具有反馈性质的网络，而反馈网络的一个重要特点就是它具有稳定状态，也称为吸引子。那么Hopfield网网络络的的稳稳定状定状态态是怎是怎样样的呢的呢?当网络结构满足前面所指出的两个条件时，按上述工作运行规则反复更新状态，当更新进行到一定程度之后，我们会发现无论再怎样更新下去，网络各神经元的输出状态不再改变，这就是Hopfield网络的稳定状态。第26页，共172页，编辑于2022年，星期二用数学表

12、示为 一一般般情情况况下下，一一个个Hopfield网网络络必必须须经经过过多多次次反反复复更更新新才才能达到稳定状态能达到稳定状态。第27页，共172页，编辑于2022年，星期二网络计算能量函数与网络收敛 从Hopfoeld网络工作运行规则可以看出，网络中某个神经元t时刻的输出状态，通过其它神经元间接地与自己的t-1时刻的输出状态发生联系。这一特性从数数学学的的观观点点看，网络的状态变化可用差分方程表征；第28页，共172页，编辑于2022年，星期二 从系统动力学的观点看，此时的网络已不象误差反向传播那样只是非线性映射的网络，而是一个反馈动力学系统。准确地说是一个多输入、多输出、带阈值的二态

13、非非线线性动力学系统性动力学系统。第29页，共172页，编辑于2022年，星期二 一个抽象的动力学系统，与一个具有实际物理意义的动力学系统比较，抽抽象象系系统统的的动动态态过过程程必必定定是是使使某某个个与与实实际际系统形式上一致的系统形式上一致的“能量函数能量函数”减小的过程。减小的过程。nHopfie1d网络也同样如此。在满足一定的参数条件下，某种“能量函数”的能量在网络运行过程中不断地降低最后趋于稳定的平衡状态。第30页，共172页，编辑于2022年，星期二 设t时刻网络的状态用n个神经元的输出向量U(t)表示：设每个神经元只有“1”或“0”两种状态，所以n个神经元共有2n个组合状态，即

14、网络具有2n 种状态。从几何学的角度看，这2n 种状态正好对应一个n维超立方体的各个顶点。以n3为例，一个立方体的八个顶点正好对应网络的八种状态。如图第31页，共172页，编辑于2022年，星期二第32页，共172页，编辑于2022年，星期二 网络网络的能的能量量函数函数可定义为网络状态的二次函数：上式的能量函数巳不是物理学意义上的能量函数，而是在表达形式上与物理意义上的能量概念一致，表征网络状态的变化趋势，并可依据Hopfield工作运行规则不断进行状态变化，最终能够达到某个极小值的目标函数。所谓网络的收敛，就是指能量函数达到极小值。第33页，共172页，编辑于2022年，星期二 下面证明，

15、按照Hopfield工作运行规则，改变网络状态，能量函数式将单调减小。由上式可知，对应第i个神经元的能量函数：则由时刻t至时刻t+1的能量Ei的变化量Ei 为第34页，共172页，编辑于2022年，星期二 由Hopfield网络工作运行规则可知：当Hi(t)0时，方括号中的值大于或等于零，故 Ei 0 当Hi(t)0时，方括号中的值小于或等于零，故 Ei 0 总之，Ei 0。因为所有神经元都是按同一个工作运行规则进行状态更新的，所以有 E 0，即 E（t+1）E(t)上式说明：随着网络状态的更新，网络能量函数是单调递减的。随着网络状态的更新，网络能量函数是单调递减的。第35页，共172页，编辑

16、于2022年，星期二 图是Hopfield网络能量函数的示意图，为简单起见，假设网络的状态是一维的。横轴为网络状态，纵轴为网络能量函数。第36页，共172页，编辑于2022年，星期二 当网络的状态随时间发生变化时，网络能量沿其减小的方向变化，最后落入能量的极小点。一旦能量落入某个极小点之后，按Hopfield工作运行规则，网络能量函数将会“冻结”在那里。也就是说网络不见得一定收敛到全局的最小点，这是Hopfield网络的一个很大缺陷。但尽管如此，由以上分析可知，Hopfield网络已具有了寻找能量函数极小点的功能，这就为网络的模式记忆打下了基础。第37页，共172页，编辑于2022年，星期二

17、为更深理解Hopfield网络的收敛过程，下面举一个具有四个神经元的Hopfield网络的实例，如图所示。因每个神经元只有“0”、“1”两种状态，故四个神经元共有24=16种状态组合，也就是说，函数共有16种状态，分别用16进制数1F表示。第38页，共172页，编辑于2022年，星期二n分别让网络从0，l，2，F状态开始变化，每次共进行30回学习，观察网络状态变化的次序及网络的收敛情况。n图中，左边：内分别表示网络的初始状态和对应的网络能量，中间部分表示网络状态在30次学习过程中的变化次序，最右侧“*”号表示网络收敛到全局最小点，“.”表示网络落入局部极小点。网络的连接权初始值为一1，+1内的

18、随机值。第39页，共172页，编辑于2022年，星期二第40页，共172页，编辑于2022年，星期二 除去从3和A两个初始状态开始变化外，其它14个初始状态最后都能收敛至全局最小点状态4(能量为-115)。例如初始状态9，其能量为187，随着学习的进行，经9-5-，4最后收敛于状态4；而当从状态A开始变化时，由A-3-3-3，最后收敛于局部极小点状态了，其能量为17。这说明网络的收敛情况依赖于网络的初始状态这说明网络的收敛情况依赖于网络的初始状态。第41页，共172页，编辑于2022年，星期二 另外需要注意的是，这里网络能量的具体数值并不具有一定的物理意义，它只表明网络某一状态在整个网络的所有

19、状态中所处的地位。当网络连接权的初始值改变时，各个状态所对应的能量具体数值也将随之改变。第42页，共172页，编辑于2022年，星期二 在上例中，只改变连接权初始随机值的取值方法(程序语言中，设置了产生不同种类随机数的方法)，其它与上例完全一样，则其状态的变化规律如图所示。由图中可知，此时无论网络从哪一个状态出发，最后都将收敛于网络的全局最小点状态e，其能量为一248。这说明整个网络只有一个极小点，即全局最小点。第43页，共172页，编辑于2022年，星期二第44页，共172页，编辑于2022年，星期二 由此可知，对于同样结构的网络，当网络参数有所变化时，如连接权初始值随机数的取值形式或随机数

20、的振幅有所不同时，网络的能量函数也将发生变化，其曲线或曲面(超曲面)对应的极小点的个数和大小也将变化。第45页，共172页，编辑于2022年，星期二联想记忆 记忆（存储）是生物神经系统一个最基本也是最重要的功能。对于人工神经网络，记忆功能的强弱同样是衡量其综合性能的一个重要指标。而联想记忆（associative memory,AM)又是人工神经网络模拟生物神经网络记忆特征的一个主要方法。第46页，共172页，编辑于2022年，星期二“联想”可以理解为从一种事物联系到与其相关事物的过程。在日常生活中,人们从一种事物出发，自然地会联想到与该事物密切相关或者有因果关系的种种事物。联想记忆的基本特征

21、基本特征；这就是由某个模式的部分信息联想起这个模式的全部信息。第47页，共172页，编辑于2022年，星期二联想记忆的两个突出的特点：1.信息（数据）的存取不是像传统计算机通过存储器的地址来实现，而是由信息本身的内容实现，它是“按内容存取记忆”（content adderssbale memory,CAM）;2.信息不是集中存储在某些单元中，而是分布存储的。第48页，共172页，编辑于2022年，星期二 联想记忆又分为:自联想记忆（auto-association）互联想记忆(hetero-association)。自联想记忆就是由某种代表事物(或者该事物的主要特征或可能是部分主要特征)联想到

22、其所表示的实际事物；互联想是有某一事物(或该事物的主要特征或者可能是部分主要特征)联想到与其密切相关的另一事物。第49页，共172页，编辑于2022年，星期二 事实上，可以将互联想记忆看作是自联想记忆的一个特例。当把互联想有关的两个事物的信息当作一个统一的事物的信息时，互联想过程就自然过渡到自联想过程。第50页，共172页，编辑于2022年，星期二具体化为以下的两个定义两个定义：(1)自联想记忆。设在学习过程中存入M个样本使用时要求：若输入要求输出为即使它复原即使它复原。第51页，共172页，编辑于2022年，星期二(2)异联想记忆。规定两组样本之间有一定的对应关系 使用时,若输入 (含义同上

23、)，要求输出:第52页，共172页，编辑于2022年，星期二第53页，共172页，编辑于2022年，星期二 人脑中对给出一种事物得出其对应事物的途径有两种形成方式。一种是按时间顺序对相关事情进行思考；另一种就是通过事物本质特征的对比来确认事物的属性，从提示信息或局部信息对事物进行回忆或确认。这两种基本方式抽象成计算技术中按地地址址寻寻找找和按内内容容寻找寻找两种搜索方法。第54页，共172页，编辑于2022年，星期二 按内容寻找是基于事物全部或者部分特征来找出目标事物。寻找过程就是事物间特征对比，而不必知道这些事物的具体存储地址。从匹匹配配过过程程来看，这种方法不需要地址的管理及变换，这就有可

24、能提高查寻速度。从观观念念上上来来看，这这种种方方法法接接近近人人的的思思维维的的方方法法，因为在人脑辨识决策过程中，绝大多数是基于事物之间的联系，也就是联想过程。但是，这这种种方方法法在在传传统统计计算算机机上上用用确确定定性性算算法法难难以以实实现现，而人工神经元网络却能提供一种较好的实现方案。第55页，共172页，编辑于2022年，星期二Hopfield网络是如何实现如何实现联想记忆的呢?Hopfield网络是一个非线性动力学系统，网络的“能量函数”存在着一个或多个极小点或称为平衡点、平衡状态。当某一时刻各神经元的状态确定之后，即网络的初始状态确定之后，网络的状态将按动力学方程即Hopf

25、ield工作运行规则向能量递减的方向变化，最后接近或达到网络的平衡状态。第56页，共172页，编辑于2022年，星期二 实际上可观测的平衡状态称为吸引子(Attractor)，吸引子可以是稳定的，也可以是不稳定的；可以是平衡点，也可以是极限环极限环或混沌吸引子混沌吸引子(奇异吸引子)。有限环状态：指的是网络状态有规律有规律地在某些状态 之间振荡；混沌状态：指的是网络无规律无规律地在某些状态之间振 荡。不随时间变化的吸引于称为：稳定平衡点(Stable Equilibrium Point)。第57页，共172页，编辑于2022年，星期二 Hopfield网络的这一特性提示我们，如果设法把所需记忆

26、的模式设计成某个确定网络状态的一个稳定平衡点(极小值)，则当网络从与记忆模式较靠近的某个初始状态(即发生某些变形或含有某些噪声的记忆模式）出发后，网络按Hopfield工作运行规则进行状态更新，最后网络的状态将稳定在能量函数极小点，即记忆模式所对应的状态。这这样样就就完完成成了了由由部部分分信信息息(含含有有噪噪声声的的记记忆忆模模式式)到到全全部部信息信息(记忆模式记忆模式)的联想过程的联想过程。第58页，共172页，编辑于2022年，星期二 图表示的是一个稳定吸引子的示意图。网络中存放的一个记忆相当于一稳定吸引子，图中黑点所示位置。黑点以外为不稳定状态，不稳定状态可看成是某记忆事物的部分已

27、知信息。网络的能量函数总是由不稳定状态朝某局部稳定吸引子流动，这就相当于由事物的一部分信息自动联想出事物的全部信息。第59页，共172页，编辑于2022年，星期二第60页，共172页，编辑于2022年，星期二 这里应特别注意的是神经网络的记忆方式。显然，它的记忆方式与van Neumann数字计算机的记记忆方式完全不同。在数字计算机中，一组信息对应一组存贮单元，当给定了这组信息的正确地址后，就可恢复这组信息，这就是所谓的地址寻址存贮方式(Addressable Memory，简称AAM方式)。第61页，共172页，编辑于2022年，星期二 而神经网络的联想记忆则是由一组信息的部分信息通过网络的

28、演化过程回忆出这组信息的全部内容。它模拟了生模拟了生物神经网络中的信息存贮机理物神经网络中的信息存贮机理，也就是说，用一个具有内部连接的非线性网络的动态行为具有内部连接的非线性网络的动态行为模拟了联想记忆的过程模拟了联想记忆的过程。这种记忆方式称为内容可寻址存储方式(Content Addressable Memory)，简称为CAM方式。第62页，共172页，编辑于2022年，星期二 这种记忆方式的特点是信息存贮量大，信息检索时间与信息存贮量大小无关，可高速读取。当用记忆模式的部分信息激励网络时，可恢复出每个记忆模式的全部信息。第63页，共172页，编辑于2022年，星期二联想存储器及其学习

29、 可以通过合合理理选选择择权权矩矩阵阵使待存向量成为某一动力学系统(具体如前述的Hopfield网络)的吸引子(稳定状态)，这样当外加一个测试向量时，网络运行稳定后就被吸引到(稳定在)与之相近的已存向量上。这一过程类似人的联想记亿过程，故称该系统为联想存储器(associate memory，简写为AM)。第64页，共172页，编辑于2022年，星期二 对对AM的要求的要求：最基本的是要存储的向量是网络的稳定状态（吸引子），此外，还有两个指标：(1)容量(C)：一般指某一定规模的网络可存储的二值向量的最大数量，显然这与联想记忆的允许误差有关。n 一种是对某一特定的学习算法，当错误联想的概率小于

30、 12时，网络所能存储的最大向量数；n 另一种是不管用哪种学习算法，只要能找到合适的W，使得任一组m个向量u1,u2,um能成为网络的稳定状态，满足此条件下m的最大值。第65页，共172页，编辑于2022年，星期二(2)联想能力(A)或称纠错能力：当对某一网络输入一个被歪曲的样本时，网络能 纠正其中错误分量，使之联想起与之距离最近的 样本。此距离指Hamming距离。也就是说输入向 量与某一与之最近的样本的Hamming距离只要小 于A，就能稳定到该样本。第66页，共172页，编辑于2022年，星期二 两个向量s1、s2的Hamming距离是指s1、s2中不相同的分量数，用 dh(s1,s2)

31、表示，因此有 （1）dh(s,-s)=N；（2）若 即s1、s2正交，则 dh(s,-s)=N/2第67页，共172页，编辑于2022年，星期二 显然这两个性质是有矛盾的，要A大就应使每个吸引子的“吸引域”大，这会导致容量C减少。它们不仅与网络结构有关，也与用以确定W的学习算法有关。吸引子的吸引域：对于某些特定的初始状态，网络按一定的运行规则最终可能都稳定在同一个吸引子上，那么，称这种经过一定时间能够稳定在吸引子的所有初始状态集合为吸引域。吸引域半径是指包含在吸引域的最大Hnmmmg球半径。第68页，共172页，编辑于2022年，星期二可以证明AM的如下两个性质：（1）对于阈值=0 的情况，若

32、向量u是一个稳定状态，则-u也是（WU=0的情况除外）；（2）对于无自反馈网络只要满足或则若u为稳定状态，一定不是稳定状态。第69页，共172页，编辑于2022年，星期二 从上面两点可见：有m个稳定状态的网络至少回同时存在m其它（不需要的）稳定状态，并且有些向量不可能同时成为同一网络的稳定状态。网络中除了希望有的稳定点以外，还回存在一些不希望有的稳定点，称为多余吸引子或假吸引子（Spurious Attractor）。好的AM应当除基本吸引子外，多余吸引子很少，而且它们的吸引域也比基本吸引子的吸引域小得多。第70页，共172页，编辑于2022年，星期二第71页，共172页，编辑于2022年，星

33、期二 以Hopfield网络为例来说明按内容寻找的方法。（1）首先把模式向量 编码学习至连接权矩阵W之中；（2）给出测试模式X，把其作为网络输入向量，让网络运行 起来，而且网络状态之间的转换服从演变方程。此时，若网络已经过充分训练、那么网络对于输入X稳定而且 联想正确；（3）网络稳定后，在输出端可以得到最佳PI匹配XK。第72页，共172页，编辑于2022年，星期二n整个网络的运行过程概括为以下的若干阶段:第73页，共172页，编辑于2022年，星期二 要设计一个全面满足上述要求的AM是很困难的，甚至根本做不到。因此只能针对具体要求取合理的折衷只能针对具体要求取合理的折衷。网络规模确定后，主要

34、问题是选择学习算法以确定W。从输出的形式分有两种AM，一种是自联想存储器，输入一向量(可以含错误)联想起自身；X X 另一种是异联想存储器：X Y第74页，共172页，编辑于2022年，星期二AM的工作分两个阶段，n第一步是由一组待存的向量确定权矩阵，称为学习过程)；n学习后即可进入第二阶段(工作阶段)。下面将介绍一些常用的学习算法。第75页，共172页，编辑于2022年，星期二Hebb学习 由神经心理学家Hebb提出的学习规则可归纳为“当某一突触(连接)两端的神经元同步激活(同为激活或同为抑制)时，该连接的强度应增强，反之应减弱”。第76页，共172页，编辑于2022年，星期二用数学方式可描

35、述为第77页，共172页，编辑于2022年，星期二 第78页，共172页，编辑于2022年，星期二第79页，共172页，编辑于2022年，星期二 上面研究的是所存向量正交时的情况，下面再看一下若各向量为随机的(各分量取0或1的概率相同)，仍按Hebb规则：第80页，共172页，编辑于2022年，星期二第81页，共172页，编辑于2022年，星期二第82页，共172页，编辑于2022年，星期二外积学习的网络有如下性质：（1）当待存的样本两两正交时。只要满足 则P个样本都可以是网络的稳定点，且各样本的 吸引域为（2）对随机选取的样本（即样本不一定两两正交，其 中各向量取1或0的概率为1/2），为达

36、到满意的 信噪比P应小于N。第83页，共172页，编辑于2022年，星期二应用举例 外积法学习的网络用于存储8个数字，网络规模为N120，连接权数为N2_N14280，每一待存模式为一个1012大小的黑白图像每幅120个象点，用+1表示黑,-1表示白，各基本向量如图所示。第84页，共172页，编辑于2022年，星期二第85页，共172页，编辑于2022年，星期二 先用外积法学习权值，然后用基本向量作为输入。经试验，所有基本向量都是网络的稳定状态。为了检查纠错能力对基本向量加噪声，具体方法是每一象点都以025的概率变异(-1改为+1或反之)，用污染后的向量去测试。图示出用污染后的6作为输入，经过

37、不同迭代次数的状况。迭代37次后又稳定在基本向量6上。由于所加噪声使网络的120个单元平均有l4会改变状态，所以平均迭代次数为30。第86页，共172页，编辑于2022年，星期二第87页，共172页，编辑于2022年，星期二表给出了每次联想所需迭代次数，其平均值为31。第88页，共172页，编辑于2022年，星期二 试验中也发现一些问题，有时不能恢复出被污染了的模式的真实值，如污染的2在有些试验中经41次迭代后稳定在6上。还有污染后的数字9有时其结果中有5%的神经元状态不正确这可能是一个多余吸引子。第89页，共172页，编辑于2022年，星期二第90页，共172页，编辑于2022年，星期二第9

38、1页，共172页，编辑于2022年，星期二Hopfield网络联想记忆的设计方法 实现Hopfield网络联想记忆的关键，是使被记忆的模式样本对应网络能量函数的极小值。具体说就是，设有M个N维记忆模式，通过对网络N个神经元之间连接权和N个神经元的输出阈值的设计，让这M个记忆模式所对应的网络状态正好是网络能量函数的M个极小值，这是一个比较复杂、困难的问题。目目前前还还没没有有一一个个适适应应任任意意形形式式的的记记忆忆模模式式、且且有有效的通用设计方法。效的通用设计方法。第92页，共172页，编辑于2022年，星期二针对各种不同的情况，主要的设计方法有:外积法(Outer Product Met

39、hod)；相关存贮法；投影学习规则法；特征结构法(Eigenstr ucture Method)；非对称连接矩阵网络综合法等。这些方法在使用上各有利弊。对这些方法的介绍和证明需要较深数学基础和对非线性网络平衡点的稳定性、收敛轨道的有界性、吸引子的动态范围的深入了解。本课程对这些方法不再作介绍。第93页，共172页，编辑于2022年，星期二Hopfield网络联想记忆的缺陷 Hopfield网络虽然具有很强的联想记忆功能，但是形成联想记忆的网络综合却是一个十分复杂、且往往需要满足一定约束条件的棘手问题。在许多情况下，这些约束条件很难得到满足，如网络的对称性条件等。这样就给Hopfield网络的联

40、想记忆带来了一些缺陷和使用上的限制。第94页，共172页，编辑于2022年，星期二总结起来主要有以下三点：(1)由网络联想出或恢复出的模式未必是与输入 模式最接近的记忆模式。也就是说，在约束条件 不满足的情况下，由网络的输入模式回想出的记 忆模式，有时并不是与其汉明距离最短的那个记 忆模式；(2)所有的记忆模式并不是以同样的记忆强度回想出 来。我们可以从网络的能量函数曲线直观地解释 这个问题。网络的记忆模式对应着网络能量函数 的各个极小值，即能量函数曲线的各个“谷底”，如图所示。第95页，共172页，编辑于2022年，星期二“谷底“深、“谷面”宽、坡度大的比“谷底”浅、“谷面”狭、“坡度”小的

41、那些“谷底”有更多的被回想出来的机会，前者比后者对应更多的初始状态，或者说前者比后者具有更大的吸引子控制域。第96页，共172页，编辑于2022年，星期二（3）在某些情况下，网络回想出的模式不是记忆模 式户任何一个模式，而落入“伪状态”。举例说明Hopfield网络存在的缺陷。如图所示有三个记忆模式，这三个模式不符合条件。第97页，共172页，编辑于2022年，星期二 图(a)为一个与模式1最接近(汉明距离为14)的输入模式，但是当网络依据Hopfield工作运行规则进行网络状态改变500次后，回想出来的却是一个与模式3接近的模式(汉明距离为11)。这是因为虽然输入模式与记忆模式l接近，但是记

42、忆模式3却比记忆模式1具有更小的网络能量，并且记忆模式1与3之间又比较接近(汉明距离为38)，这表明这两个记忆模式的极小值是邻近的，加之模式3比模式1有更宽的吸引子控制范围。第98页，共172页，编辑于2022年，星期二 针对Hopfield网络存在的这些问题，许多研究者提出了各种改进方案。其中Hopfield本人提出过一种称为“反学习”(unlearning)的方法。这一方法的主要思想是网络连接权设定好之后，针对需要联想的输入模式，每次按工作运行规则改变一次网络状态时，网络的连接权做一次“微调”做这种“微调”的目的，是使网络能量函数的吸引子的控制范围趋于均等，从而抑制“伪状态”现象的出现。第

43、99页，共172页，编辑于2022年，星期二 对于Hopfield网络，另一个十分有意义的问题是，一个具有N个神经元的Hopfield网络最多能存贮多少个记忆模式，即Hopfield网络的信息存贮容量是多少?如果单从网络的两个基本参数ij和i来看，由于它们可以是任意实数，可能有无穷多种参数组合，因而存贮信息的能力似乎是无穷大的。但实际上Hopfield网络的存贮能力决定于由ij和i 的适当组合而能够形成网络能量函数稳定平衡点的个数。第100页，共172页，编辑于2022年，星期二各种理各种理论论和和实验实验表明表明:Hopfield网络的信息存贮容量的上限值为015N，当超过这个上限后，记忆错

44、误将明显增多。目前还没有一个精确地解释和计算神经网络倍息存贮容量的方法，这是一个很有意义的研究课题，特别是对设计神经网络计算机来说，具有重要的实用价值。第101页，共172页，编辑于2022年，星期二连续时间型Hopfield神经网络 连续时间型Hopfield神经网络与离散型Hopfield网络的基本原理是一致的。但由于连续时间型Hopfield神经网络是以模模拟拟量量作为网络的输入、输出量，各神经元采用同步工作方式，因而它比离散型网络在信息处理的并行性、联想性、存贮分布性、实时性、协同性等方面更接近于生物神经网络。第102页，共172页，编辑于2022年，星期二 这种网络的每个神经元的输入

45、与输出关系为连续可微的单调上升函数，它的每个神经元的输入是一个随时间变化的状态变量，它与外界输入和其他神经元来的信号有直接关系，同时也与其他神经元同它之间的连接权有关系状态变量直接影响输入变量，使系统变成一个随随时时间间变变化化的的动动态系统态系统。连续时间型Hopfield网络是Hopfield于1984年在离散型神经网络的基础上提出来的，其网络的结构上与离散型相同，而且状态方程形式上也相同。第103页，共172页，编辑于2022年，星期二第104页，共172页，编辑于2022年，星期二 在网络的整个运行过程中，所有节点状态的演变有 异步 同步 连续更新 三种形式。与离散Hopfield网络

46、相比，多了一种连续更新的新形式，表示网络中所有节点都随连续时间并行更新。网络中状态确是在一定范围内连续变化。第105页，共172页，编辑于2022年，星期二网络结构 Hopfield提出的连续确定性模型可与电子线路直接对应，每一个神经元可由一个有正反向输出的放大器模拟，其中运算放大器模拟神经元的转移特性函数，连接电阻(输入端)决定各种神经元之间的连接强度，放大器输入端并联的电阻和电容可模拟生物神经元约输出时间常数。互相连线间的电导则可模拟各神经元之间的突触特性(相当权系数)。第106页，共172页，编辑于2022年，星期二第107页，共172页，编辑于2022年，星期二 对上图的神经元，根据克

47、希荷夫定律列写并经整理后成为以下的微分方程式第108页，共172页，编辑于2022年，星期二 微分方程反映网络状态的连续更新的意义。随着时间的增长变化，网络逐渐趋于定态，在输出端可以得到稳定的输出。网络的稳定性同样也可以用能量函数的概念加以说明。第109页，共172页，编辑于2022年，星期二第110页，共172页，编辑于2022年，星期二稳定性分析定义系统的能量函数为对于连续系统，有以下定理：第111页，共172页，编辑于2022年，星期二第112页，共172页，编辑于2022年，星期二 由以上可知，随着时间的增长，随着状态的变化，能量是降低的。当当且且仅仅当当网络中所有的节点状态不可改变时

48、，能量不冉变化，此时到达能量的极小点。这就是说网络的稳定点就是E的极小点。当网络的结构不对称时，那么无法保证网络的稳定性。这时在网络的运行量程中可能出现极限环或混沌状态。第113页，共172页，编辑于2022年，星期二 如果图中运算放大器为理想或近似理想放大器、那么能量函数定义式中积分项一般可忽略不计，此时，式可写为 在优化计算中，对于特定问题，先写出能量函数，再与标准方程对比，从而决定网络权结构。此时，可认为一般都是与方程相比而得到网络结构。连续状态Hopfield神经网络及其改进型已经广泛用于信号分解、自适应滤波、谱估计、AD变换等信号处理的许多领域。第114页，共172页，编辑于2022

49、年，星期二Hopfield网络的应用 Hopfield网络已经有很多成功的应用，现在还在不断地得到发展和拓宽应用领域。这种网络的应用形式主要有联联想想记记忆忆和优优化化计计算算两种形式。而其具体的应用领域有图像、语音和信号处理、模式分类相识别、知识处理、控制、容错计算、数据查询等。第115页，共172页，编辑于2022年，星期二n用神经网络解决优化组合问题，即寻找问题的最优解，是神经网络应用的一个重要方面。n所谓最优解问题，就是指在给定的约束条件内，求出使某目标函数最小(或最大)化的变量组合问题。n通过对神经网络能量函数的分析，可以得到这样一种启启发发：既然网络的能量函数在网络的状态按一定规则

50、变化时，可以自动地朝着其稳定的平衡点即极小值点运动，并将最终收敛于极值点。如果把一个需要求解的问题的目标函数转换为网络的能量函数，把问题的变量对应于网络的状态。这样当网络的能量函数收敛于极小值时，问题的最优解也就随之求出。第116页，共172页，编辑于2022年，星期二 怎样用Hopfield网络去解决具体优化问题的过程，简要地归纳如下：(1)对于特定的问题，选择一种合适的表示方法，使 得神经元网络的输出与问题的解对应起来。(2)构造神经元网络的能量函数，使其最小值对应于 问题的最佳解。(3)由能量函数倒过来推出神经元网络的结构，即神 经元之间的连接导纳和偏差(4)由网络结构建立起网络，令其运