自组织神经网络精品文稿.ppt

自组织神经网络1第1页，本讲稿共45页SONN概述概述在人类的认识过程中，除了从教师那里得到知识外，还有一种不需在人类的认识过程中，除了从教师那里得到知识外，还有一种不需要通过教师，自动向环境学习的能力，这种仅依靠环境刺激的要通过教师，自动向环境学习的能力，这种仅依靠环境刺激的“无师无师自通自通”的功能称为自组织学习方法。的功能称为自组织学习方法。在网络结构上，它一般是由输入层和竞争层构成的两层网络。两层在网络结构上，它一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向连接，而且网络没有隐含层。有时竞争层各神之间各神经元实现双向连接，而且网络没有隐含层。有时竞争层各神经元之间还存在横向连接。经元之间还存在横向连接。1）区域性：）区域性：视觉，听觉，预言理解，运动控制；视觉，听觉，预言理解，运动控制；2）自组织：遗传加上学习；自组织：遗传加上学习；3）记忆方式：一群元对应于一个模式；）记忆方式：一群元对应于一个模式；4）兴奋刺激规律：墨西哥草帽型，中间强度大，逐渐衰减，远离中心的受）兴奋刺激规律：墨西哥草帽型，中间强度大，逐渐衰减，远离中心的受到抑制。到抑制。2第2页，本讲稿共45页SONN概述概述在学习算法上，它模拟生物神经系统依靠神经元之间的兴奋、在学习算法上，它模拟生物神经系统依靠神经元之间的兴奋、协调与抑制、竞争的作用来进行信息处理的动力学原理指导网协调与抑制、竞争的作用来进行信息处理的动力学原理指导网络的学习与工作，而不像大多数神经网络那样是以网络的误差络的学习与工作，而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准则。或能量函数作为算法的准则。以竞争型神经网络为基础可以构成一些具有自组织能以竞争型神经网络为基础可以构成一些具有自组织能力的网络。如力的网络。如:自适应共振理论（自适应共振理论（Adaptive Resonance Theory）网络）网络,自组织特征映射（自组织特征映射（Self-Organizing Feature Map）网络，对向传播（）网络，对向传播（Counter Propagation）网络。）网络。3第3页，本讲稿共45页竞争学习原理竞争学习原理竞争学习网络的第一个层次是输入层次，它接受输入样本。第二个竞争学习网络的第一个层次是输入层次，它接受输入样本。第二个层次是竞争层次，它对输入样本进行分类。对于某个神经元层次是竞争层次，它对输入样本进行分类。对于某个神经元i的所有的所有连接权之和为连接权之和为1，即，即设输入样本为二值向量，各元素取值为设输入样本为二值向量，各元素取值为0或或1，竞争层单元，竞争层单元j的状态按下的状态按下式计算：式计算：4第4页，本讲稿共45页竞争学习原理竞争学习原理在在WTA(Winner Takes All)机制中，竞争层上具有最大加权的神机制中，竞争层上具有最大加权的神经元经元j赢得竞争胜利，其输出为赢得竞争胜利，其输出为竞争后的权值按下式修正竞争后的权值按下式修正其中其中为学习参数为学习参数(01,1,一般取一般取0.01-0.03)，M为输入层上输出值为为输入层上输出值为1的神经元个数，即：的神经元个数，即：5第5页，本讲稿共45页竞争学习原理竞争学习原理当当xi=1时，权值增加，而当时，权值增加，而当xi0时，权值减小。即当时，权值减小。即当xi活活跃时，对应的第跃时，对应的第i个权值就增加个权值就增加,否则就减少。由于所有的权否则就减少。由于所有的权值之和为值之和为1，故当第，故当第i个权值增加或减少时，对应的其他权个权值增加或减少时，对应的其他权值就可能减少或增加。式中的第二项则保证整个权值的值就可能减少或增加。式中的第二项则保证整个权值的调整能满足所有权值的调整量之和为调整能满足所有权值的调整量之和为0，即，即6第6页，本讲稿共45页竞争学习原理竞争学习原理例例:给出一个竞争学习网络，如图所示，要求通过训练将输入模式集给出一个竞争学习网络，如图所示，要求通过训练将输入模式集划分为两类。设输入模式为：划分为两类。设输入模式为：分析所给出模式之间的分析所给出模式之间的Hamming距离距离(两个二进制两个二进制输入模式不同状态的个数输入模式不同状态的个数)，其模式的相似性可用，其模式的相似性可用下面的矩阵表示：下面的矩阵表示：7第7页，本讲稿共45页竞争学习原理竞争学习原理所谓两个模式彼此相似，是指其所谓两个模式彼此相似，是指其Hamming距离小于某个常量。本例距离小于某个常量。本例中，中，x1、x2彼此相似，彼此相似，x3、x4彼此相似。前两个模式彼此相似。前两个模式x1、x2与后两个模与后两个模式式x3、x4的的Hamming距离较大。因此，输入模式自然可分为两类。距离较大。因此，输入模式自然可分为两类。网络训练完成后，得到如下两类：网络训练完成后，得到如下两类：每一类包含两个输入模式，同一类模式的每一类包含两个输入模式，同一类模式的Hamming距离为距离为1，不，不同类模式的同类模式的Hamming距离为距离为2或或3。网络的分类原则来源于输入。网络的分类原则来源于输入模式的固有特征。用不同的初始权值反复进行训练，网络仍然能模式的固有特征。用不同的初始权值反复进行训练，网络仍然能自组织学习，完成正确的模式分类。自组织学习，完成正确的模式分类。8第8页，本讲稿共45页竞争学习网络特征竞争学习网络特征 在竞争学习中，竞争层的神经元总是趋向于响应它所代表的某个在竞争学习中，竞争层的神经元总是趋向于响应它所代表的某个特殊的样本模式，这样输出神经元就变成检测不同模式类的检测器。特殊的样本模式，这样输出神经元就变成检测不同模式类的检测器。竞争学习方法是网络通过极小化同一模式类里面的样本之间的距离，竞争学习方法是网络通过极小化同一模式类里面的样本之间的距离，极大化不同模式类间的距离来寻找模式类。这里所说的模式距离指极大化不同模式类间的距离来寻找模式类。这里所说的模式距离指Hamming距离，如模式距离，如模式010与模式与模式101的的Hamming距离为距离为3。对这种竞争学习算法进行的模式分类，有时依赖于初始的权值以及输入对这种竞争学习算法进行的模式分类，有时依赖于初始的权值以及输入样本的次序。要得到较好的训练结果，例如图所示的模式分类，网络应将其样本的次序。要得到较好的训练结果，例如图所示的模式分类，网络应将其按按Hamming距离分为三类。距离分为三类。9第9页，本讲稿共45页竞争学习网络特征竞争学习网络特征假如竞争层的初始权值都是相假如竞争层的初始权值都是相同的，那么竞争分类的结果同的，那么竞争分类的结果是：首先训练的模式属于类是：首先训练的模式属于类1，由竞争单元，由竞争单元1表示；随后训表示；随后训练的模式如果不属于类练的模式如果不属于类1，它，它就使竞争单元就使竞争单元2表示类表示类2；剩下；剩下的不属于前两类的模式使单元的不属于前两类的模式使单元3获胜，为类获胜，为类3。假如不改变初始。假如不改变初始权值分布，只改变模式的训练顺权值分布，只改变模式的训练顺序，这可能使竞争层单元对模式影响分类响应不一样，此时获胜的竞争单元序，这可能使竞争层单元对模式影响分类响应不一样，此时获胜的竞争单元1有有可能代表类可能代表类2或或3，这种顺序上的不一样会造成分类学习很不稳定，会出现对同，这种顺序上的不一样会造成分类学习很不稳定，会出现对同一输入模式在不同的迭代时有不同的响应单元，分类结果就产生振荡。一输入模式在不同的迭代时有不同的响应单元，分类结果就产生振荡。10第10页，本讲稿共45页竞争学习网络特征竞争学习网络特征 竞争学习网络所实现的模式分类情况与典型的竞争学习网络所实现的模式分类情况与典型的BP网络分类有所网络分类有所不同。不同。BP网络分类学习必须预先知道将输入模式分为几个类别，而网络分类学习必须预先知道将输入模式分为几个类别，而竞争网络将给定的模式分为几类预先并不知道，只有在学习后才能确竞争网络将给定的模式分为几类预先并不知道，只有在学习后才能确定。定。竞争学习网络也存在一些局限性：竞争学习网络也存在一些局限性：（1）只用部分输入模式训练网络，当用一个明显不同的新）只用部分输入模式训练网络，当用一个明显不同的新 的输入模式进行分类时，网络的分类能力可能会降的输入模式进行分类时，网络的分类能力可能会降 低，甚至无法低，甚至无法对其进行分类，这是由于竞争学习网络对其进行分类，这是由于竞争学习网络 采用的是非推理方式采用的是非推理方式调节权值。调节权值。（2）竞争学习对模式变换不具备冗余性，其分类不是大）竞争学习对模式变换不具备冗余性，其分类不是大 小、位移、旋转不变的，从结构上也不支持大小、小、位移、旋转不变的，从结构上也不支持大小、位移、旋转不位移、旋转不变的分类模式。因此在使用上通常利用变的分类模式。因此在使用上通常利用 竞争学习的无监督性，将其包竞争学习的无监督性，将其包含在其它网络中。含在其它网络中。11第11页，本讲稿共45页自组织特征映射（自组织特征映射（SOFM）模型）模型 自组织特征映射模型也称为自组织特征映射模型也称为Kohonen网络或者称为网络或者称为Self-organizing map，由芬兰学者，由芬兰学者Teuvo Kohonen于于1981年提出。年提出。该网络是一个由全互连的神经元阵列形成的无教师自组织自学该网络是一个由全互连的神经元阵列形成的无教师自组织自学习网络。习网络。Kohonen认为，处于空间中不同区域的神经元有不同认为，处于空间中不同区域的神经元有不同的分工，当一个神经网络接受外界输入模式时，将会分为不同的分工，当一个神经网络接受外界输入模式时，将会分为不同的反应区域，各区域对输入模式具有不同的响应特征。的反应区域，各区域对输入模式具有不同的响应特征。SOFM模型的一个典型特性就是可以模型的一个典型特性就是可以在一维或二维的处理单元阵列上形成在一维或二维的处理单元阵列上形成输入信号的特征拓扑分布输入信号的特征拓扑分布,因此因此SOFM模型具有抽取输入信号模式特模型具有抽取输入信号模式特征的能力。征的能力。SOFM模型一般只包含有模型一般只包含有一维阵列和二维阵列，但可以推广到一维阵列和二维阵列，但可以推广到多维处理单元阵列。多维处理单元阵列。12第12页，本讲稿共45页自组织特征映射（自组织特征映射（SOFM）模型）模型 Kohonen网络模型由四个部分组成：网络模型由四个部分组成：(1)处理单元阵列：接受事件输入，并且形成对这些信处理单元阵列：接受事件输入，并且形成对这些信号的号的“判别函数判别函数”。(2)比较选择机制：比较比较选择机制：比较“判别函数判别函数”并选择一个具有最并选择一个具有最大函数输出值的处理单元。大函数输出值的处理单元。(3)局部互连作用：同时激励被选择的处理单元及其最邻近的处局部互连作用：同时激励被选择的处理单元及其最邻近的处理单元。理单元。(4)自适应过程：修正被激励的处理单元的参数，以增加其自适应过程：修正被激励的处理单元的参数，以增加其相应于特定输入相应于特定输入“判别函数判别函数”的输出值。的输出值。13第13页，本讲稿共45页自组织特征映射（自组织特征映射（SOFM）模型）模型 竞争层竞争规则：竞争层竞争规则：在竞争层中，神经元的竞争是这样进行的：对于获胜的神经元在竞争层中，神经元的竞争是这样进行的：对于获胜的神经元g，在，在其周围其周围Ng的区域内，神经元在不同程度上都得到兴奋，而在的区域内，神经元在不同程度上都得到兴奋，而在Ng以外以外的神经元都被抑制。的神经元都被抑制。Ng可以是任何形状，但一般是均匀对称的，如正方形或六角形。可以是任何形状，但一般是均匀对称的，如正方形或六角形。Ng是时间函数，用是时间函数，用Ng(t)表示，随表示，随t增加，增加，Ng(t)减小，最后达到预定的减小，最后达到预定的范围。范围。SOFM网络在无教师示教的情况下，通过对输入模式的自组网络在无教师示教的情况下，通过对输入模式的自组织学习，在竞争层将分类结果表示出来，这种表现方式的不同之织学习，在竞争层将分类结果表示出来，这种表现方式的不同之处在于：它不是以一个神经元或者网络的状态矢量反映分类结果处在于：它不是以一个神经元或者网络的状态矢量反映分类结果的，而是以若干神经元同时（并行）反映结果。与这若干神经元的，而是以若干神经元同时（并行）反映结果。与这若干神经元相连的连接权虽略有差别，但这些神经元的分类作用基本上是并相连的连接权虽略有差别，但这些神经元的分类作用基本上是并列的，即其中任何一个神经元都能代表分类结果和近似分类结果。列的，即其中任何一个神经元都能代表分类结果和近似分类结果。14第14页，本讲稿共45页自组织特征映射（自组织特征映射（SOFM）模型）模型 此外，这种网络之所以称为特征映射网络，是因为网络通过对输此外，这种网络之所以称为特征映射网络，是因为网络通过对输入模式的反复学习，可以使连接权矢量的空间分布密度与输入模入模式的反复学习，可以使连接权矢量的空间分布密度与输入模式的概率分布趋于一致，即连接权矢量的空间分布能反映输入模式的概率分布趋于一致，即连接权矢量的空间分布能反映输入模式的统计特征。式的统计特征。可见，可见，SOFM网络可用于样本排序、样本分类及样本特征检网络可用于样本排序、样本分类及样本特征检测等。测等。15第15页，本讲稿共45页自组织特征映射（自组织特征映射（SOFM）模型）模型 网络实际具有响应的输出单元网络实际具有响应的输出单元k，该单元的确定是通过胜者全得，该单元的确定是通过胜者全得(WTA)竞争得到的，即：竞争得到的，即：SOFM模型的输入输出单元之间是全连接的，其权值修正规则为模型的输入输出单元之间是全连接的，其权值修正规则为设网络输入为设网络输入为X，输出神经元，输出神经元i与输入层单元的连接权为与输入层单元的连接权为Wi，则输出层神经元则输出层神经元j的输出的输出oi为为16第16页，本讲稿共45页自组织特征映射（自组织特征映射（SOFM）模型）模型 Kohonen算法步骤：算法步骤：(1)初始化：对初始化：对m个输入神经元到个输入神经元到n个输出神经的连接权随机赋以较小的个输出神经的连接权随机赋以较小的权值。置迭代次数权值。置迭代次数T，学习参数，学习参数(0)。选取输出神经元。选取输出神经元j的的“邻接神经元邻接神经元”的集合的集合Sj(0)，表示时刻，表示时刻t0时的神经元时的神经元j的的“邻接神经元邻接神经元”的集合。区域的集合。区域 sj(t)随时间的增长而不断缩小。随时间的增长而不断缩小。(2)提供归一化的输入模式提供归一化的输入模式x。(3)计算欧氏距离计算欧氏距离dj，即输入样本与每个输出神经元，即输入样本与每个输出神经元j之间的欧氏距离：之间的欧氏距离：计算出一个具有最小距离的神经元计算出一个具有最小距离的神经元j*作为竞争获胜节点作为竞争获胜节点 (4)按下式修正输出神经元按下式修正输出神经元j*及其及其“邻接神经元邻接神经元”sj(t)的权值的权值17第17页，本讲稿共45页自组织特征映射（自组织特征映射（SOFM）模型）模型 (4)重复输入所有样本直到达到迭代次数重复输入所有样本直到达到迭代次数T18第18页，本讲稿共45页举例举例：训练模式训练模式:归一化的初始权值为：归一化的初始权值为：设设 为为0.5,0.5,输入输入x x1 1后后,权值变化为权值变化为:化成极坐标形式：化成极坐标形式：自组织特征映射（自组织特征映射（SOFM）模型）模型19第19页，本讲稿共45页自组织特征映射（自组织特征映射（SOFM）模型）模型最终向最终向量量20第20页，本讲稿共45页自产生与自组织神经网络（自产生与自组织神经网络（SCONN）自组织特征映射神经网络存在以下局限：自组织特征映射神经网络存在以下局限：(1)当输入模式为圆形分布时，中心节点无法学习成为死节点当输入模式为圆形分布时，中心节点无法学习成为死节点(2)由于输出层边界节点学习的次数远多于中心节点，因此存在明显由于输出层边界节点学习的次数远多于中心节点，因此存在明显的边界效应，需要很多的时间学习来消除的边界效应，需要很多的时间学习来消除(3)当输入模式拓扑结构比较复杂时系统会很不稳定当输入模式拓扑结构比较复杂时系统会很不稳定(4)当输入模式序列不稳定时系统可塑性差当输入模式序列不稳定时系统可塑性差(5)自产生与自组织神经网络：假定初始时刻网络节点数很少（甚至自产生与自组织神经网络：假定初始时刻网络节点数很少（甚至只有一个节点）而响应神经元的激励动态范围较宽，也就是说神经只有一个节点）而响应神经元的激励动态范围较宽，也就是说神经元对任何刺激都会响应，响应阈值随时间衰减至一个固定的水平。元对任何刺激都会响应，响应阈值随时间衰减至一个固定的水平。其中有一个神经元有最大激励但没有达到响应值，就产生一个子节其中有一个神经元有最大激励但没有达到响应值，就产生一个子节点。点。21第21页，本讲稿共45页自产生与自组织神经网络（自产生与自组织神经网络（SCONN）自产生与自组织神经网络算法：自产生与自组织神经网络算法：(1)初始化权系数、响应阈值初始化权系数、响应阈值(t)、迭代次数、学习参数等迭代次数、学习参数等(2)输入新的模式输入新的模式(3)计算输入模式与所有输出节点的欧氏距离计算输入模式与所有输出节点的欧氏距离(4)选择距离最小的节点为竞争获胜节点选择距离最小的节点为竞争获胜节点(5)判断获胜节点是否响应，若是转判断获胜节点是否响应，若是转(6)，否转，否转(7)22第22页，本讲稿共45页自产生与自组织神经网络（自产生与自组织神经网络（SCONN）(6)调节获胜节点（和家族节点）权系数，降低所有节点的响应阈值，转调节获胜节点（和家族节点）权系数，降低所有节点的响应阈值，转(2)(7)由非响应获胜节点产生一个子节点，降低所有节点的响应阈值，由非响应获胜节点产生一个子节点，降低所有节点的响应阈值，转转(2)R(t)为区间为区间(0,1)内的相似系数内的相似系数 上述算法的中止有三个准则：迭代次数上述算法的中止有三个准则：迭代次数T、输出节点数、输出节点数Sj、响应、响应阈值阈值(t)(t)。23第23页，本讲稿共45页对向传播网络（对向传播网络（CPN）CPN(Counter Propagation Network)由美国由美国Robert Hecht-Niesen提提出，它通过组合出，它通过组合Kohonen学习和学习和Grossberg学习而获得一种新的映射学习而获得一种新的映射神经网络。神经网络。CPN也被称作重复传播模型，也被称作重复传播模型，用来实现样本选择匹配，同时，用来实现样本选择匹配，同时，CPN常被用作联想存贮、模式分类、常被用作联想存贮、模式分类、函数逼近、统计分析和数控压缩等方面。函数逼近、统计分析和数控压缩等方面。CPN是一个三层前向网络，各层之是一个三层前向网络，各层之间全互连连接。隐含层称为间全互连连接。隐含层称为Kohonen层，即竞争层，采用层，即竞争层，采用无监督学习规则进行学习。输出层称无监督学习规则进行学习。输出层称为为Grossberg层，它与隐含层全互连，层，它与隐含层全互连，但不进行竞争。但不进行竞争。Grossberg层采用层采用规则或规则或Grossberg规则进行学习。规则进行学习。24第24页，本讲稿共45页对向传播网络（对向传播网络（CPN）向向网络提供的模式集为网络提供的模式集为(X，Y)，X(x1,x2,xn)T，Y(y1,y2，ym)T。竞争层神经元的输出为。竞争层神经元的输出为Z=(z1,z2,zp)T。权值定义为：。权值定义为：wji表表示输入神经元示输入神经元i到竞争神经元到竞争神经元j的权值，的权值，Wj(wj1，wj2，wjn)T；vkj表示竞争神经元表示竞争神经元j到输出神经元到输出神经元k的权值，的权值，Vk=(vk1，vk2,，vkm)T。由于。由于输入层与隐含层之间采用竞争学习，所以权值矢量输入层与隐含层之间采用竞争学习，所以权值矢量Wj的模应为的模应为1，即，即|Wj|=1CPN的运行过程为：的运行过程为：当输入矢量当输入矢量X送入网络时，送入网络时，xi是相应输入神经元是相应输入神经元i的活跃值。此时竞争的活跃值。此时竞争层神经元层神经元j按下式对输入进行加权和运算，得到其相应的状态：按下式对输入进行加权和运算，得到其相应的状态：sj表示竞争神经元表示竞争神经元j的加权和，也就是其状态。然后，在竞争层神经的加权和，也就是其状态。然后，在竞争层神经元之间开始竞争，具有最大加权的神经元元之间开始竞争，具有最大加权的神经元c将赢得竞争胜利，即将赢得竞争胜利，即25第25页，本讲稿共45页对向传播网络（对向传播网络（CPN）竞争结束后，竞争层神经元的输出竞争结束后，竞争层神经元的输出zj为：为：输出层神经元对竞争层神经元的输出进行加权和运算：输出层神经元对竞争层神经元的输出进行加权和运算：上式中上式中，yk是输出神经元是输出神经元k的实际输出。由于的实际输出。由于zc是惟一的非零值，故有：是惟一的非零值，故有：这样，输出神经元的输出只取其与竞争胜利的神经元这样，输出神经元的输出只取其与竞争胜利的神经元c的连接权值的连接权值26第26页，本讲稿共45页对向传播网络（对向传播网络（CPN）CPN的学习过程为：的学习过程为：在学习期间，对在学习期间，对Wj和和Vk均要进行调整，分别使用两个不同的算法。均要进行调整，分别使用两个不同的算法。首先，当赢得竞争胜利的神经元首先，当赢得竞争胜利的神经元c确定后，这一神经元确定后，这一神经元c就被选择用来就被选择用来表达相应的输入样本。仅仅是连接到神经元表达相应的输入样本。仅仅是连接到神经元c的从输入层到竞争层的连接的从输入层到竞争层的连接权值被调整，其他的权值保持不变。竞争结束后，开始计算网络的输权值被调整，其他的权值保持不变。竞争结束后，开始计算网络的输出，并将其与理想输出相比较，然后改变隐含层与输出层神经之间的出，并将其与理想输出相比较，然后改变隐含层与输出层神经之间的连接权值。连接权值。输入层与隐含层的权值按下式调整：输入层与隐含层的权值按下式调整：其中其中为学习常数为学习常数(01)，其他的权值，其他的权值wji(jc)保持不变。对权值进保持不变。对权值进行修改后应对其进行正则化，即除以欧氏模，网络隐含层到输出层权值按行修改后应对其进行正则化，即除以欧氏模，网络隐含层到输出层权值按规则进行学习：规则进行学习：27第27页，本讲稿共45页对向传播网络（对向传播网络（CPN）由于每次只有竞争胜利神经元由于每次只有竞争胜利神经元c的输出为的输出为1，其他的隐含神经元的输，其他的隐含神经元的输出为出为0，因此只有连接到隐含层竞争胜利神经元，因此只有连接到隐含层竞争胜利神经元c的权值被调整的权值被调整:CPN要求对输入矢量进行正则化，即使得输入矢量的模为要求对输入矢量进行正则化，即使得输入矢量的模为1:正则化后的输入向量就位于一个单位超球面上，权矢量正则化后的输入向量就位于一个单位超球面上，权矢量Wj=(wj1,wj2,wjn)T正则化后也位于该超球面上。对于竞争正则化后也位于该超球面上。对于竞争神经元神经元j的状态，状态计算可写成矢量形式；的状态，状态计算可写成矢量形式；28第28页，本讲稿共45页对向传播网络（对向传播网络（CPN）其中，其中，j为为X与与Wj之间的角度。由于之间的角度。由于|W|X|=1，故有，故有因而，具有最小角度的神经元就赢得竞争胜利。因而，具有最小角度的神经元就赢得竞争胜利。29第29页，本讲稿共45页自适应共振理论（自适应共振理论（ART）模型）模型ART(Adaptive Resonance Theory)模型是一种自组织神经网络，模型是一种自组织神经网络，由由S.Grossberg和和A.Carpentent等人于等人于1986年提出。年提出。ART模型成模型成功地解决了神经网络学习中的稳定性功地解决了神经网络学习中的稳定性(固定某一分类集固定某一分类集)与可塑性与可塑性(调整网调整网络固有参数的学习状态络固有参数的学习状态)的关系问题。的关系问题。ART是以认知和行为模式为基础的一种无教师、矢量聚类和竞争学习是以认知和行为模式为基础的一种无教师、矢量聚类和竞争学习的算法。在数学上，的算法。在数学上，ART由线性微分方程描述；在网络结构上，由线性微分方程描述；在网络结构上，ART网络是全反馈结构，且各层节点具有不同的性质；网络是全反馈结构，且各层节点具有不同的性质；ART由分离的外部由分离的外部单元控制层间数据通讯。单元控制层间数据通讯。ART与其他网络相比，具有以下一些特点：与其他网络相比，具有以下一些特点：(1)神经网络要实现的是实时学习，而不是离线学习；神经网络要实现的是实时学习，而不是离线学习；(2)神经网络面对的是非平稳的、不可预测的非线性世界；神经网络面对的是非平稳的、不可预测的非线性世界；(3)神经网络具有自组织的功能，而不只是实现有教师的学习；神经网络具有自组织的功能，而不只是实现有教师的学习；(4)神经网络具有自稳定性；神经网络具有自稳定性；(5)神经网络能自行学习一种评价指标神经网络能自行学习一种评价指标(评价函数评价函数)，而不需要外界强行给，而不需要外界强行给出评价函数。出评价函数。30第30页，本讲稿共45页自适应共振理论（自适应共振理论（ART）模型）模型(6)神经网络能主动地将注意力集中于最有意义的特征，而不需要被动神经网络能主动地将注意力集中于最有意义的特征，而不需要被动地由外界给出对各种特征的注意权值；地由外界给出对各种特征的注意权值；(7)神经网络能直接找到应激发的单元，而不需对整个存贮空间神经网络能直接找到应激发的单元，而不需对整个存贮空间进行搜索；进行搜索；(8)神经网络可以在近似匹配的基础上进一步学习，这种基于假设检验基础神经网络可以在近似匹配的基础上进一步学习，这种基于假设检验基础上的学习对干扰具有更好的鲁棒性；上的学习对干扰具有更好的鲁棒性；(9)神经网络的学习可以先快后慢，避免了系统振荡；神经网络的学习可以先快后慢，避免了系统振荡；(10)神经网络可实现快速直接访问，识别速度与模式复杂性无关；神经网络可实现快速直接访问，识别速度与模式复杂性无关；(11)神经网络可通过神经网络可通过“警戒警戒”参数来调整判别函数。参数来调整判别函数。31第31页，本讲稿共45页ART1的基本原理的基本原理ART1的结构原理如图所示，模型分为两个子系统：注意子系的结构原理如图所示，模型分为两个子系统：注意子系统和取向子系统。前者处理已学习的模式，也就是对已经熟悉的统和取向子系统。前者处理已学习的模式，也就是对已经熟悉的模式建立起精确的内部表示，后者处理新出现的模式，当不熟悉模式建立起精确的内部表示，后者处理新出现的模式，当不熟悉的事件出现时，它回的事件出现时，它回调注意子系统，在内部建立调注意子系统，在内部建立新的内部编码来表示不熟悉新的内部编码来表示不熟悉的事件。的事件。在注意子系统中有两个非几在注意子系统中有两个非几何意义上的层次来处理接受何意义上的层次来处理接受到的信息，即到的信息，即F1和和F2，短期，短期记忆。记忆。F1和和F2之间的连接通之间的连接通道为长期记忆。该长期记忆道为长期记忆。该长期记忆又分为自上而下和自下而上又分为自上而下和自下而上两类，它们都用相应的权值两类，它们都用相应的权值来表示。注意子系统中的增来表示。注意子系统中的增益控制使得益控制使得F1可以对自上而可以对自上而下的引发模式和自下而上的输入模式加以区分。下的引发模式和自下而上的输入模式加以区分。32第32页，本讲稿共45页ART1的基本原理的基本原理(1)ART-1的工作过程的工作过程:注意子系统的注意子系统的F1接受外界的输入模式接受外界的输入模式I，I被转换成被转换成F1中的单元工作中的单元工作模式模式X，即单元的状态，即单元的状态(神经元的活跃值神经元的活跃值)，有，有模式模式X被短期记忆被短期记忆(STM)在在F1中。中。在在X中，足够活跃的节点中，足够活跃的节点(处于激活的单元处于激活的单元)将产生将产生F1的输出，的输出，激活输出激活输出SS模式经过单向连接权模式经过单向连接权LTM1(wij)输送到输送到F2中，从而建立起中，从而建立起F2输入模输入模式式T33第33页，本讲稿共45页ART1的基本原理的基本原理 在在F2中，中，T经过经过F2的神经元之间的相互作用，构成一个对输入模式的神经元之间的相互作用，构成一个对输入模式T的的比较增强的过程。相互作用的结果是在比较增强的过程。相互作用的结果是在F2中产生一个短期记忆中产生一个短期记忆(STM)的模式的模式Y(对比增强模式对比增强模式)，也即是，也即是F2中神经元的状态：中神经元的状态：该对比增强的过程就是在该对比增强的过程就是在F2中选择一中选择一个与当前输入相对应的输出值为最大个与当前输入相对应的输出值为最大的神经元的过程。所选择的神经元是的神经元的过程。所选择的神经元是用来表示活跃模式的唯一的神经元用来表示活跃模式的唯一的神经元(即即能对输入模式作出响应的神经元能对输入模式作出响应的神经元)。上上述自下而上的过程如图所示。述自下而上的过程如图所示。自下而上过程自下而上过程34第34页，本讲稿共45页ART1的基本原理的基本原理由由F2中产生的模式中产生的模式Y得到一个自上而下的激励信号模式得到一个自上而下的激励信号模式U，只有，只有Y中足够中足够活跃的神经元才能产生活跃的神经元才能产生U，这也是由阈值函数控制的：，这也是由阈值函数控制的：F2的输出模式经单向连接权的输出模式经单向连接权LTM2(wji)被输送到被输送到F1中，成为另一输入中，成为另一输入V V，如右图所示。，如右图所示。自上而下过程自上而下过程这祥这祥F1中就有两个输入模式中就有两个输入模式V和和I，V和和I相相互结合产生出模式互结合产生出模式X*：35第35页，本讲稿共45页ART1的基本原理的基本原理 X*与仅由与仅由I产生的产生的X是不相同是不相同的。特别地的。特别地,F1要进行要进行V和和I之间的之间的匹配，匹配的结果用来确定进一匹配，匹配的结果用来确定进一步的学习和作用过程。步的学习和作用过程。当输入模式当输入模式I在产生在产生X的同的同时，时，X对调整子系统对调整子系统A具有抑制作具有抑制作用。现在由用。现在由F2输入的模式输入的模式V将可将可能使这种对能使这种对A的抑制作用发生改的抑制作用发生改变。当在变。当在F1中，中，V和和I的非匹配程的非匹配程度增加时，从度增加时，从F1到到A的抑制就相的抑制就相应减小。若匹配程度降低到足够应减小。若匹配程度降低到足够小，小，F1对对A的抑制控制降低到某一限度时，的抑制控制降低到某一限度时，A被激活而产生出一个控被激活而产生出一个控制信号送到制信号送到F2中改变了中改变了F2的状态，并取消了原来自下而上的模式的状态，并取消了原来自下而上的模式Y和和V，结束了，结束了V和和I失配。如图所示。失配。如图所示。调整子系统调整子系统A被激励被激励36第36页，本讲稿共45页ART1的基本原理的基本原理 这样，输入模式这样，输入模式I在在F1中再中再产生一个模式产生一个模式X，随后相继又产，随后相继又产生生S和和T，送入到，送入到F2中。由于在中。由于在F2中已有抑制信号存在，中已有抑制信号存在，T就在就在F2中产生一个新的样板模式中产生一个新的样板模式Y*，而不是原来的模式而不是原来的模式Y，如图所示。，如图所示。新的新的Y*又产生出新的样板模式又产生出新的样板模式V*，此时此时V*再与再与I匹配，如失配，则匹配，如失配，则A又被启动，在又被启动，在F2中又产生一个消中又产生一个消除信号。上述过程一直进行到除信号。上述过程一直进行到V*在在F1中与中与I相匹配时为止。该过程相匹配时为止。该过程控制了控制了LTM的搜索，从而调整了的搜索，从而调整了LTM对外界环境的编码。对外界环境的编码。通过上述过程可知，信号模式在通过上述过程可知，信号模式在F1与与F2之间来回运行之间来回运行(振荡振荡)，不断地调整不断地调整V*与与I,直至与其匹配直至与其匹配(共振共振)为止。为止。新一轮自下而上过程新一轮自下而上过程37第37页，本讲稿共45页ART1的基本原理的基本原理对于调整子系统的激励作用可以这样考虑：对于调整子系统的激励作用可以这样考虑：当当V*与与I不匹配时，需要从不匹配时，需要从A中送一个清除信号到中送一个清除信号到F2中去。假定中去。假定|I|表示表示I元素的个数，当元素的个数，当IF1时同时产生一个信号时同时产生一个信号P到到A中，所有中，所有的的I产生了产生了P|I|。同祥假定。同祥假定F1中的神经元也产生一个信号中的神经元也产生一个信号Q(抑制抑制)到到A，用，用|X|表示表示F1中激活单元中激活单元X的个数，则所有的抑制信号为的个数，则所有的抑制信号为Q|X|。当当P|l|Q|X|时，时，A就收到激励信号，产生一个清除信号到就收到激励信号，产生一个清除信号到F2中。中。38第38页，本讲稿共45页2/3匹配规则匹配规则模式模式V和和I的匹配是根据一定规则进行的的匹配是根据一定规则进行的,该规则被称为该规则被称为23匹配规则，匹配规则，这是根据这是根据F1可能的可能的3个输入信号个输入信号(自上而下的样板自上而下的样板V、自下而上的输入模、自下而上的输入模式式I以及增益控制输入以及增益控制输入)中要有中要有2个起作用才能使个起作用才能使F1产生输出而命名。产生输出而命名。当自上而下过程当自上而下过程3个信号源中如果只有一个在起作用，如图个信号源中如果只有一个在起作用，如图(a),因而因而F1不会被自上而下的模式提前激发。当在不会被自上而下的模式提前激发。当在F1处理自下而上过程时，因处理自下而上过程时，因同时接受到输入信号同时接受到输入信号I和增益控制信号，和增益控制信号，F1被激活，如图被激活，如图(b)。当。当F1在自上而下和自下而上的信号同时作用时，增益控制被自上而下通在自上而下和自下而上的信号同时作用时，增益控制被自上而下通道抑制，道抑制，F1中的神经元是否被激活，依赖于足够大的自上而下和自下中的神经元是否被激活，依赖于足够大的自上而下和自下而上信号的共同作用。只接受二个信号中的一个，神经元节点就不会而上信号的共同作用。只接受二个信号中的一个，神经元节点就不会起作用，所以失配部分不会被激活，如图起作用，所以失配部分不会被激活，如图(c)。图。图(d)表示模式之间的抑表示模式之间的抑制连接，当子系统从一个模式向另一个模式移动时，这种抑制可以阻制连接，当子系统从一个模式向另一个模式移动时，这种抑制可以阻止止F1提前发生激活。提前发生激活。39第39页，本讲稿共45页2/3匹配规则匹配规则增益控制可以决定增益控制可以决定F1如何知道信号是来自如何知道信号是来自下边的输入还是来自下边的输入还是来自上边的反馈。因为当上边的反馈。因为当F2被激发，启动向被激发，启动向F1输送学习样板时，输送学习样板时，增益控制就会给出增益控制就会给出抑制作用来影响抑制作用来影响F1对输入响应的灵敏对输入响应的灵敏度，从而使得度，从而使得F1区区分自上而下和自下而分自上而下和自下而上的信号。上的信号。40第40页，本讲稿共45页ART-1的学习算法的学习算法假定假定F1中神经元为中神经元为vi，i1，,n；F2中神经元为中神经元为vj，j1，m(1)初始化：初始化：(2)输入新的样本输入新的样本;(3)计算匹配度计算匹配度;41第41页，本讲稿共45页ART-1的学习算法的学习算法(4)选择一个最佳匹配样本：选择一个最佳匹配样本：这可通过输出节点的扩展抑制权值而达到。这可通过输出节点的扩展抑制权值而达到。(5)警戒线检验：警戒线检验：42第42页，本讲稿共45页ART-1的学习算法的学习算法(6)重新匹配：把最佳匹