五章自组织竞争神经网络.ppt

五章自组织竞争神经网络 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望第五章第五章 自组织竞争神经网络自组织竞争神经网络 5.1 概述概述 5.2 自组织特征映射网络自组织特征映射网络 5.3 自适应共振理论模型自适应共振理论模型 5.4 神经认知机神经认知机 5.1 概述概述 在实际的神经网络中，存在一种侧抑制的现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制这种侧抑制在脊髓和海马中存在，在人眼的视网膜中也存在。另外，在认知过程中除了从教师那儿得到知识外，还有一种不需要教师指导的学习，这种直接依靠外界刺激，“无师自通”达到的功能有时也称为自学习、自组织的学习方法。自组织竞争人工神经网络就是基于上述两种生物结构和现象的基础上生成的，它的权是经过Hebb规则或类似Hebb规则学习后得到的。5.2 自组织特征映射网络自组织特征映射网络 5.2.1 网络拓扑结构及工作过程网络拓扑结构及工作过程 5.2.2 自组织映射学习算法自组织映射学习算法 5.2.3 自组织映射网络的工作原理自组织映射网络的工作原理 5.2.4 网络的应用实例网络的应用实例 芬兰学者Kohonen认为一个神经网络接受外界输入模式时，将会分成不同的区域，各区域对输入模式将会有不同的响应特性，最临近的神经元互相激励，而较远的神经元之间相互抑制，而更远的神经元之间又有较弱的激励作用。在受到外界刺激时，刺激最强的地方形成一个Bubble（墨西哥帽），在此Bubble区中，神经元权向量会自动调节，直到与输入向量的某一最大分量方向相重合为止。图图5.1 神经元的作用分布曲线神经元的作用分布曲线 图图 5.2 网络结构网络结构 5.2.1 网络拓扑结构及工作过程网络拓扑结构及工作过程 图图5.3 Nj(t)的形状变化情况的形状变化情况 对于任意一个输入节点i和输出节点j有：i1,2,.,n,j1,2,.,n 且：5.2.2 自组织映射学习算法自组织映射学习算法 连接权值的初始化。t=0:0Wij1,i1,2,n,j1,2,m 对网络输入一个样本模式。XK=(X1,X2,Xn)计算与全部输出节点间的权值向量的距离 j1,2,m(5.2.2)选择有最小距离的节点为竞争获胜节点 j1,2,m 调整权值 (5.2.3)其中，0(t)1，衰减函数，随着时间t而递减；(Nj,Nj*)限界函数，随着Nj*距离递减。若还有输入样本则转，当所有的样本输入完，且满足：i1,2,.,n,j1,2,m(5.2.4)或者完成指定的学习次数后算法结束，否则转。(t)和Nj*有一般化数学方法，凭经验选取。初始时，Nj*选取较大，后逐渐变小，(t)开始时较大，后逐渐变为0。从自组织映射网络算法来看，该网络有以下特点：从自组织映射网络算法来看，该网络有以下特点：(1)网络中的权值是输入样本的记忆。如果输出节点j与输入层n个节点的连接权值向量用Wj表示，对应某一类样本XK输入，使j节点达到的匹配最大，那么Wj通过学习以后十分靠近XK，因此以后当XK再次输入时，j节点必定兴奋，j节点是样本的XK代表。(2)网络学习时对权值的调整，不只是对兴奋的节点所对应的权值进行调整，而对其周围区域Nj内的节点同时进行调整，因此对于在Nj内的节点可以代表不只是一个样本XK，而是与XK比较相近的样本都可以在Nj内得到反映，因此这种网络对于样本的畸变和噪声的容限大。(3)网络学习结果使比较相近的输入样本在输出二维平面上位置也比较接近。(4)可实现在线学习，已修改的权值将保留。5.3 自适应共振理论模型自适应共振理论模型 5.3.1 自适应共振理论自适应共振理论(ART)5.3.2 ART1神经网络神经网络 5.3.3 ART1网络学习算法的改进网络学习算法的改进 5.3.4 ART2神经网络神经网络 5.3.5 ART神经网络在人像识别中的应用神经网络在人像识别中的应用 5.3.1 自适应共振理论自适应共振理论(ART)自适应共振理论(Adaptive Resonance Theory，简称)是由美国Boston大学S.Grossberg和A.Carpenter提出的。这一理论包括ART1和ART2两种模型，可以对任意多和任意复杂的二维模式进行自组织、自稳定和大规模并行处理。前者用于二进制输入，后者用于连续信号输入。如图5.8所示，它由两个相继连接的存储单元STM-F1和STM-F2组成，分成注意子系统和取向子系统。F1 和F2之间的连接通路为自适应长期记忆(LTM)。图图5.8 ART原理图原理图 ART的主要优点：的主要优点：1、可完成实时学习，且可适应非平稳的环境；2、对已学习过的对象具有稳定的快速识别能力，同时又能迅速适应学习的新对象；3、具有自归一能力，根据某些特征在全体中所占的比例，有时作为关键特征，有时又被当作噪声处理；4、不需要事先已知样本结果，可非监督学习；5、容量不受输入通道数的限制，存储对象也不要求是正交的；6、此系统可以完全避免陷入局部极小点的问题。5.3.2 ART1神经网络神经网络 一、一、ART1神经网络基本结构神经网络基本结构 图图5.9 ART1 网络的基本结构网络的基本结构 网络的基本结构由两层神经网节点构成两个子系统，分别称比较层(Compare，简称C层)和识别(Recognition，简称R层)。另外还有三种控制信号，即复位信号(简称Reset)及两种逻辑控制信号G1和G2。1.C 层结构层结构：具有n个节点，每个节点接受来自三个方面的信号。信号1：输入X的第i个分量Xi。信号2：R层第j个单元的自上而下返回信号Rj。信号3：G1控制信号。设C层第i个单元输出为Ci。Ci根据“2/3规则”产生，即Ci具有三个信号中的多数相同的值。网络开始运行时，G1=1，R层反馈信号为0。2.R 层结构层结构：R层功能结构相当于一种前向竞争网络，假设输出层有m个节点，m类输入模式。输出层节点能动态增长，以满足设立新模式类的需要。设由C层自下而上连接到R层第j个的节点的权向量用Wj=w1j,w2j,.,wnj 表示。C层输出向量C沿Wj向前馈送，经过竞争在R层输出端产生获胜节点，指示本次输入向量类别。3.控制信号控制信号 （1）G1：设输入模式X各元素的逻辑“或”为X0，R各元素的逻辑“或非”为R0，则G1=X0R0，即只有在R层输出向量R为全0，而输入X不为全0时，G1=1，其他情况下G1=0。（2）G2是输入模式X各元素的逻辑“或”，即X为全0时，G2是0。其他情况下G2是1。（3）Reset：设预先设定的相似性度量为。如按某种事先设定的测量标准，C与X并非充分接近且达到，则发出Reset信号，以使R层竞争获胜节点无效。这表示此次选择的模式代表类不能满足要求。二、二、ART1 网络运行原理网络运行原理 1.识别阶段识别阶段：在网络没有输入模式之前，网络处于等待状态。此时，输入端X=0，并置控制信号G2=0。所以，R层单元输出全为0，在竞争中有同等的获胜机会。当网络输入不全为0时，置G2=1。信息自下而上流动。由“2/3规则”可知，此时C层输出C=X，且C向上馈送，与向上权向量W进行作用，产生向量T。T向上送入R层，使R层内部开始竞争。假设获胜节点为j*，则R层输Rj*=1而其他节点输出为0。2.比较阶段：比较阶段：R层输出信息自上而下返回C层。Rj*=1使R层j*节点所连接的自上而下的Wj*被激活，并向下返回C层。此时，R层输出不为全0，并且G1=0。所以，C层下一次输出C取决于由R层自上而下的权向量Wj*及网络的输入模式X。即：Ci=Wj*i Xi。其中表示逻辑与。新状态C就反映了输入向量X与其所激活的节点j*的典型向量之间的相似度。用事先指定的门限对相似度进行测试，若C给出了足够相似的信息，则表示竞争结果正确。反之，则表示竞争结果不符合要求，就发Reset信号以置上次获胜的节点无效，并使其在本次模式的匹配过程中不能再获胜。然后进入搜索阶段。在比较阶段，网络的信息流向是自上而下的。3.搜索阶段：搜索阶段：由Reset信号置获胜阶段无效开始，网络进入搜索阶段。此时R为全0，G1=1，在C层输出端又得到了本次的输入模式X。因此，网络又进入识别及比较阶段，得到新的获胜节点（以前的获胜节点不参加竞争）。这样重复直至搜索到某一个获胜节点K，它与输入向量X充分匹配达到满足的要求为止。模式X编制到R层K节点所连的模式类别中，即按一定的方法修改K节点的自下而上和自上而下的权向量，使网络以后再遇到X或与X相近的模式时，R层K节点能很快取得竞争的胜利。若搜索了所有的R层输出节点而没有发现有与X充分接近的模式，则增设一个R层节点以表示X或与X相近的模式。三、三、ART1 网络学习算法网络学习算法 ART1训练算法训练算法(ART1)：初始化。自下而上的权向量W赋予较小且相同的初值，自上而下的权向量W赋予初值1。相似度门限0成立，则接受j*为获胜节点，转。否则发Reset信号，置j*为0（不允许其再参加竞争），开始搜索阶段，转。修改R层节点自下而上及自上而下的权向量，使其以后对与X相似的输入更容易获胜，且具有更高的相似性。(5.3.3)(5.3.4)其中l为大于1的常数。恢复由Reset信号抑制的R层节点，转到以迎接下一次的输入。5.3.5 ART神经网络在人像识别中的应用神经网络在人像识别中的应用 它包括五层和六个控制节点，其功能如下：它包括五层和六个控制节点，其功能如下：第一层：输入层，输入信号X=x1,x2,xn为n维向量，其输出信号O1=X。O2为由“2/3规则”产生的信号，记为n维向量S*，S*为记忆模式与输入模式的综合模式：S*=Z*X(Z在后面介绍)第二层：归一化层，输入为第一层输出O1，输出为n维向量S。该层的作用是使输入矢量规格化；第二层和第三层之间为自下而上的全互连前向网络，其连接权矩阵为W，第三层的输入为S，输出为m维向量T：第四层：竞争网络层。输入为T，输出为m维向量Y，通过该层的竞争，产生出胜者，只有获胜者输出为1，其他为0：图图5.11 ART1人像识别神经网络人像识别神经网络 第四层到第五层为自上而下的反馈层，其连接权矩阵为W，第五层的输入为Y，输出为n维向量Z：因为Y只有获胜者I输出为1，其他为0，所以：n维向量Z为该获胜模式所记忆的向量；控制节点G1：获胜记忆模式Z的“或非”。即只有当Z全为0时，G1=1，其他情况为0；控制节点G2：输入模式X的“或”。即只有当X全为0时，G2=0，其他情况为1；控制节点SUMZ：计算获胜记忆模式Z的非零分量的个数。控制节点SUMS：计算综合模式S*的非零分量的个数。控制节点SUMX：计算输入模式X的非零分量的个数。控制节点Reset：输入为SUMZ、SUMS、SUMX，输出为R：函数 f 如上式定义，当R=1时，Reset向第四层发重置波。网络训练及识别算法网络训练及识别算法(FER)：(1)初始化输入模式X=0、输出模式Y=0、连接权值W、W、控制信号G1=1、G2=0、Reset=0，已训练类别数为premode，网络容量为summode；(2)输入一新模式Xi=x0,x1,xN，Reset=0，计算G2；(3)如果G2=0，则转(2)；(4)由公式计算S、T；(5)由公式计算I、Y、Z，计算G1；(6)如果G1=1，则转(2)；(7)由公式计算S*、SUMZ、SUMX、SUMS和Reset；(8)如果Reset=0，则转(13)；(9)搜索记数NUM+1，置YI、TI为0；(10)NUM小于等于premode，则进入搜索阶段，转(5)；(11)增加新类别premode+1，连接权值Wpremode,j、Wpremode,，0jN，赋初值；(12)由公式重新计算T，转(5)；(13)由公式调整连接权值Wj、W，NUM=0，转(2)；5.4 神经认知机神经认知机 认知机及神经认知机是由日本学者Fukishima（福岛邦邦彦）提出的，它是一具有自组织功能的多层神经网络模型，用于结构化的字符识别。神经认知机对可塑性突触的形成作如下假设：神经认知机对可塑性突触的形成作如下假设：从神经元x到神经元y的突触连接，只有在神经元x处于激活的情况下才被强化；如果在神经元y的近旁存在有比y更强的激活神经元y，则从x至y的突触连接就不进行强化。这也就是说，这种突触连接的强化应符合“最大值检出假说”，即在某一小区域（称之为邻域）内存在的一神经元集合中，只有输出最大的神经元才发生输入突触的强化。这样，对某一邻域内的神经元，其输入突触都可能被强化。但根据假说之二，却只限定其中的一个神经元会发生强化。根据这一假说，当其中某一神经元受到损伤时，其邻近的其他神经元将会取代它，起到自动修复的作用。这一特性与神经细胞的实际功能是相符合的。基于上述假设即有图5.12所示的多层神经网络模型。模型采用分流抑制结构。神经元的输入和输出是与激活脉冲密度（短时间平均）的非负模拟成比例。图图5.12 多层神经网络多层神经网络 设神经元的兴奋性突触的输入U(1)，U(2)，U(N)和抑制性突触的输入V(1)，V(2)，V(N)则神经元的输出为：其中 兴奋性突触的结合强度a(i)和抑制性结合强度 b(i)均为非负模拟值。式中的第一项表示神经元的膜电位（短时间平均值）。兴奋性突触的输入将使膜电位上升，而抑制性突触的输入对膜电位起分流作用。第二项则表示某个心膜电位。如将加到神经元兴奋输入的和记为e，而将抑制性输入的和写成h，则有 图图5.13 神经认知机的等效框图神经认知机的等效框图 当抑制性输入很小即h1，h1时，神经元的输出将由R/h决定；如将兴奋性输入的和e及抑制性输入的和h写成e=x，h=x则当时有 即接近于S形饱和特性，与神经生物学感观系统的I/O非线性特性一致。认知机可以通过自组织获得各种空间模式的识别功能，常用于文字与语言的识别等研究领域。