第四章自组织竞争学习神经网络模型优秀课件.ppt

第四章自组织竞争学习神经网络模型第1页，本讲稿共73页在生物神经网络中，存在着一种侧抑制现象，即当一个神经细胞兴奋后，会对其周围的其它神经细胞产生抑制作用。这种抑制使神经细胞之间出现竞争，“强者”越“强”，“弱者”越“弱”，最终形成一个强兴奋的中心细胞，而在其周围的神经细胞都处于抑制状态。利用这种竞争性的无导师学习策略，学习时只需输入训练模式，网络就会对输入模式进行自组织，达到识别和分类的目的。第2页，本讲稿共73页具有这种性质的网络有：自组织特征映射 SOM对传神经网络 CPN自适应共振模型 ART认知机模型等。第3页，本讲稿共73页第一节 自组织特征映射 第4页，本讲稿共73页自组织特征映射SOM是由芬兰的Kohonen教授于1981年提出的一种神经网络模型，它的原理是基于生物神经细胞的如下二种功能:1.实际的神经细胞中有一种特征敏感细胞，在外界信号的刺激下，通过自学习形成对某一种特征特别敏感的神经元。2.生物神经细胞在外界的刺激下，会自动聚集而形成一种功能柱，一个功能柱的细胞完成同一种功能。第5页，本讲稿共73页4.1.1 自组织特征映射的结构和工作原理 第6页，本讲稿共73页自组织特征映射的基本结构分成输入和输出（竞争）两层，如图4.1所示。输入层神经元与输出层神经元为全互连方式，且输出层中的神经元按二维形式排列，它们中的每个神经元代表了一种输入样本。第7页，本讲稿共73页图图 4.1 SOM 4.1 SOM的基本构造的基本构造第8页，本讲稿共73页所有输入节点到所有输出节点之间都有权值连接，而且在二维平面上的输出节点相互间也可能是局部连接的。而对改变节点竞争结果起决定作用的还是输入层的加权和，所以在判断竞争网络节点胜负的结果时，可忽略竞争层节点之间的权值连接。第9页，本讲稿共73页 在兴奋中心神经元C 周围 Nc 区域内的神经元都有不同程度的兴奋，而在 Nc以外的神经元都被迫处于抑制状态。这个 Nc区域可以具有正方形、六角形等形状，如图4.2所示。第10页，本讲稿共73页图图4.2 Nc(t)4.2 Nc(t)随时间变化及形状随时间变化及形状第11页，本讲稿共73页 设输入信号模式为 ,输出神经元 i与输入神经元连接的权值为 则输出神经元 i 的输出为（4.1）但是只有满足最大输出条件的神经元才产生输出，即 （4.2）第12页，本讲稿共73页 对于输出神经元 k 以及其周围的8个相邻的神经元仍可按 Hebb 法则进行自适应权调整，即有（4.3）式中 为学习系数，分母是分子的欧几里德距离，此时的权值被正则化。第13页，本讲稿共73页 自组织的过程就是通过学习，逐步把权向量旋转到一个合适的方向上，即权值的调整方向总是与 X 的方向一致(无须决策和导师)，使 正比于 。其数学表示为（4.3）式中 X 为输出神经元的输入向量，Xb 为输出神经元的阈值向量，O 为输出神经元的输出向量，为学习系数。第14页，本讲稿共73页正则化后有或者（4.4）（4.5）（4.6）由此可得 SOM 模型的权值修正规则为第15页，本讲稿共73页上述介绍中的学习规则都是使用了最大输出的学习规则。但是事实上有两种学习规则。第16页，本讲稿共73页最大输出规则最大输出规则：最小欧氏距离规则：最小欧氏距离规则：（4.7）（4.8）第17页，本讲稿共73页4.1.2 SOM 的算法第18页，本讲稿共73页 SOM 算法有三个关键点：对于给定的输入模式，确定竞争层上的获胜单元。按照学习规则修正获胜单元及其临域单元的连接权值。逐步减小临域及学习过程中权值的变化量。第19页，本讲稿共73页 具体步骤（共6步）为：1.随机选取一组输入层神经元到输出层神经元之间的权值；2.选取输出神经元 i 的邻接神经元集合 Si，如图4.3所示。Si(0)是初始时刻为 0 时的神经元集合形状，Si(t)为 t 时刻的神经元集合形状；3.输入一个新样本；第20页，本讲稿共73页图图4.3 不同时刻不同时刻 t 时的时的 Si(t)的形状变化的形状变化第21页，本讲稿共73页4.计算输入样本与每个输出神经元 i 之间的欧几里德距离，并选取一个有最小距离的输出神经元 i*；5.按照下式修改输出神经元 i*及其相邻神经元的连接权值，即 式中 为学习系数，且 随时间逐渐变为零；6.重复35的学习过程。（4.9）（4.10）第22页，本讲稿共73页在这个算法中，是根据最小欧几里德距离来选择神经元 i*的。实际应用中也可以改成以最大响应输出作为选择的依据，例如选用(4.2)式。（4.2）第23页，本讲稿共73页 在学习过程中，学习系数 及邻接集合 Si(t)的大小是逐渐变小的。的初值 可以较大，随着学习时间的增长而减小，常用的计算式为（4.11）t 表示当前迭代次数，T 为整个迭代的设定次数。第24页，本讲稿共73页 邻接集合的大小也随学习过程的迭代而减小，设开始的领域宽度为 Si(0)，随迭代次数减小的计算方法为（4.12）第25页，本讲稿共73页4.1.3 SOM 网络的应用 第26页，本讲稿共73页例例1 1：设一维的：设一维的 SOM 分类网络如图分类网络如图4.64.6所示，通过学习可所示，通过学习可将下列输入模式集合分成将下列输入模式集合分成A A和和B B两类。设输入模式为：两类。设输入模式为：P1=101P1=101，P2=100P2=100，P3=010P3=010，P4=011P4=011。图图4.4 4.4 一维一维SOMSOM网络网络 第27页，本讲稿共73页 对于这四个输入模式，我们先求出它们之间的欧几里德距离，得到如下的一个距离关系矩阵 D其中dij代表第 i 个模式与第 j 个模式之间的距离，（i，j 1，2，3，4）。第28页，本讲稿共73页 显然 d11=d22=d33=d44=0，d12=d21=d34=d43=1，d13=d31=d24=d42=3，d14=d41=d23=d32=2，因此有 第29页，本讲稿共73页 定义两个模式属于同一类是指它们的距离 ，此时 P1 和 P2 属于 A 类，而 P3 和 P4 属于 B类，A 和 B 之间的距离为 2 或 3。把这四类模式输入一维 SOM 网络进行学习后，最终可以得到正确的模式分类。第30页，本讲稿共73页 其中所有的输入二进制向量均位于三维立方体的顶点，竞争层单元A的权向量WA最接近于A类的(101)和(100)两个模式；竞争层单元B的权向量WB最接近于B类的(011)和(010)的两类模式。各模式之间的距离从图中可以明显看出。图图 4.5 4.5 权向量模式的空间分布权向量模式的空间分布第31页，本讲稿共73页例2：声音信号的识别Kohonen 利用 SOM 网络的自组织功能实现了芬兰语音素的分类，并研制成功一台可以听写的打字机。第32页，本讲稿共73页 网络的竞争层是812的二维阵列结构，输入层的神经元数为15个。声音信号的预处理方法是先用低通滤波器去掉高频噪声，经前置放大后，由 12bit 的 A/D 转换器进行采样，采样频率为 13.02kHz。然后用离散傅立叶变换(DFT)求其频谱，经过对数化和归一化得到 15 个实数的频谱值作为网络的输入。每个音素的学习样本为 50 个，学习结果表明绝大多数输出神经元有唯一的正确结果，只有个别神经元代表了两种样本。第33页，本讲稿共73页p此后由 PC 机硬件电路把音素组合成单词和句子，整个系统再与打字机连接构成一个听写系统。当发言者发出声音后，打字机可直接输出文字。第34页，本讲稿共73页第二节 对传神经网络模型 第35页，本讲稿共73页对传神经网络对传神经网络CPNCPN 是由美国是由美国HNCHNC神经计算机公司的创立神经计算机公司的创立者者HechtHechtNielscn Nielscn 提出的。提出的。它组合了它组合了Kohonen Kohonen 和和Grossberg Grossberg 的神经网络模型的工作的神经网络模型的工作原理，在功能上可用于统计最优化和概率密度分析，原理，在功能上可用于统计最优化和概率密度分析，也可用于联想存储、模式分类、函数逼近和数据压缩也可用于联想存储、模式分类、函数逼近和数据压缩等。等。第36页，本讲稿共73页 从形式上看，CPN 是一个多层的向前网络，有三层式的标准结构，各层之间采用全连接形式。它在形式上虽与 BP 网络类似，但工作机理不同。图图4.6 CPN的模式结构的模式结构 Kohonen层，它包含有竞争神经元，采用无导师的竞争学习算法 采用有导师的学习算法 第37页，本讲稿共73页CPN学习法则：1)在竞争层（Kohonen层），通过竞争对获胜节点采用Kohonen规则调整与其相连的权矢量：dW1=lr1*(P-W1)2)在Grossberg层，对与在竞争层输出为1的输入相连的权值进行如下的调整：dW2=lr2*(G-W2)其中，P是输入矢量，G是目标矢量，W1是输入层到竞争层之间的连接权值，W2是竞争层到 Grossberg 层之间的连接权值，lr1和lr2分别是竞争层和 Grossberg 层的学习系数。第38页，本讲稿共73页CPN 训练过程：训练过程：1)初始化：归一化处理输入、目标矢量P和G；对权矢量W1和W2进行 归一化随机取值；选取最大循环次数、学习速率lr1和lr2。2)Kohonen层的无导师训练过程：重复对输入样本进行竞争计算，对获胜的Kohonen层获胜节点按Kohonen法对其连接的权矢量进行修正；3)Grossberg层有指导的训练过程：寻找Grossberg层输入为1的节点，并对与该节点相连的权矢量进行修正；4)检查最大循环数是否达到；是，则停止训练。否，则转入2)。第39页，本讲稿共73页经过充分训练后的 CPN 可使其 Kohonen 层的权矢量收敛到相似输入矢量的平均值，而使 Grossberg 层权向量收敛到目标矢量的平均值。第40页，本讲稿共73页 当 CPN 训练后工作时，只要对网络输入一矢量X，则在 Kohonen 层经过竞争后产生获胜节点，并在Grossberg 层使获胜节点所产生的信息向前传送，在输出端得到输出矢量Y，这种由矢量X得到矢量Y的过程有时也称为异联想，更广泛地说，它实现了一种计算过程。第41页，本讲稿共73页对传神经网络 CPN 最突出的优点是将监督式和无监督式的训练方法有机的结合起来了，从而提高了训练速度。第42页，本讲稿共73页第三节 自适应共振理论 ART 第43页，本讲稿共73页自适应共振理论ART是由美国波士顿大学的S.Grossberg 和A.Carpentet 于1976年提出的一个神经网络模型。ART模型是一种能自组织产生认知编码的神经网络，它可以用来分析语音编码、字符识别的视觉和嗅觉编码等问题。第44页，本讲稿共73页ARTART模型的主要特点是：模型的主要特点是：对输入可进行实时学习，且适应非平稳的环境；通过注意子系统，对已学习过的样本具有快速稳定的能力；通过定位子系统能迅速适应未学习的新对象；具有自归一能力，根据某些特征在全体中所占的比例，有时作为关键特征，有时则作为噪声处理；不需要事先知道样本的学习结果，具有无导师的学习方式；容量不受输入通道数的限制，不要求存储对象是正交的。第45页，本讲稿共73页 ART 模型有 ART1、ART2 和 ART3三种。ART1 用于处理二进制输入的信息；ART2 用于处理二进制和模拟信息这两种输人；ART3 用于进行分级搜索。ART理论可以用于语音、视觉、嗅觉和字符识别等领域。第46页，本讲稿共73页图图4.7 ART4.7 ART的基本结构的基本结构输出层（类似于竞争层）输入层反馈第47页，本讲稿共73页F1层有3个输入向量：输入观察向量 X，F2层的预期向量 Z，增益控制神经元 G1。要使 F1 产生输出信号，它的3个信号中一定要有2个起作用，这就是所谓的 2/32/3规则规则。图图 4.8 ART 模型模型F1 F1 和和 F2 F2 是短期记忆层是短期记忆层 STM STM，F1 F1 和和 F2 F2 之间是长期记忆层之间是长期记忆层 LTM LTM。第48页，本讲稿共73页注意子系统：完成由底向上向量的竞争选择以及完成由底向上向量和由顶向下向量的相似度比较。作用是对熟悉事件进行处理。定位子系统：检查预期向量Z和观察向量X的相似程度。当相似度低于某一标准时，取消第一个竞争优胜者，然后从其它类别中选取优胜者。作用是对不熟悉事件产生响应。第49页，本讲稿共73页下面分4种情况来讲述 2/3 规则第50页，本讲稿共73页1 1自上而下的单输入情况自上而下的单输入情况 F1 从三个输入信号源中，只接收来自F2 的自上而下的引发模式。故而，F1 中的三个输入信号源中，并没有二个输入信号源起作用；而只有一个输入信号源即来自F2 的自上而下的引发模式。所以F1 中的神经元不会被激活，F1 的神经元不会产生信号输出。图图4.9(a)2/3规则规则第51页，本讲稿共73页2 2自下而上的二输入情况自下而上的二输入情况 这时，在F1的三个输入信号源中，有输入信号I 进行输入。并且有I 通过增益控制后所产生的对F1的输入；由于这两个输入信号起作用，故而F1中的神经元被激活，F1能产生信号输出。图图4.9(b)2/3规则规则第52页，本讲稿共73页3 3自下而上输入及自上而下引自下而上输入及自上而下引发模式输入的情况发模式输入的情况 这个过程也就是输入模式I 和来自F2的自上而下的引发模式匹配过程。在这时，F2的输出信号会加到增益控制中对其中的输入信号I 产生抑制作用，所以，增益控制不会产生信号送去Fl。在F1中，同时接收到自下而上输人信号以及自上而下的F2输出信号的神经元才会被激话；而只接收到其中一个信号的神经元则不会被激活。图图4.9(c)2/3规则规则第53页，本讲稿共73页4模态竞争情况模态竞争情况 当注意子系统从一个模态向另一个模态转移时，在这个转移的瞬间中会禁止F1被激活；因为，这种是一个过渡过程，它不反映模式的实质内容。所以Fl不能被激活。图图4.9(d)2/3规则规则第54页，本讲稿共73页ART 网络的学习分类分为三步，即 识别，比较和搜索。第55页，本讲稿共73页（1）识别 初始化时，网络无输人信号，故I全部元素为0；识别层F2增益控制输出为0；识别层F2输出全部为0。在有模式I 输入后，I必有元素为1，故F1增益控制、F2增益控制均输出1；比较层F1按2/3规则全部复制 I 作为输出；接着在识别层F2中求出最优匹配神经元C。第56页，本讲稿共73页（2）比较 如果I 与U 不匹配，则产生的S只有少数元素为1，这也说明模式U不是所要寻找的I模式。定位子系统对 I和S 的相符程度进行判别，如果低于结定的警戒值，则发出重置信号，使识别层F2激活的神经元清零；这也说明该神经元失去竞争的资格。则到此这个阶段分类比较过程结束。如果I与U匹配，则输入模式I 所属的类别已找到，分类结束。第57页，本讲稿共73页（3）搜索 在I与U不匹配时，为了找到较好的匹配必须对其余的模式进行搜索。重置信号把识别层F2的神经元全部清0，则F1增益控制又输出1，网络返回到初始状态。输入模式I再进行输入，识别层的另一个神经元会取得优胜，则反馈一个新的存储模式U送回比较层F1。接着又进行匹配比较，如不匹配，则又重置识别层不断执行下去。第58页，本讲稿共73页这种算法学习速度快，边学习边运行。输出节点中，每次最多只有一个为1，每个节点被看成代表一类样本。ART1模型的输入是二进制数，ART2 模型的输入可以为任意的模拟向量。ART2的基本结构类似于ART1，其中把F1称为“特征表示场”，F2“类别表示场”。F2 层的功能是选择竞争优胜者，与ART2中的相同，而F1 与ART1中的不同，它有上、中、下三层结构，是整个模型的核心部分。第59页，本讲稿共73页第四节 认知机模型 第60页，本讲稿共73页认知机和神经认知机是日本学者福岛邦彦提出的一种用于模式识别的视觉神经网络模型。它对于输入样本的位移、变形、缩小、扩大和噪声干扰都具有较强的适应能力。网络是由多层结构相同的神经元模块和输入层构成的，学习时采用自组织竞争算法。它的各层之间没有大量的互连，连接是稀疏的和局部的，每层处理单元仅接受前层处理单元中有限的局部子集。第61页，本讲稿共73页4.4.1 神经认知机的结构 第62页，本讲稿共73页认知机每层由两个部分组成：简单单元平面和复杂单元平面 图图4.10 神经认知机的层结构神经认知机的层结构第63页，本讲稿共73页在一个给定的简单平面中，其所有单元对同一个模式产生响应，如图4.15所示。图图4.11 神经认知机的连接神经认知机的连接第64页，本讲稿共73页抑制单元并不训练抑制单元并不训练，它们只对所有连接的复杂单元输出的平均值产生响应。，它们只对所有连接的复杂单元输出的平均值产生响应。从抑制单元到简单单元的连接可以进行学习训练。需要注意的是只有简单单从抑制单元到简单单元的连接可以进行学习训练。需要注意的是只有简单单元和复杂单元之间的连接才是可调整的，在训练过程中被调整到对具体的刺元和复杂单元之间的连接才是可调整的，在训练过程中被调整到对具体的刺激特征产生最大的响应。激特征产生最大的响应。图图4.12 后层的简单单元与前层复杂单元之间的具体连接方式后层的简单单元与前层复杂单元之间的具体连接方式第65页，本讲稿共73页从每个复杂单元到给定简单单元之间的连接强度的提高只有在满足如下两个条件时才发生。复杂单元发生响应。简单单元的响应比竞争范围内其它任何相邻单元的更强。这样，简单单元被训练成为对在接收去里最常出现的模式响应最强。第66页，本讲稿共73页4.4.2 神经认知机的算法第67页，本讲稿共73页图图4.13 4.13 认知机算法模型认知机算法模型 第68页，本讲稿共73页简单神经元 u 的兴奋性输入为 U(1)，U(2)，U(N)；抑制性输入为V(1)，V(2)，V(M)，则神经元的输出为 其中其中(4.13)(4.14)上式中，a(i)为兴奋性结合强度，b(i)为抑制性结合强度，且均为非负的模拟值，第一项表示神经元的膜电位的短时间平均值，兴奋性输入将使膜电位上升，抑制性输入将对膜电位起到分流作用；第二项则表示神经元的静止膜电位。第69页，本讲稿共73页在上式中令则有(4.17)(4.15)(4.16)第70页，本讲稿共73页图图4.14 等效结构图等效结构图第71页，本讲稿共73页 神经认知机的等效结构图如图神经认知机的等效结构图如图4.144.14所示，所示，当抑制性输入很小，当抑制性输入很小，即即 时，有时，有 此时神经元输出决定此时神经元输出决定 e e 和和 h h 的差，这同形式神经元模型是一致的。的差，这同形式神经元模型是一致的。当当 时，时，即输出决定于即输出决定于 e/h e/h 之比。之比。第72页，本讲稿共73页第二次作业第二次作业 SOMSOM网络的应用网络的应用第73页，本讲稿共73页