第4章 竞争学习神经网络.ppt

《第4章 竞争学习神经网络.ppt》由会员分享，可在线阅读，更多相关《第4章 竞争学习神经网络.ppt（91页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章第四章 竞争学习神经网络竞争学习神经网络4.1竞争学习的概念与原理4.2自组织特征映射神经网络4.3自组织特征映射网络的设计与应用4.4自适应共振理论（选讲）自组织神经网络的典型结构自组织神经网络的典型结构第四章第四章 自组织神经网络自组织神经网络竞争层竞争层输入层输入层第四章第四章 自自 组织神经网络组织神经网络自组织学习自组织学习(self-organized learning)：通过自动寻找样本中的内在规律和本通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数质属性，自组织、自适应地改变网络参数与结构。与结构。自组织网络的自组织功能是通过竞争自组织网络的自组织功能

2、是通过竞争学习（学习（competitive learning）实现的。）实现的。4.14.1竞争学习的概念与原理竞争学习的概念与原理4.1.1 4.1.1 基本概念基本概念1 1、模式、分类、聚类与相似性、模式、分类、聚类与相似性模式模式对某些感兴趣的客体的定量描述或结构描述，对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征的模式集合。模式类是具有某些共同特征的模式集合。分类分类在类别知识等导师信号的指导下，将待识别在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。的输入模式分配到各自的模式类中去。聚类聚类无导师指导的分类称为聚类，聚类的目的是无导师指导

3、的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开将相似的模式样本划归一类，而将不相似的分离开。通过聚类发现数据的分布规律和特征。通过聚类发现数据的分布规律和特征。如何决定相似度、类别数等如何决定相似度、类别数等 2、相似性测量相似性测量欧式距离法欧式距离法2、相似性测量相似性测量余弦法余弦法3、相似性测量相似性测量内积内积法法 不同的相似度会导致形成聚类的特性不同。以欧氏距离度量形成相似且紧密的圆形聚类；以余弦度量形成大体同向的狭长形聚类；以内积度量形成的图形则又不同。欧氏度量聚类 余弦度量聚类4.1.2 4.1.2 竞争学习原理竞争学习原理 网络的输出神经元之间相互竞

4、争以求被激活，结网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为态被抑制，故称为Winner Take All。4.1.2 4.1.2 竞争学习原理竞争学习原理1、竞争学习规则、竞争学习规则算法分三步：算法分三步：网络的输出神经元之间相互竞争以求被网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜被激活。这

5、个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称神经元，而其它神经元的状态被抑制，故称为为Winner Take All。（1 1）向量归一化）向量归一化 首先将当前输入模式向量首先将当前输入模式向量X和竞争和竞争层中各神经元对应的内星权向量层中各神经元对应的内星权向量Wj 全部进行归一化全部进行归一化处理；处理；(j=1,2,=1,2,m),m)(2)(2)寻找获胜神经元寻找获胜神经元 当网络得到一个输入模式向量时，竞当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量

6、判为竞争获胜神经元。较，并将最相似的内星权向量判为竞争获胜神经元。以欧氏度量计算相似性：以欧氏度量计算相似性：从上式可以看出，欲使两单位向量的欧式距离从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：最小，须使两向量的点积最大。即：此式就是竞争层神经元的净输入。(3)(3)网络输出与权值调整网络输出与权值调整规定胜者为规定胜者为1 1，败者为，败者为0.0.步骤步骤(3)(3)完成后回到步骤完成后回到步骤1 1继续训练，直到学习率衰减到继续训练，直到学习率衰减到0 0。2、竞争学习原理竞争学习原理 考虑二维情况，归一化后矢端分布在单位圆上，以考虑二维情况，归一化后矢端分布

7、在单位圆上，以o表示，对应的内星向量也在单位圆上，以表示，对应的内星向量也在单位圆上，以*表示。表示。竞争学习的几何意义竞争学习的几何意义 )()()()(*ttttjpWXW-=hD *1W *jW *)(*1tj+W )(tpX jW mW *例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解：为作图方便，将上述模式转换成极坐标形式解：为作图方便，将上述模式转换成极坐标形式 ：竞争层设两个权向量，随机初始化为单位向量：竞争层设两个权向量，随机初始化为单位向量：4.2 自组织特征映射神经网络自组织特征映射神经网络（Self-Organizing

8、feature Map,SOM）p 19811981年芬兰年芬兰HelsinkHelsink大学的大学的T.KohonenT.Kohonen教授教授提出一种自组织特征映射网，简称提出一种自组织特征映射网，简称SOMSOM网，又称网，又称KohonenKohonen网。网。p KohonenKohonen认为：一个神经网络接受外界输入认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一是自动完成的。自组织特征映射正是根据

9、这一思路提出来的，其特点与人脑的自组织特性相思路提出来的，其特点与人脑的自组织特性相类似。类似。4.2.1 SOM4.2.1 SOM网的生物学基础网的生物学基础 生物学研究的事实表明，在人脑的感觉通道生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。域是连续映象的。对于某一图形或某一频率的特定兴奋过程，对于某一图形或某一频率的特定兴奋过程，神

10、经元的有序排列以及对外界信息的连续映象是神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。自组织特征映射网中竞争机制的生物学基础。4.2.2 SOM4.2.2 SOM网的拓扑结构及权值调整域网的拓扑结构及权值调整域一、拓扑结构一、拓扑结构 SOMSOM网共有两层，输入层模拟感知外界输入信息的视网膜，网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。输出层模拟做出响应的大脑皮层。二、权值调整域二、权值调整域 SOMSOM网的获胜神经元对其邻近神经元的网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，影响是由近及远，由兴

11、奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种程度不同地调整权向量。这种调整可用三种函数表示：函数表示：以获胜神经元为中心设定一个邻域半径，以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在该半径圈定的范围称为优胜邻域。在SOMSOM网学习网学习算法中，优胜邻域内的所有神经元均按其离开算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。获胜神经元的距离远近不同程度地调整权值。优胜邻域开始定

12、得很大，但其大小随着训优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。练次数的增加不断收缩，最终收缩到半径为零。4.2.3 4.2.3 自组织特征映射网的运行原理与学习算法自组织特征映射网的运行原理与学习算法一、运行原理分为训练和工作两个阶段。p训练阶段 w1 w2 w3 w4 w5p工作阶段工作阶段二、学习算法二、学习算法(1)(1)初始化初始化 对输出层各权向量赋小随机数并进行归一化处理，对输出层各权向量赋小随机数并进行归一化处理，得到得到 ，j=1,2,m；建立初始优胜邻域建立初始优胜邻域Nj*(0)；学习率学习率 赋赋初始值。初始值。(2)接受输入接受输入

13、 从训练集中随机选取一个输入模式并进行归一从训练集中随机选取一个输入模式并进行归一化处理，得到化处理，得到 ，p 1,2,P。(3)寻找获胜节点寻找获胜节点 计算计算 与与 的点积，的点积，j=1,2,m，从中选出，从中选出点积最大的获胜节点点积最大的获胜节点 j*。(4)定义优胜邻域定义优胜邻域Nj*(t)以以j*为中心确定为中心确定t 时刻的权值调整域，时刻的权值调整域，一般初始邻域一般初始邻域Nj*(0)较大，训练过程中较大，训练过程中Nj*(t)随训练时间逐随训练时间逐渐收缩。如图所示。渐收缩。如图所示。Kohonen 学习算法：学习算法：(5)(5)调整权值调整权值 对优胜邻域对优胜

14、邻域NjNj*(t t)内的所有节点调整权值：内的所有节点调整权值：i=1,2,n j jN Nj*(t t)式中，式中，是训练时间是训练时间t 和邻域内第和邻域内第j j 个神经元与获胜神经个神经元与获胜神经元元 j*j*之间的拓扑距离之间的拓扑距离N N 的函数，该函数一般有以下规律：的函数，该函数一般有以下规律：(6)(6)结束检查结束检查 学习率是否衰减到零或某个预定的正小数，学习率是否衰减到零或某个预定的正小数，不满足则回到（不满足则回到（2 2）。）。很多函数满足上述规律，如：很多函数满足上述规律，如：N(t)可采用单调下降函数。可采用单调下降函数。这种随时间单调递减的函数称作退火

15、函数。这种随时间单调递减的函数称作退火函数。K Ko oh ho on ne en n学学习习算算法法程程序序流流程程三、功能分析三、功能分析(1)(1)保序映射保序映射将输入空间的样本模式类有序地映射在输出层上。将输入空间的样本模式类有序地映射在输出层上。例例4.24.2：动物属性特征映射。：动物属性特征映射。(2)(2)数据压缩数据压缩 将高维空间的样本在保持拓扑结构不变将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。的条件下投影到低维空间。(3)(3)特征抽取特征抽取 高维空间的向量经过特征抽取后可以在高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。低维特征空间更

16、加清晰地表达。例例4.3 SOM4.3 SOM网用于字符排序网用于字符排序4.3 自组织特征映射网络的设计与应用自组织特征映射网络的设计与应用SOMSOM输入层设计与输入层设计与BPBP了类似，输出层要复杂的多。了类似，输出层要复杂的多。一、输出层设计一、输出层设计需要解决需要解决2 2个问题：节点数设计与节点排列设计。既不要出现分个问题：节点数设计与节点排列设计。既不要出现分类过细，又不可出现死节点。可通过试用法和初始化权值等解类过细，又不可出现死节点。可通过试用法和初始化权值等解决。决。节点排列形式应反应物理意义。节点排列形式应反应物理意义。二、权值初始化问题二、权值初始化问题 SOMSO

17、M网权值初始化一般为较小的随机数，但应与样本数据混杂。网权值初始化一般为较小的随机数，但应与样本数据混杂。*随机分布*理想分布 一种简单办法是从训练集中随机抽取一种简单办法是从训练集中随机抽取m个输入样本作初始为个输入样本作初始为权值，即权值，即 另一种是计算全体样本的中心向量，在此基础上叠加小的另一种是计算全体样本的中心向量，在此基础上叠加小的随机数确定。随机数确定。三、优胜邻域三、优胜邻域Nj*(t)的设计的设计 原则上使邻域不断缩小，使得相邻神经元既有区别又具相原则上使邻域不断缩小，使得相邻神经元既有区别又具相似性。邻域大小用邻域半径表示，一般由经验选取。如：似性。邻域大小用邻域半径表示

18、，一般由经验选取。如：C1与输入点数目相关，B11，Tm为预先设置的训练次数。四、学习率的设计四、学习率的设计 开始时可以较大，但很快下降，然后缓降至开始时可以较大，但很快下降，然后缓降至0 0值。如下：值。如下：C2在0-1之间SOMSOM网的局限性：网的局限性：1 1、隐层神经元数目难于确定，容易造成死节点；、隐层神经元数目难于确定，容易造成死节点；2 2、聚类网络的学习速率需要人为确定，结束需要人为控制，、聚类网络的学习速率需要人为确定，结束需要人为控制，影响学习效率；影响学习效率；3 3、隐层的聚类结果与初始权值有关。、隐层的聚类结果与初始权值有关。4.3.2 设计与应用实例设计与应用

19、实例一、一、SOM网用于物流中心城市分类评价网用于物流中心城市分类评价 (1)物流中心城市评价指标与数据样本物流中心城市评价指标与数据样本 简单选取简单选取5个评价指标作为网络输入：个评价指标作为网络输入：x1人均人均GDP(元元)，x2工业总产值工业总产值(亿元亿元)，x3社会消费品零售总额社会消费品零售总额(亿元亿元)，x4批发零售贸易总额批发零售贸易总额(亿元亿元)，x5货运总量货运总量(万吨万吨)。表表4.4 物流中心城市分类评价样本物流中心城市分类评价样本(2)物流中心城市的分类和评价分析物流中心城市的分类和评价分析 物物流流中中心心城城市市 全国性物流中心城市全国性物流中心城市区域

20、性物流中心城市区域性物流中心城市地区性物流中心城市地区性物流中心城市综合型综合型货运型货运型 按照按照SOM算法步骤，取开始的算法步骤，取开始的1000次迭代为排序阶段，次迭代为排序阶段，学习率学习率=0.9；其后为收敛阶段，学习率为其后为收敛阶段，学习率为=0.02。将将44个数据样本归一化，输入网络进行训练。经过试验个数据样本归一化，输入网络进行训练。经过试验比较，最终取类别数为比较，最终取类别数为8，得到如下表所示的分类结果。，得到如下表所示的分类结果。物流中心城市分类结果物流中心城市分类结果 二、二、SOM网用于遥感影像分类网用于遥感影像分类 遥感影像主要通过像元亮度值的差异或空间梯度

21、变遥感影像主要通过像元亮度值的差异或空间梯度变化表示不同地物间的差异。化表示不同地物间的差异。1、土地利用分类类别确定、土地利用分类类别确定 以浙江为例。以浙江为例。评价因子评价因子7个：水体、林地、水田、茶园、旱地、居个：水体、林地、水田、茶园、旱地、居民地、桑园。民地、桑园。2、数据预处理、数据预处理 3、SOM分类分类 4、实验结果评价、实验结果评价 与与BP网络、最大似然法比较，网络、最大似然法比较，SOM最好，最大似最好，最大似然法最差。然法最差。三、三、SOMSOM网在皮革配皮中的应用网在皮革配皮中的应用 要生产出优质皮衣，必须保证每件皮衣所用皮料在要生产出优质皮衣，必须保证每件皮

22、衣所用皮料在颜色和纹理方面的相似性。在生产中，通常由有经验的颜色和纹理方面的相似性。在生产中，通常由有经验的工人根据皮料颜色、纹理的相近程度进行分类。这道称工人根据皮料颜色、纹理的相近程度进行分类。这道称为为“配皮配皮”的工序，因光照条件、工人经验不同以及情的工序，因光照条件、工人经验不同以及情绪、体力等因素变化的影响，质量难于保证。绪、体力等因素变化的影响，质量难于保证。计算机皮革检测与分类系统可对成批皮革的颜色及计算机皮革检测与分类系统可对成批皮革的颜色及纹理进行在线检测、特征值提取及快速分类，从而代替纹理进行在线检测、特征值提取及快速分类，从而代替了传统的手工操作，取得了良好的效果。了传

23、统的手工操作，取得了良好的效果。系统硬件组成系统硬件组成 CCD彩彩 色色摄摄像像机机解解码码器器（PAL)图图 像像采集卡采集卡及及帧帧 存存储储 器器计计算机算机486/66彩彩 色色监视监视器器打印机打印机标标准灯箱准灯箱 皮革皮革皮料皮料传传送送带带D65光源光源1.初始权向量设计初始权向量设计 随机取部分样本作为权重初值。随机取部分样本作为权重初值。2.网络结构设计网络结构设计 颜色参数颜色参数:3个个纹理参数纹理参数:3个个网络结构网络结构:6输入输入1维线阵输出。维线阵输出。聚类时每批聚类时每批100张皮，平均每件皮衣需要张皮，平均每件皮衣需要56张皮，张皮，因此将输出层设置因此

24、将输出层设置20个神经元。每个神经元代表一个神经元。每个神经元代表一类外观效果相似的皮料，如果聚为一类的皮料不够类外观效果相似的皮料，如果聚为一类的皮料不够做一件皮衣，可以和相邻做一件皮衣，可以和相邻类归并使用。类归并使用。3.网络参数设计网络参数设计 N j*(t)优胜邻域在训练开始时覆盖整个输出线阵，以后训练优胜邻域在训练开始时覆盖整个输出线阵，以后训练次数每增加次数每增加t=tm/P，Nj*(t)邻域两端各收缩一个神经元直至邻域邻域两端各收缩一个神经元直至邻域内只剩下获胜神经元。内只剩下获胜神经元。对对(t)采用了以下模拟退火函数：采用了以下模拟退火函数：00.95 tm5000 tp1

25、500 4.皮革纹理分类结果皮革纹理分类结果 100张猪皮的分类结果：5.用于火焰燃烧诊断用于火焰燃烧诊断 1)燃烧工况特征提取 2）网络训练 3）网络验证4.4 自适应共振理论自适应共振理论(ART)思考并回答以下几个问题：神经网络的学习和记忆特性？学习过程的本质？学习过程的本质？网络将知识存储（记忆）在什么地方？网络将知识存储（记忆）在什么地方？对于感知器对于感知器/BP网络网络/SOM网络学习时，当新网络学习时，当新样本输入时，权值的改变对旧样本的影响是什样本输入时，权值的改变对旧样本的影响是什么？么？19761976年，美国年，美国BostonBoston大学学者大学学者G.A.Car

26、penterG.A.Carpenter提出自适应共振理论提出自适应共振理论(Adaptive Resonance(Adaptive Resonance TheoryTheory，缩写为，缩写为ART)ART)，他多年来一直试图为，他多年来一直试图为人类的心理和认知活动建立统一的数学理论，人类的心理和认知活动建立统一的数学理论，ARTART就是这一理论的核心部分。随后就是这一理论的核心部分。随后G.A.CarpenterG.A.Carpenter又与又与S.GrossbergS.Grossberg提出了提出了ATRATR网网络。目前络。目前ARTART已有三种形式：已有三种形式：ART IART

27、 I：双极型或二进制信号：双极型或二进制信号 ART IIART II：I I型扩展，处理连续模拟信号型扩展，处理连续模拟信号 ART IIIART III：兼容前：兼容前2 2种，可处理多层网络种，可处理多层网络共振现象共振现象p鱼洗鱼洗p寺院无人敲而响的磬寺院无人敲而响的磬p军队过桥军队过桥p雪崩雪崩p人类认知（图像）人类认知（图像）当双手策动力的频率跟物体的固有频率相等时，振幅最大，这种现象叫共振。水中发出的嗡鸣声是铜盆腔内的振动和摩擦频率振动发生共振引起的。自自适适应应共共振振理理论论ART网络学习算法的基本流程网络学习算法的基本流程环环境境输输入入模模式式与储存与储存的典型的典型向量

28、模向量模式进行式进行比较比较神经网络的神经网络的连接权值连接权值选择最相似的作为该模式的代表选择最相似的作为该模式的代表类，并调整与该类别相关的权值，类，并调整与该类别相关的权值，以使以后与该模式相似的输入再以使以后与该模式相似的输入再与该模式匹配时能得到更大的相与该模式匹配时能得到更大的相似度。似度。相似度的参考门限相似度的参考门限需要在网络中设立一个新的模式需要在网络中设立一个新的模式类，同时建立与该模式类相连的类，同时建立与该模式类相连的权值，用以代表和存储该模式以权值，用以代表和存储该模式以及后来输入的所有同类模式。及后来输入的所有同类模式。C C 比较层比较层R R 识别层识别层Re

29、setReset 复位信号复位信号G G1 1和和G G2 2 逻辑控制信号逻辑控制信号一、网络系统结构一、网络系统结构4.4.1 ART型网络型网络 由二层神经元构成两个子系统，分别称为比较层由二层神经元构成两个子系统，分别称为比较层C C和识别层和识别层R R，具有，具有3 3种信号：复位信号、逻辑控制信号种信号：复位信号、逻辑控制信号G1G1与与G2G2。(1)C(1)C 层结构层结构 该层有该层有n个节点，每个节点接受来自个节点，每个节点接受来自3个方面的信号：个方面的信号：来自外界的输入信号来自外界的输入信号xi；来自来自R 层获胜神经元的外星向量的返回层获胜神经元的外星向量的返回信

30、号信号Tj；来自来自G1的控制信号。的控制信号。C 层节点的输出层节点的输出ci是根据是根据2/3的的“多数多数表决表决”原则产生的，即输出值原则产生的，即输出值ci与与xi、tij、G1 3个信号中的多数信号值相同。个信号中的多数信号值相同。G1=1，反馈回送信号为反馈回送信号为0，C层输出应层输出应由输入信号决定，有由输入信号决定，有C=X。反馈回送信号不为反馈回送信号不为0，G1=0，C层输出层输出应取决于输入信号与反馈信号的比较情应取决于输入信号与反馈信号的比较情况，如果况，如果xi=t*ij，则则ci=xi。否则否则ci=0。比比较较层层结结构构（2 2）R R层结构层结构vR 层有

31、层有m 个节点，用以表示个节点，用以表示m 个输入模式个输入模式类。类。m可动态增长，以设立新模式类。可动态增长，以设立新模式类。v由由C 层向上连接到层向上连接到R 第第j 个节点的内星权个节点的内星权向量用向量用Bj=（b1j，b2j，,bnj）表示。表示。vC 层的输出向量层的输出向量C 沿沿m个内星权向量个内星权向量Bj(j=1,2,m)向前传送，到达向前传送，到达R 层各个神层各个神经元节点后经过竞争产生获胜节点经元节点后经过竞争产生获胜节点j*，指示指示本次输入模式的所属类别。本次输入模式的所属类别。v获胜节点输出获胜节点输出rj*=1，其余节点输出为，其余节点输出为0。R 层每个

32、神经元对应两个权向量层每个神经元对应两个权向量Bj和和Tj，该，该向量是对应向量是对应R层各模式类节点的典型向量。层各模式类节点的典型向量。识识别别层层结结构构(3)(3)控制信号控制信号 控制信控制信号号G2的作用是检测输入模式的作用是检测输入模式X 是否为是否为0，它等于，它等于X 各分量的各分量的逻辑逻辑“或或”，如果，如果xi(i=1,2,n)为全为全0，则，则G2=0，否则否则G2=1。控制信号控制信号G1的作用是在网络开始运行时为的作用是在网络开始运行时为1，以使，以使C=X，其后为其后为0以使以使C 值由输入模式和反馈模式的比较结果决定。设值由输入模式和反馈模式的比较结果决定。设

33、R 层输出向量层输出向量各分量的逻辑各分量的逻辑“或或”用用R0表示，则信号表示，则信号G1=，当当R 层输出向量层输出向量R 的各分量为全的各分量为全0而输入向量而输入向量X不是零向量时，不是零向量时，G1=1，否则否则G1=0。控制信号控制信号Reset的作用是使的作用是使R层竞争获胜神经元无效，如果根据某层竞争获胜神经元无效，如果根据某种事先设定的测量标准，与种事先设定的测量标准，与X未达到预先设定的相似度未达到预先设定的相似度，表明两者表明两者未充分接近，于是系统发出未充分接近，于是系统发出Reset信号使竞争获信号使竞争获胜神经元无效。胜神经元无效。二、二、网络运行原理网络运行原理相

34、似程度可能出现的两种情况：相似程度可能出现的两种情况：相似度超过参考门限相似度超过参考门限 选该模式类作为当前输入模式的代表类。权值调选该模式类作为当前输入模式的代表类。权值调整规则是，整规则是，相似度超过参考门限的模式类调整其相应的相似度超过参考门限的模式类调整其相应的内外星权向量，内外星权向量，以使其以后遇到与当前输入模式接近的以使其以后遇到与当前输入模式接近的样本时能得到更大的相似度；样本时能得到更大的相似度；对其它权值向量则不做任对其它权值向量则不做任何变动。何变动。相似度不超过门限值相似度不超过门限值需在网络输出端设立一个代表新模式类的节点，需在网络输出端设立一个代表新模式类的节点，

35、用以代表及存储该模式，以便于参加以后的匹配过程。用以代表及存储该模式，以便于参加以后的匹配过程。对于每一个输入，模式网络运行过程可归纳为四个阶段：对于每一个输入，模式网络运行过程可归纳为四个阶段：(1)(1)匹配阶段匹配阶段 网网络络在在没没有有输输入入之之前前处处于于等等待待状状态态，此此时时输输入入端端X0，因因此此信信号号G20，R0=0。当当输输入入不不全全为为0的的模模式式X 时时，G21，R0=0，使使得得G1=1。G1为为1时时允允许许输输入入模模式式直直接接从从C层层输输出出，并并向向前前传传至至R 层层，与与R 层节点对应的所有内星向量层节点对应的所有内星向量Bj 进行匹配计

36、算：进行匹配计算：j=1,2,，m (4.22)选择具有最大匹配度选择具有最大匹配度(即具有最大点积即具有最大点积)的竞争获胜节点：的竞争获胜节点：使获胜节点输出使获胜节点输出 =1，其它节点输出为，其它节点输出为0。(2)(2)比较阶段比较阶段 R层输出信息通过外星向量返回到层输出信息通过外星向量返回到C层。层。R 层获胜节点所连的外星权向量激活，从节点层获胜节点所连的外星权向量激活，从节点j*发出的发出的n个权值信号返回到个权值信号返回到C 层的层的n个节点。此个节点。此时，时，R层输出不全为零，层输出不全为零，R0=1，而而G1=0，所以所以C 层最新输出状态层最新输出状态C 取决于由取

37、决于由R 层返回的外层返回的外星权向量和网络输入模式星权向量和网络输入模式X的比较结果，即，的比较结果，即，i=1,2,n。由于外星权向量是由于外星权向量是R 层模式类的典层模式类的典型向量，该比较结果型向量，该比较结果C 反映了在匹配阶段反映了在匹配阶段R 层竞争排名第一的模式类的典型向量与当前输层竞争排名第一的模式类的典型向量与当前输入模式入模式X 的相似程度。相似程度的大小可用相的相似程度。相似程度的大小可用相似度似度N0 反映，定义为：反映，定义为：设输入模式样本中的非零分量数为：设输入模式样本中的非零分量数为：用于比较的警戒门限用于比较的警戒门限为为，在在01范围取值。检查输入模式与

38、模式类典型范围取值。检查输入模式与模式类典型向量之间的相似性是否低于警戒门限，如果有向量之间的相似性是否低于警戒门限，如果有:N0/N1表表明明X与与获获胜胜节节点点对对应应的的类类别别模模式式非非常常接接近近，称称X 与与 发发生生“共共振振”，第第一一阶阶段的匹配结果有效，网络进入学习阶段。段的匹配结果有效，网络进入学习阶段。(3)(3)搜索阶段搜索阶段 网网络络发发出出Reset 重重置置信信号号后后即即进进入入搜搜索索阶阶段段，重重置置信信号号的的作作用用是是使使前前面面通通过过竞竞争争获获胜胜的的神神经经元元受受到到抑抑制制，并并且且在在后后续续过过程程中中受受到到持持续续的的抑抑制

39、制，直直到到输输入入一一个个新新的的模模式式为为止止。由由于于R 层层中中的的竞竞争争获获胜胜的的神神经经元元被被抑抑制制，从从而而再度出现再度出现R0=0，G1=1，因此网络又重新回到起始的匹配状态。因此网络又重新回到起始的匹配状态。由由于于上上次次获获胜胜的的节节点点受受到到持持续续的的抑抑制制，此此次次获获胜胜的的必必然然是是上上次次匹匹配配程程度度排排在在第第二二的的节节点点，将将该该节节点点对对应应的的外外星星权权向向量量与与输输入入模模式式进进行行匹匹配配计计算算。如如果果对对R层层所所有有的的模模式式类类，在在比比较较阶阶段段的的相相似似度度检检查查中中相相似似度度都都不不能能满

40、满足足要要求求，说说明明当当前前输输入入模模式式无无类类可可归归，需需要要在在网网络络输输出出层层增增加加一一个个节节点点来来代代表表并并存存储储该该模模式式类类，为为此此将将其其内内星星向向量量 设设计计成成当当前前输输入入模模式式向向量量，外外星星向量向量 各分量全设为各分量全设为1。(4)(4)学习阶段学习阶段 在在学学习习阶阶段段要要对对发发生生共共振振的的获获胜胜节节点点对对应应的的模模式式类类加加强强学学习习，使以后出现与该模式相似的输入样本时能获得更大的共振。使以后出现与该模式相似的输入样本时能获得更大的共振。ARTART网络运行中存在两种记忆方式：网络运行中存在两种记忆方式：短

41、短期期记记忆忆：C C 层层和和R R 层层输输出出信信号号称称为为短短期期记记忆忆，用用S ST TM M（S Sh ho or rt t t ti im me e m me em mo or ry y）表表示示，短短期期记记忆忆在在运运行行过过程程中中会会不不断断发发生生变变化化；长期记忆：两层之间的内外星权向量称为长期记忆，用长期记忆：两层之间的内外星权向量称为长期记忆，用LTM(Long LTM(Long time memory)time memory)表示，长期记忆在运行过程中不会变化。表示，长期记忆在运行过程中不会变化。三、三、网络的学习算法网络的学习算法 ARTART网络可以用学

42、习算法实现，学习算法从软件角度体网络可以用学习算法实现，学习算法从软件角度体现了网络的运行机制，与系统结构图并不一一对应。现了网络的运行机制，与系统结构图并不一一对应。训练可按以下步骤进行：训练可按以下步骤进行：(1)(1)网网络络初初始始化化 从从C 层层向向R 层层的的内内星星权权向向量量Bj 赋赋予予相相同同的的较小数值，如较小数值，如 (4.19)(4.19)从从R 层到层到C 层的外星权向量层的外星权向量Tj 各各分量均赋分量均赋1 1 (4.20)(4.20)(2)(2)网网络接受输入络接受输入 给定一个输入模式，给定一个输入模式，X(x1,x2,，xn)，xi(0,1)n。(3)

43、(3)匹配度计算匹配度计算 对对R R层所有内星层所有内星向量向量Bj计算与输入模式计算与输入模式X的匹的匹配度：配度：，j=1,2,，m。(4)(4)选择最佳匹配节选择最佳匹配节点点 在在R层有效输出节点集合层有效输出节点集合J*内选择竞争获胜内选择竞争获胜 的最佳匹配节点的最佳匹配节点j*，使使得得(5)(5)相相似似度度计计算算 R 层层获获胜胜节节点点j*通通过过外外星星送送回回获获胜胜模模式式类类的的典典型型向向量量，C层层输输出出信信号号给给出出对对向向量量和和X的的比比较较结结果果，i=1,2,n，由由此此结果可计算出两向量的相似度为结果可计算出两向量的相似度为(6)(6)警戒门

44、限检验警戒门限检验 如果如果N0/N1，表明表明X应归为代表的应归为代表的模式类，转向步骤模式类，转向步骤(8)调整权值。调整权值。(8)(8)调整网络权值调整网络权值 修改修改R R层层节点节点j*对应的权向量，网络的学习采用了对应的权向量，网络的学习采用了 两种规则，外星向量的调整按以下规则两种规则，外星向量的调整按以下规则:i=1,2,n；j*J*(4.21)(4.21)(7)(7)搜搜索索匹匹配配模模式式类类 若若有有效效输输出出节节点点集集合合J*不不为为空空，转转向向步步骤骤(4)重重选选匹匹配配模模式式类类；若若J*为为空空集集，需需在在R层层增增加加一一个个节节点点。设设新新增

45、增节节点点的的序序号号为为nc，应应使使 ,i=1,2,n,此此时时有有效效输输出出节节点点集集合合为为J*=1,2,m,m+1,m+nc,转向步骤转向步骤(2)输入新模式。输入新模式。内星向量的调整按以下规则内星向量的调整按以下规则:i=1,2,n (4.22)ARTART网络的特点：网络的特点：非离线学习非离线学习 即不是对输入集样本反复训练后才开始即不是对输入集样本反复训练后才开始运行，而是边学习边运行实时方式。运行，而是边学习边运行实时方式。每次最多只有一个输出节点为每次最多只有一个输出节点为l l 每个输出节点可看成一每个输出节点可看成一类相近样本的代表，当输入样本距某一个内星权向量

46、较类相近样本的代表，当输入样本距某一个内星权向量较近时，代表它的输出节点才响应。近时，代表它的输出节点才响应。通过调整警戒门限的大小可调整模式的类数通过调整警戒门限的大小可调整模式的类数 小，模式小，模式的类别少，的类别少，大则模式的类别多。大则模式的类别多。4 4 4 4个输入模式向量为：个输入模式向量为：个输入模式向量为：个输入模式向量为：设设=0.7，取初始权值，取初始权值bij=1/(1+n)=1/26,tij=1.一、一、模式分类模式分类4.4.24.4.2 ARTARTARTART网络的应用网络的应用第第1 1步步：输输入入模模式式X A，将将R 层层的的4个个节节点点中中输输出出

47、最最大大的的一一个个命命名名为为节节点点1，有有j*=1。由由于于初初始始化化后后tij=1，所所以以相相似似度度N0/N1=1，大大于于警警戒戒门门限限，故故第第一一个个模模式式被被命命名名为为第第一一类类模模式式。按按式式(4.21)修修改改节节点点1的的内内星星权权向向量量，得得按式按式(4.22)(4.22)修改节点修改节点1 1的外星权向量，得的外星权向量，得其余仍为初始值其余仍为初始值1/261/26。对比输入模式。对比输入模式X X A，可以看出，以上可以看出，以上调整结果将模式调整结果将模式X X A 存储在神经元存储在神经元1 1的内外星权向量中。的内外星权向量中。第第2 2

48、步步：输输入入模模式式X B 时时，R层层只只有有一一个个已已存存储储模模式式，故故不不存存在在类类别别归归属属的的竞竞争争，只只需需判判断断该该模模式式与与已已存存储储模模式式T1=X A 的的相相似似度度，得得N0/N1=5/9 节节点点2净净输输入入为为1.101，所所以以节节点点1获获胜胜。计计算算T1与与X的相似度，得的相似度，得N0/N1=5/13=0.7节点节点1 1失效后，网络应在其余的存储模式类节点中搜索，失效后，网络应在其余的存储模式类节点中搜索，对于本例对于本例，只能取节点，只能取节点2作为获胜节点。于是计算作为获胜节点。于是计算XC与代与代表表X B 的的T2 的相似度

49、，得的相似度，得N0/N1=9/13=0.7于是于是X D 归入已存储的归入已存储的X C类，并按式类，并按式(4.21)和式和式(4.22)修改节修改节点点3的内外星权向量。的内外星权向量。例例一一 模模式式分分类类例例一一 模模式式分分类类注意注意:p值的选择对分类过程的影响很大。值的选择对分类过程的影响很大。p值过大，导致分类剧增。值过大，导致分类剧增。p值太小，则不同的模式均划为同一类别。值太小，则不同的模式均划为同一类别。p只要训练中稍有噪声，就会引起问题。只要训练中稍有噪声，就会引起问题。例例一一 模模式式分分类类二、二、含噪声模式分类含噪声模式分类不同值时网络对含噪声模式的分类结

50、果三、三、直流提升机故障诊断直流提升机故障诊断1 1、故障样本编码：、故障样本编码：9 9种故障，分为三级：种故障，分为三级：系统故障系统故障启动故障启动故障运行故障运行故障电器类故障电器类故障机械类故障机械类故障故障故障1传动机传动机构故障构故障液压制液压制动故障动故障润滑润滑故障故障故障故障3故障故障2交流电交流电驱回路驱回路故障故障直流电直流电驱回路驱回路故障故障磁场磁场回路回路故障故障调解调解控制控制故障故障信号信号闭锁闭锁故障故障马上马上停机停机故障故障故障故障4故障故障6故障故障5故障故障7故障故障9故障故障8故障类型故障类型故障编码故障编码故障类型故障类型故障编码故障编码故障故障