四章自组织神经网络.ppt

《四章自组织神经网络.ppt》由会员分享，可在线阅读，更多相关《四章自组织神经网络.ppt（70页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、四章自组织神经网络 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望自组织神经网络的典型结构自组织神经网络的典型结构第四章第四章 自组织神经网络自组织神经网络竞争层竞争层输入层输入层第四章第四章 自组织神经网络自组织神经网络自组织学习自组织学习(self-organized learning)：通过自动寻找样本中的内在规律和本通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数质属性，自组织、自适应地改变网络参数与结构。与结构。自组织网络的自组织功能

2、是通过竞争自组织网络的自组织功能是通过竞争学习（学习（competitive learning）实现的。）实现的。4.14.1竞争学习的概念与原理竞争学习的概念与原理4.1.1 4.1.1 基本概念基本概念分类分类分类是在类别知识等导师信号的指分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的导下，将待识别的输入模式分配到各自的模式类中去。模式类中去。聚类聚类无导师指导的分类称为聚类，聚类无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而的目的是将相似的模式样本划归一类，而将不相似的分离开将不相似的分离开。相似性测量相似性测量欧式距离法欧式距离法4.1.1 基本

3、概念基本概念 相似性测量相似性测量余弦法余弦法4.1.1 基本概念基本概念4.1.2 4.1.2 竞争学习原理竞争学习原理竞争学习规则竞争学习规则Winner-Take-All 网络的输出神经元之间相互竞争以求被网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称神经元，而其它神经元的状态被抑制，故称为为Winner Take All。竞争学习规则竞争学习规则Winner-Take-All1.1.向量归一化向量归一化 首先将

4、当前输入模式向量首先将当前输入模式向量X X和竞争层中各神经元对应的内星向量和竞争层中各神经元对应的内星向量W Wj j 全全部进行归一化处理；部进行归一化处理；(j=1,2,(j=1,2,m),m)向量归一化之向量归一化之前前向量归一化之向量归一化之后后竞争学习原理竞争学习原理竞争学习规则竞争学习规则Winner-Take-All2.2.寻找获胜神经元寻找获胜神经元 当网络得到一个输入模式向量时，当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神似性比较，并将最相似的内星权向

5、量判为竞争获胜神经元。经元。欲使两单位向量最相似，须使其点积最大。即：欲使两单位向量最相似，须使其点积最大。即：从上式可以看出，欲使两单位向量的欧式距离从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：最小，须使两向量的点积最大。即：竞争学习规则竞争学习规则Winner-Take-All竞争学习规则竞争学习规则胜者为王胜者为王(Winner-Take-All)3.3.网络输出与权值调整网络输出与权值调整 j j j*j*步骤步骤3 3完成后回到步骤完成后回到步骤1 1继续训练，直到学习率继续训练，直到学习率衰减到衰减到0 0。竞争学习的几何意义竞争学习的几何意义竞争学习的

6、几何意义竞争学习的几何意义 *1W *jW *)()()()(*ttttjpWXW-=hD *)(*1tj+W )(tpX jW mW *竞争学习游戏竞争学习游戏将一维样本空间的将一维样本空间的12个样本分为个样本分为3类类竞争学习游戏竞争学习游戏w1w2w3x训练样本集训练样本集o1o1o1例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解：为作图方便，将上述模式转换成极坐标形式解：为作图方便，将上述模式转换成极坐标形式 ：竞争层设两个权向量，随机初始化为单位向量：竞争层设两个权向量，随机初始化为单位向量：4.2自组织特征映射神经网络自组织特征映

7、射神经网络（Self-Organizing feature Map）p 1981 1981年芬兰年芬兰HelsinkHelsink大学的大学的T.KohonenT.Kohonen教授教授提出一种自组织特征映射网，简称提出一种自组织特征映射网，简称SOMSOM网，又称网，又称KohonenKohonen网。网。p Kohonen Kohonen认为：一个神经网络接受外界输入认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据

8、这一是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相看法提出来的，其特点与人脑的自组织特性相类似。类似。SOMSOM网的生物学基础网的生物学基础 生物学研究的事实表明，在人脑的感觉通道上，生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是神经元的组织原理是有序排列有序排列。因此当人脑通过感官。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的接受外界的特定时空信息时，大脑皮层的特定特定区域区域兴兴奋奋，而且类似的外界信息在对应区域是，而且类似的外界信息在对应区域是连续映象连续映象的。的。对于某一图形或某一频率的特定兴奋过程，神经对于某一图形或某一频

9、率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。征映射网中竞争机制的生物学基础。SOMSOM网的拓扑结构网的拓扑结构 SOMSOM网共有两层，输入层模拟感知外界输入信网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。息的视网膜，输出层模拟做出响应的大脑皮层。SOMSOM网的权值调整域网的权值调整域 SOMSOM网的获胜神经元对其邻近神经元的网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神

10、经元本身要调因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种程度不同地调整权向量。这种调整可用三种函数表示：函数表示：SOMSOM网的权值调整域网的权值调整域 以获胜神经元为中心设定一个邻域半径，该以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为半径圈定的范围称为优胜邻域优胜邻域。在。在SOMSOM网学习算法网学习算法中，优胜邻域内的所有神经元均按其离开获胜神中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。经元的距离远近不同程度地调整权值。优胜邻域开始定得

11、很大，但其大小随着训练优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。次数的增加不断收缩，最终收缩到半径为零。SOMSOM网的运行原理网的运行原理p训练阶段训练阶段 w1 w2 w3 w4 w5SOM网的运行原理p工作阶段工作阶段SOMSOM网的学习算法网的学习算法(1)(1)初始化初始化 对输出层各权向量赋小随机数并进行归一化对输出层各权向量赋小随机数并进行归一化处理，得到处理，得到 ，j=1,2,m；建立初始优胜邻域建立初始优胜邻域Nj*(0)；学习率学习率 赋初始值。赋初始值。(2)接受输入接受输入 从训练集中随机选取一个输入模式并进从训练集中随机选取一个输

12、入模式并进行归一化处理，得到行归一化处理，得到 ，p 1,2,P。(3)寻找获胜节点寻找获胜节点 计算计算 与与 的点积，的点积，j=1,2,m，从中选出点积最大的获胜节点从中选出点积最大的获胜节点j*。(4)定义优胜邻域定义优胜邻域Nj*(t)以以j*为中心确定为中心确定t 时刻的权值调整时刻的权值调整域，一般初始邻域域，一般初始邻域Nj*(0)较大，训练过程中较大，训练过程中Nj*(t)随训练随训练时间逐渐收缩。时间逐渐收缩。Kohonen 学习算法学习算法KohonenKohonen学习算法学习算法SOMSOM网的学习算法网的学习算法(5)(5)调整权值调整权值 对优胜邻域对优胜邻域N

13、Nj*j*(t t)内的所有节点调整权值：内的所有节点调整权值：i=1,2,ni=1,2,n j j N Nj*j*(t t)式式中中，是是训训练练时时间间t t 和和邻邻域域内内第第j j 个个神神经经元元与与获获胜胜神神经经元元 j*j*之之间间的的拓拓扑扑距距离离N N 的的函函数数，该该函函数数一一般般有以下规律：有以下规律：KohonenKohonen学习算法学习算法SOMSOM网的学习算法网的学习算法(5)(5)调整权值调整权值(6)(6)结束检查结束检查 学习率是否衰减到零或某个预定的正学习率是否衰减到零或某个预定的正小数？小数？KohonenKohonen学习算法学习算法SOM

14、SOM网的学习算法网的学习算法K Ko oh ho on ne en n学学习习算算法法程程序序流流程程功功 能能 分分 析析(1)(1)保序映射保序映射将输入空间的样本模式类有序地映射在输出层上。将输入空间的样本模式类有序地映射在输出层上。例例1 1：动物属性特征映射。：动物属性特征映射。功能分析功能分析(2)(2)数据压缩数据压缩 将高维空间的样本在保持拓扑结构不变的条将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。件下投影到低维空间。(3)(3)特征抽取特征抽取 高维空间的向量经过特征抽取后可以在低维高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。特征空间更加清晰

15、地表达。例例2 2：SOMSOM网用于字符排序。网用于字符排序。功能分析功能分析SOMSOM网在皮革配皮中的应用网在皮革配皮中的应用 要生产出优质皮衣，必须保证每件皮衣所用皮料在要生产出优质皮衣，必须保证每件皮衣所用皮料在颜色和纹理方面的相似性。在生产中，通常由有经验的颜色和纹理方面的相似性。在生产中，通常由有经验的工人根据皮料颜色、纹理的相近程度进行分类。这道称工人根据皮料颜色、纹理的相近程度进行分类。这道称为为“配皮配皮”的工序，因光照条件、工人经验不同以及情的工序，因光照条件、工人经验不同以及情绪、体力等因素变化的影响，质量难于保证。绪、体力等因素变化的影响，质量难于保证。计算机皮革检测

16、与分类系统可对成批皮革的颜色及计算机皮革检测与分类系统可对成批皮革的颜色及纹理进行在线检测、特征值提取及快速分类，从而代替纹理进行在线检测、特征值提取及快速分类，从而代替了传统的手工操作，取得了良好的效果。了传统的手工操作，取得了良好的效果。系统硬件组成系统硬件组成 CCD彩彩 色色摄摄像像机机解解码码器器（PAL)图图 像像采集卡采集卡及及帧帧 存存储储 器器计计算机算机486/66彩彩 色色监视监视器器打印机打印机标标准灯箱准灯箱 皮革皮革皮料皮料传传送送带带D65光源光源基于基于SOMSOM神经网络的皮革聚类神经网络的皮革聚类1.颜色纹理特征提取颜色纹理特征提取颜色参数颜色参数:CIE1

17、996均匀颜色空间值均匀颜色空间值 l*,a*,b*纹理参数纹理参数:梯度均值梯度均值2,梯度标差梯度标差 2,及梯度及梯度墒墒T8。皮革外观由维输入矢量皮革外观由维输入矢量 I=l*,a*,b*,2,2,T8描述描述 2.SOM 神经网络的设计神经网络的设计 网络结构网络结构:6输入输入1维线阵输出。维线阵输出。聚类时每批聚类时每批100张皮，平均每件皮衣需要张皮，平均每件皮衣需要56张皮，因此将输出层设置张皮，因此将输出层设置20个神经元。每个个神经元。每个神经元代表一类外观效果相似的皮料，如果神经元代表一类外观效果相似的皮料，如果聚为一类的皮料不够做一件皮衣，可以和相聚为一类的皮料不够做

18、一件皮衣，可以和相邻类归并使用。邻类归并使用。基于基于SOMSOM神经网络的皮革聚类神经网络的皮革聚类3.网络参数设计网络参数设计 N j*(t)优胜邻域在训练开始时覆盖整个输出线阵，以后训练优胜邻域在训练开始时覆盖整个输出线阵，以后训练次数每增加次数每增加t=tm/P，Nj*(t)邻域两端各收缩一个神经元直至邻域内邻域两端各收缩一个神经元直至邻域内只剩下获胜神经元。只剩下获胜神经元。对对(t)采用了以下模拟退火函数：采用了以下模拟退火函数：00.95 tm5000 tp1500 4.皮革纹理分类结果皮革纹理分类结果 基于基于SOMSOM神经网络的皮革聚类神经网络的皮革聚类SOM网用于物流中心

19、城市分类评价网用于物流中心城市分类评价 (1)物流中心城市评价指标与数据样本物流中心城市评价指标与数据样本 简单选取简单选取5个评价指标作为网络输入：个评价指标作为网络输入：x1人均人均GDP(元元)，x2工业总产值工业总产值(亿元亿元)，x3社会消费品零售总额社会消费品零售总额(亿元亿元)，x4批发零售贸易总额批发零售贸易总额(亿元亿元)，x5货运总量货运总量(万吨万吨)。44个物流中心城市分类评价样本个物流中心城市分类评价样本 SOM网用于物流中心城市分类评价网用于物流中心城市分类评价 (2)物流中心城市的分类和评价分析物流中心城市的分类和评价分析 物物流流中中心心城城市市 全国性物流中心

20、城市全国性物流中心城市区域性物流中心城市区域性物流中心城市地区性物流中心城市地区性物流中心城市综合型综合型货运型货运型SOM网用于物流中心城市分类评价网用于物流中心城市分类评价 (2)物流中心城市的分类和评价分析物流中心城市的分类和评价分析 按照按照SOM算法步骤，取开始的算法步骤，取开始的1000次迭代为排序次迭代为排序阶段，学习率阶段，学习率=0.9；其后为收敛阶段，学习率为其后为收敛阶段，学习率为=0.02。将将44个数据样本归一化，输入网络进行训练。经过个数据样本归一化，输入网络进行训练。经过试验比较，最终取试验比较，最终取类别数为类别数为8，得到如下表所示的分类，得到如下表所示的分类

21、结果。结果。物流中心城市分类结果物流中心城市分类结果 上机实上机实上机实上机实验说明验说明验说明验说明任务：任务：任务：任务：用平面用平面用平面用平面网格状网格状网格状网格状样本训样本训样本训样本训练练练练SOMSOM网络网络网络网络权值初始化后的输出平面权值初始化后的输出平面训练过程中的输出平面训练过程中的输出平面训练过程中的输出平面训练过程中的输出平面训练过程中的输出平面训练过程中的输出平面训练过程中的输出平面训练过程中的输出平面训训练练接接近近尾尾声声的的输输出出平平面面Sphere球面球面用球用球面状面状样本样本训练训练SOM网络网络Twist扭转扭转用蝴用蝴蝶状蝶状样本样本训练训练SOM网络网络Parabola抛物面抛物面用抛用抛物面物面样本样本训练训练SOM网络网络Cubic三次曲线三次曲线用三用三次曲次曲线状线状样本样本训练训练SOM网络网络Cosine余弦余弦用余用余旋状旋状样本样本训练训练SOM网络网络