hejianhua-神经网络讲义-part6-自组织网络.ppt

《hejianhua-神经网络讲义-part6-自组织网络.ppt》由会员分享，可在线阅读，更多相关《hejianhua-神经网络讲义-part6-自组织网络.ppt（41页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人工神经网络及其应用第6讲 自组织网络何建华电信系，华中科技大学2003年3月7日在实际的神经网络中，比如人的视网膜中，存在着一种“侧抑制”现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。自组织竞争人工神经网络正是基于上述生物结构和现象形成的。它能够对输入模式进行自组织训练和判断，并将其最终分为不同的类型。与BP 网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分类方面的应用，另一方面，竞争学习网络的核心竞争层，又是许多种其他神经网络模型的重要组成部分。81几种联想学习规则 格劳斯贝格(S Grossberg)提出了两种类型的神经元模型：内星与外星

2、，用以来解释人类及动物的学习现象。内星可以被训练来识别矢量；外星可以被训练来产生矢量。图8.1 格劳斯贝格内星模型图 内星是通过联接权矢量W 接受一组输入信号P 图82 格劳斯贝格外星模型图 外星则是通过联接权矢量向外输出一组信号A。它们之所以被称为内星和外星，主要是因为其网络的结构像星形，且内星的信号流向星的内部；而外星的信号流向星的外部。811内星学习规则实现内星输入输出转换的激活函数是硬限制函数。可以通过内星及其学习规则来训练某一神经元节点只响应特定的输入矢量P，它是借助于调节网络权矢量W 近似于输入矢量P 来实现的。单内星中对权值修正的格劳斯贝格内星学习规则为：(8 1)由(8 1)式

3、可见，内星神经元联接强度的变化w1j是与输出成正比的。如果内星输出a 被某一外部方式而维护高值时，那么通过不断反复地学习，权值将能够逐渐趋近于输入矢量pj的值，并趋使w1j逐渐减少，直至最终达到w1jpj，从而使内星权矢量学习了输入矢量P，达到了用内星来识别一个矢量的目的。另一方面，如果内星输出保持为低值时，网络权矢量被学习的可能性较小，甚至不能被学习。现在来考虑当不同的输入矢量p1和p2分别出现在同一内星时的情况。首先，为了训练的需要，必须将每一输入矢量都进行单位归一化处理。当第一个矢量p1输入给内星后，网络经过训练，最终达到W(p1)T。此后，给内星输入另一个输入矢量p2，此时内星的加权输

4、入和为新矢量p2与已学习过矢量p1的点积，即：因为输入矢量的模已被单位化为1，所以内星的加权输入和等于输入矢量p1和p2之间夹角的余弦。根据不同的情况，内星的加权输入和可分为如下几种情况：1)p2等于p1，即有120，此时，内星加权输入和为1；2)p2不等于p1，内星加权输入和为0；3)当p2-p1，即12180 时，内星加权输入和达到最小值-1。由此可见，对于一个已训练过的内星网络，当输入端再次出现该学习过的输入矢量时，内星产生1的加权输入和；而与学习过的矢量不相同的输入出现时，所产生的加权输入和总是小于1。当多个相似输入矢量输入内星，最终的训练结果是使网络的权矢量趋向于相似输入矢量的平均值

5、。内星网络中的相似度是由偏差b来控制，由设计者在训练前选定，典型的相似度值为b-0.95，这意味着输入矢量与权矢量之间的夹角小于1848。若选b-0.9 时，则其夹角扩大为2548。一层具有s 个神经元的内星，可以用相似的方式进行训练，权值修正公式为：MATLAB 神经网络工具箱中内星学习规则的执行是用函数learnis.m 来完成上述权矢量的修正过程：dW 1earnis(W，P，A，lr)；W=W 十dW；例8.1 设计内星网络进行以下矢量的分类辨识：我们首先对网络进行初始化处理：R，Q size(P)；S，Q size(T)；W zeros(S，R)；B-0.95*ones(S，1)；m

6、ax-epoch 10；lr 0.7；so81.m812外星学习规则外星网络的激活函数是线性函数，它被用来学习回忆一个矢量，其网络输入P 也可以是另一个神经元模型的输出。外星被训练来在一层s 个线性神经元的输出端产生一个特别的矢量A。对于一个外星，其学习规则为：与内星不同，外星联接强度的变化w 是与输入矢量P 成正比的。这意味着当输入矢量被保持高值，比如接近1时，每个权值wij将趋于输出ai值，若pj1，则外星使权值产生输出矢量。当输入矢量pj为0时，网络权值得不到任何学习与修正。当有r 个外星相并联，每个外星与s 个线性神经元相连组成一层外星时，其权值修正方式为：其中：W sr 权值列矢量；

7、lr 学习速率；A sq 外星输出；P rq 外星输入。MATLAB 工具箱中实现外星学习与设计的函数为learnos.m，其调用过程如下：dW learnos(W，A，P，lr)；W W 十dW；例82 下面有两元素的输入矢量以及与它们相关的四元素目标矢量，试设计一个外星网络实现有效的矢量的获得，外星没有偏差。P 1 0；T 0.1826 0.6325；0.3651 0.3162；0.5477 0.3162；0.7303 0.6325；813科荷伦学习规则科荷伦学习规则是由内星规则发展而来的。科荷伦规则为：科荷伦学习规则实际上是内星学习规则的一个特例，但它比采用内星规则进行网络设计要节省更多

8、的学习，因而常常用来替代内星学习规则。在MATLAB 工具箱中，在调用科荷伦学习规则函数learnk.m 时，一般通过先寻找输出为1的行矢量i，然后仅对与i 相连的权矩阵进行修正。使用方法如下：i find(A=1)；dW learnk(W，P，i，1r)；W W 十dW；一般情况下科荷伦学习规则比内星学习规则能够提高训练速度1到2个数量级。82自组织竞争网络 821网络结构竞争网络由单层神经元网络组成，其输入节点与输出节点之间为全互联结。因为网络在学习中的竞争特性也表现在输出层上，所以在竞争网络中把输出层又称为竞争层，而与输入节点相连的权值及其输入合称为输入层。从网络的结构图中可以看出，自组

9、织竞争网络的权值有两类：一类是输入节点j 到i 的权值wij(i 1，2、s；j 1，2、r)，这些权值是通过训练可以被调整的；另一类是竞争层中互相抑制的权值wik(k 1，2、s)。这类权值是固定不变的，且它满足一定的分布关系。它们是一种对称权值，即有wikwki，同时相同神经元之间的权值起加强的作用，即满足w11w11wkk0，而不同神经元之间的权值相互抑制，对于ki 有wij0。设网络的输入矢量为：P p1 p2 prT；对应网络的输出矢量为：A a1 a2 asT。由于竞争网络中含有两种权值，所以其激活函数的加权输入和也分为两部分：来自输入节点的加权输入和N 与来自竞争层内互相抑制的加

10、权输入和G。对于第i 个神经元有：1)来自输入节点的加权输入和为：2)来自竞争层内互相抑制的加权输入和为：a)如果在竞争后，第i 个节点“赢”了，则有：而其他所有节点的输出均为零，即：此时 b)如果在竞争后，第i 个节点“输”了，而“赢”的节点为l，则有：此时所以对整个网络的加权输入总和有下式成立：sl=nl+wll 对于“赢”的节点lsi=ni-|wii|对于所有”输“的节点i 1，2s，il由 此 可 以 看 出，经 过 竞 争 后 只 有 获 胜 的 那 个 节 点 的 加 权输入总和为最大。竞争网络的输出为：在判断竞争网络节点胜负的结果时，可直接采用ni，即：取偏差B 为零是判定竞争网络获胜节点时的典型情况，偶而也采用下式进行竞争结果的判定：通过上面分析，可以将竞争网络的工作原理总结如下：竞争网络的激活函数使加权输入和为最大的节点赢得输出为1，而其他神经元的输出皆为0。这个竞争过程可用MATLAB 描述如下：