神经网络模型理论2.ppt

《神经网络模型理论2.ppt》由会员分享，可在线阅读，更多相关《神经网络模型理论2.ppt（22页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经网络模型理论2 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望神经网络模型分类2006-4-152006-4-152 2吴凡吴凡 蔡佳佳蔡佳佳自组织神经网络自组织神经网络是一种无导师学习的神经网络模自组织神经网络是一种无导师学习的神经网络模型，这类模型大都采用了竞争学习机制。它可以型，这类模型大都采用了竞争学习机制。它可以对外界的样本空间进行学习或模拟，并对自身网对外界的样本空间进行学习或模拟，并对自身网络结构进行调整，一般分为络结构进行调整，一般分为ARTA

2、RT模型，模型，SOMSOM模型模型和和CPNCPN模型。模型。ART(Adaptive Resonance Theory)ART(Adaptive Resonance Theory)自适应共振理自适应共振理论论SOM(Self-Organizing Feature Map)SOM(Self-Organizing Feature Map)自组织特征映自组织特征映射射2006-4-152006-4-153 3吴凡吴凡 蔡佳佳蔡佳佳自组织神经网络CPN(Counter Propagation Network)反向传播网络竞争学习是指同一层上的神经元进行竞争，胜利的神经元修改与其相连的连接权值。这种

3、机制可以进行模式分类。在竞争学习中，网络根据输入的样本进行自组织，并将其划分到相应的模式类别中。2006-4-152006-4-154 4吴凡吴凡 蔡佳佳蔡佳佳竞争学习竞争网络的第一层是竞争网络的第一层是输入层，接受样本；输入层，接受样本；第二层是竞争层，对第二层是竞争层，对输入样本分类。对于输入样本分类。对于某个神经元，连接权某个神经元，连接权的和为的和为1 1。WijWij是输入层神经元到是输入层神经元到竞争层神经元的权值。竞争层神经元的权值。2006-4-152006-4-155 5吴凡吴凡 蔡佳佳蔡佳佳竞争学习输入的样本为二值向量（输入的样本为二值向量（0 0，1 1组成的向量），竞争

4、层单组成的向量），竞争层单元元j j的状态按右边第一个公式的状态按右边第一个公式 来计算。其中来计算。其中XiXi为输入样本为输入样本的第的第i i个元素。个元素。按照按照WTA(Winner-Takes-All)WTA(Winner-Takes-All)机制来调整，即竞争层上具机制来调整，即竞争层上具有最大权值的神经元有最大权值的神经元K K胜利。胜利。输出为右边第输出为右边第2 2个式子个式子 竞争后的权值按右面第竞争后的权值按右面第3 3个式个式子修改子修改2006-4-152006-4-156 6吴凡吴凡 蔡佳佳蔡佳佳竞争学习其中为学习参数，一般0.010.3，m为输入层上输出值为1的

5、神经元的个数。当Xi为1权值增加，为0则减小。所以当第i个权值增加或减小时，其他权值都有可能变化。但所有改变量的和一定是0。2006-4-152006-4-157 7吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络模型该网络也称为该网络也称为KohonenKohonen网络，网络，19811981年由芬兰年由芬兰HelsinkHelsink大学大学KohonenKohonen教授提出。该网络是一个由教授提出。该网络是一个由全互连的神经元阵列形成的无导师自组织自学习全互连的神经元阵列形成的无导师自组织自学习网络。该模型的生物理论是认为处于人脑不同区网络。该模型的生物理论是认为处于人脑不同区域的神经元分工

6、有所不同。当神经网络在接受外域的神经元分工有所不同。当神经网络在接受外界接受输入模式时，将会分为不同的对应区域。界接受输入模式时，将会分为不同的对应区域。SOMSOM模型的特征就是能在模型的特征就是能在1 1维或维或2 2维单元上形成输维单元上形成输入信号的特征拓扑分布。入信号的特征拓扑分布。2006-4-152006-4-158 8吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络模型SOM模型具有抽取输入信号模式特征的能力。它一般只包含一维或二维的阵列，但可以推广到高维。2006-4-152006-4-159 9吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络模型这种网络最显著的特点是神经元不像在感知器和这

7、种网络最显著的特点是神经元不像在感知器和层次神经网络中按层排列，而是排列在平面格子层次神经网络中按层排列，而是排列在平面格子中。所有输入连接到网格中的每个神经元，反馈中。所有输入连接到网格中的每个神经元，反馈约束表现在抑制邻近的神经元，在格子中的每个约束表现在抑制邻近的神经元，在格子中的每个神经元是输出神经元。神经元是输出神经元。各神经元之间连接权之间有一定分布，邻近的神各神经元之间连接权之间有一定分布，邻近的神经元相互激励，而较远的神经元则相互抑制，更经元相互激励，而较远的神经元则相互抑制，更远的一些又有较弱的激励作用。在受外界刺激最远的一些又有较弱的激励作用。在受外界刺激最强的地方形成一个

8、强的地方形成一个BOBBLEBOBBLE区域。区域。2006-4-152006-4-151010吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络模型在这个BOBBLE区域中，神经元的权向量会自动调节，一直到与输入向量的某一最大主分量方向相重合为止。下图为激励作用与距离的关系。2006-4-152006-4-151111吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络模型的组成KOHONENKOHONEN网络模型由四个部分组成：网络模型由四个部分组成：1 1 处理单元阵列：接受事件输入，并且形成对这些处理单元阵列：接受事件输入，并且形成对这些信号的判别函数。信号的判别函数。2 2 比较选择机制：比较判别函数并选

9、择一个具有最比较选择机制：比较判别函数并选择一个具有最大函数输出值的输出单元。大函数输出值的输出单元。3 3 局部互连作用：同时激励被选择的处理单元和最局部互连作用：同时激励被选择的处理单元和最邻近的处理单元。邻近的处理单元。4 4 自适应过程：修正被激励的处理单元参数，以增自适应过程：修正被激励的处理单元参数，以增加其相应于特定输入判别函数的输出值。加其相应于特定输入判别函数的输出值。2006-4-152006-4-151212吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络模型设网络输出设网络输出X X ，输出神经元与输入神经元，输出神经元与输入神经元连接权连接权WiWi ，则输出神经元的输出，则

10、输出神经元的输出Oi=WiX.Oi=WiX.网络实际具有响应的输出单元网络实际具有响应的输出单元k k是通过竞争得到是通过竞争得到的，竞争方法是取所有输出中的最大值。的，竞争方法是取所有输出中的最大值。KOHONENKOHONEN对这些规则又进行了改进。具体改进对这些规则又进行了改进。具体改进这里不讲，可以参考杨建刚的人工神经网络实这里不讲，可以参考杨建刚的人工神经网络实用教程，浙江大学出版社，用教程，浙江大学出版社，20012001年年6 6月出版。月出版。2006-4-152006-4-151313吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络解决TSP问题在文献上见到了这种模型求解TSP问题，

11、这里给出大体算法步骤：1 将所有连接权值初始化为一个小于1的随机数。2 随机选择一个城市，其坐标（X，Y）送入到KOHONEN网络输入端。3 初始化一个随时间增加而下降的增益(t0)和邻域大小NE(t0).2006-4-152006-4-151414吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络解决TSP问题4 4 计算各输出节点计算各输出节点j j与输入坐标向量的与输入坐标向量的EuclidEuclid距离。其中距离。其中Xi(t)Xi(t)是是t t时刻节点时刻节点i i的的输入，输入，WijWij（t t）是）是t t时刻节点时刻节点i i和节点和节点j j之之间的连接权。间的连接权。5 5

12、选择输入坐标的响选择输入坐标的响应节点应节点j,j,满足右边的满足右边的式子。式子。2006-4-152006-4-151515吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络解决TSP问题6 6 选择选择j j的邻域。的邻域。7 7 修改修改j j及其邻域内输及其邻域内输出节点的连接权，离出节点的连接权，离散形式的修正公式在散形式的修正公式在右边。右边。8 8 修改邻域修改邻域9 9 修改修改(t).(t).10 10 若若(t)0,(t)0,转第转第4 4步。步。2006-4-152006-4-151616吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络解决TSP问题11 11 若城市集不为空，转第一步。

13、若城市集不为空，转第一步。12 12 给定一个起始城市，并标明所对应的输出节点，给定一个起始城市，并标明所对应的输出节点，从该节点开始按顺时针（逆时针）方向转一周，从该节点开始按顺时针（逆时针）方向转一周，依次找出环上节点所对应的城市，就获得一个依次找出环上节点所对应的城市，就获得一个TSPTSP问题的解。问题的解。能利用能利用KOHONENKOHONEN网络模型解网络模型解TSPTSP问题的基本思想问题的基本思想是：将是：将KOHONENKOHONEN神经网络的输出层节点分布在一神经网络的输出层节点分布在一个封闭的圆环上。输入向量分别映射到输出层中个封闭的圆环上。输入向量分别映射到输出层中对

14、应节点，输出层各节点是顺序排列，于是就确对应节点，输出层各节点是顺序排列，于是就确定了城市间的邻近关系。定了城市间的邻近关系。2006-4-152006-4-151717吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络解决TSP问题这里的邻域是随着时间推移而减少，初始时可以覆盖整个解空间，然后按一定规律减少，其中参数(t)也是可以按一定法则减少的。2006-4-152006-4-151818吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络解决TSP问题在使用上述算法时，可能出现两个以上城市映射在使用上述算法时，可能出现两个以上城市映射到一个输出节点上的情况，这时可以采用裂变法到一个输出节点上的情况，这时可以采

15、用裂变法和排除法。和排除法。裂变法指当一个城市所映射的输出节点已经是另裂变法指当一个城市所映射的输出节点已经是另一个城市的映射节点时，把该城市分派到与该输一个城市的映射节点时，把该城市分派到与该输出节点邻近的节点上，且该节点必须空闲。出节点邻近的节点上，且该节点必须空闲。排除法指一个城市映射到一个输出节点时，就将排除法指一个城市映射到一个输出节点时，就将这个输出节点排除在外。在下面的映射计算中，这个输出节点排除在外。在下面的映射计算中，只从剩余输出节点中寻找城市的映射节点。但排只从剩余输出节点中寻找城市的映射节点。但排除的节点仍然参加权向量的修正。除的节点仍然参加权向量的修正。2006-4-152006-4-151919吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络解决TSP问题邻域的变化如下图所示2006-4-152006-4-152020吴凡吴凡 蔡佳佳蔡佳佳KOHONEN网络解决TSP问题两个SOM算法的演示地址：1 TSP的SOM算法演示(澳大利亚悉尼大学计算机系)http:/www.cs.usyd.edu.au/irena/ai01/nn/tsp.html2 TSP的SOM算法演示http:/ 蔡佳佳蔡佳佳2006-4-152006-4-152222吴凡吴凡 蔡佳佳蔡佳佳