模式识别第八章人工神经网络.ppt

模式识别第八章人工神经网络1现在学习的是第1页，共82页主要内容n引言n人工神经元n前馈神经网络及其主要算法n竞争学习和侧抑制现在学习的是第2页，共82页8.1 引言n人工神经网络(artificial neural network,ANN)：由大量神经元经广泛互联组成的非线性网络（功能模块，数学模型）n人工神经网络是模拟生物神经网络的工作机理、模仿人脑某些学习功能的一种计算结构。n自底向上的综合方法：基本单元功能模块系统现在学习的是第3页，共82页神经网络发展简介n第一阶段：开创n40年代初，美国McCulloch和Pitts从信息处理的角度，研究神经细胞行为的数学模型表达，提出了二值神经元模型。MP模型的提出开始了对神经网络的研究进程。n1949年心理学家Hebb提出著名的Hebb学习规则，即由神经元之间结合强度的改变来实现神经学习的方法。n1957年，F.Rosenblatt提出感知器。n1960年Bernand Widrow和 Marcian Hoff提出自适应线性元件网络。现在学习的是第4页，共82页神经网络发展简介n第二阶段：低潮n1969年M.Minsky和S.Parpert对感知器的悲观理论使神经网络研究陷入低谷。他们分析了若干种简单感知器，并总结说明：简单感知器只能完成线性分类，对非线性分类无能为力，加上他们在人工智能领域的威望，他们这种悲观理论对当时人工神经网络的发展来说负面影响很大；而另一方面，当时计算机技术的发展使得传统人工智能理论在基于Von Neumann计算机平台上的发展趋势非常乐观；同时人们对当时人工神经网络的训练没有得到一种普适的学习算法；这样，人工神经网络的发展转入缓慢发展的低潮期。现在学习的是第5页，共82页神经网络发展简介n第三阶段：复苏n1982年生物物理学家J.J.Hopfield提出Hopfield网络模型，并将其成功应用于NP完全性的著名旅行商问题。n1986年David E.和Rumelhart等的并行分布式处理(PDP)研究组完善了多层神经网络感知误差反向传播算法Error Back Propagation(简称BP算法，最早由Werbo于1974年提出)，特别是有效解决了网络权值在学习过程中自动调整的问题，人工神经网络的发展再次掀起研究高潮；n1987年6月21日在美国圣地亚哥召开了第一届国际人工神经网络学术会议，宣告国际神经网络协会成立。现在学习的是第6页，共82页神经网络的特点n自学习n自适应n并行处理n分布表达与计算现在学习的是第7页，共82页神经网络的应用nNN本质上可以理解为函数逼近，可以应用到众多领域：n优化计算n信号处理n智能控制n模式识别n机器视觉等现在学习的是第8页，共82页8.2 人工神经元n生物神经网络：Biological Neural Network（BNN）n神经元：neuronn神经元经突触传递信号给其他神经元（胞体或树突）n1011个神经元/人脑n104个连接/神经元n神经元基本工作机制：n状态：兴奋与抑制n互联，激励，处理，阈值信息加工信息输出信息输入信息传递现在学习的是第9页，共82页nMP模型 MP模型属于一种阈值元件模型，是由美国McCulloch和Pitts提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。8.2 人工神经元现在学习的是第10页，共82页ynetA阈值函数(b)ynetSigmoid函数函数(c)fyw1w2wnx1x2xnnet(a)其中：f 是一个非线性函数，例如阈值函数或Sigmoid函数。神经元动作如下：niiiiniixtwftynetfyxwnet11神经元模型现在学习的是第11页，共82页 当当 f 为阈值时，其输出为：为阈值时，其输出为：niiiAxwy1sgn其中其中 sgn 为符号函数，若为符号函数，若 )0()0(11)sgn()(xxxxf ），见图（，见图（，则则）（）（或或两个值。两个值。和和取取，则则byxxxfyy100001)(1111 当某些重要的学习算法要求输出函数当某些重要的学习算法要求输出函数 f 可微，通常选用可微，通常选用Sigmoid函数：函数：ynetA(b)现在学习的是第12页，共82页112)()(2 xexthxfa、则则 y （1，1），即），即1到到1的开区间内的连续值。的开区间内的连续值。或或 b、xexf 11)(）（或或 xe11ynet(c)则则 y （0，1），见图（），见图（c）。）。选择选择 Sigmoid 函数作为输出函数，具有特性：函数作为输出函数，具有特性：非线性、单调性。非线性、单调性。无限可微。无限可微。当权值很大时近似阈值函数。当权值很小时近似线性函数当权值很大时近似阈值函数。当权值很小时近似线性函数现在学习的是第13页，共82页8.3 神经网络的学习方法n神经网络的学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练n学习方式：n监督学习n非监督学习n再励学习n学习规则(learning rule)：nHebb学习算法n误差纠正学习算法n竞争学习算法现在学习的是第14页，共82页监督学习教师神经网络比较环境实际输出输入期望输出误差信号n对训练样本集中的每一组输入能提供一组目标输出n网络根据目标输出与实际输出的误差信号来调节网络参数x(n)t(n)y(n)e(n)现在学习的是第15页，共82页非监督学习与再励学习n非监督学习：不存在教师，网络根据外部数据的统计规律来调节系统参数，以使网络输出能反映数据的某种特性n再励学习：外部环境对网络输出只给出评价信息而非正确答案，网络通过强化受奖励的动作来改善自身的性能神经网络环境输入神经网络环境输入输出评价信息现在学习的是第16页，共82页nHebb规则假定:当两个细胞同时兴奋时，他们之间的连接强度应该增强。这条规则与“条件反射”学说一致，后来得到了神经细胞学说的证实。n几乎所有的神经网络学习算法可看成Hebb学习规则的变形。nHebb学习规则：Hebb学习(1)()iinniiiwyxwww 学习常数现在学习的是第17页，共82页误差纠正学习n对于输出层第k个神经元：n实际输出:ak(n)n目标输出:tk(n)n误差信号:ek(n)=tk(n)-ak(n)n目标函数：基于误差信号ek(n)的函数，如误差平方和判据(sum squared error,SSE)，或均方误差判据(mean squared error,MSE,即SSE对所有样本的期望)211()()()22TkkJEenEnnee211()()()()22TkkJnennnee现在学习的是第18页，共82页误差纠正学习n梯度下降法：kJ wn对于感知器和线性网络：TWepkjkjwepdelta学习规则n对于多层感知器网络：扩展的delta学习规则，BP算法现在学习的是第19页，共82页竞争学习n无监督学习方法n输出神经元之间有侧向抑制性连接，较强单元获胜并抑制其他单元，独处激活状态（Winner takes all,WTA）()0kjjkjkjwpwkwk若 神 经 元获 胜若 神 经 元失 败wkjkpj现在学习的是第20页，共82页竞争学习原理竞争学习规则竞争学习规则Winner-Take-All(胜者为王胜者为王)网络的输出神经元之间相互竞争以求被激活，网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为元的状态被抑制，故称为Winner Take All。现在学习的是第21页，共82页竞争学习规则竞争学习规则Winner-Take-All1.1.向量归一化向量归一化 首先将当前输入模式向量首先将当前输入模式向量X X和竞和竞争层中各神经元对应的内星向量争层中各神经元对应的内星向量W Wj j 全部进行全部进行归一化处理；归一化处理；(j=1,2,m)(j=1,2,m)Tnjjnnjjxxxx12121.XXX现在学习的是第22页，共82页向量归一化之向量归一化之 *现在学习的是第23页，共82页向量归一化之向量归一化之 *现在学习的是第24页，共82页竞争学习原理竞争学习规则竞争学习规则Winner-Take-All2.2.寻找获胜神经元寻找获胜神经元 当网络得到一个输入模式向量时，竞当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。较，并将最相似的内星权向量判为竞争获胜神经元。欲使两单位向量最相似，须使其点积最大。即：欲使两单位向量最相似，须使其点积最大。即：)(max,.,2,1*XWXWTjmjTj现在学习的是第25页，共82页 从上式可以看出，欲使两单位向量的欧式距离最小，从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：须使两向量的点积最大。即：)(max,.,2,1*XWXWTjmjTjjmjjWXWXmin,.,2,1*)()(*jTjjWXWXWXTjTjTjT*2WWXWXX)1(2*XWTj竞争学习规则竞争学习规则Winner-Take-All现在学习的是第26页，共82页竞争学习规则竞争学习规则胜者为王胜者为王(Winner-Take-All)3.3.网络输出与权值调整网络输出与权值调整*01)1(jjjjtoj)()()()()1(*jjjjjttttWXWWWW)()1(ttjjWW j j j j*步骤步骤3 3完成后回到步骤完成后回到步骤1 1继续训练，直到学习率衰减继续训练，直到学习率衰减到到0 0。现在学习的是第27页，共82页 *竞争学习的几何意义竞争学习的几何意义现在学习的是第28页，共82页竞争学习的几何意义竞争学习的几何意义 *1W *jW *)()()()(*ttttjpWXW *)(*1tjW )(tpX jW mW *现在学习的是第29页，共82页例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：6.08.01X9848.01736.02X707.0707.03X9397.0342.04X8.06.05X解：为作图方便，将上述模式转换成极坐标形式解：为作图方便，将上述模式转换成极坐标形式 ：89.3611X8012X5.4413X7014X13.5315X竞争层设两个权向量，随机初始化为单位向量：竞争层设两个权向量，随机初始化为单位向量：0101)0(1W180101)0(2WO1O2W1=(w11,w12)W2=(w21,w22)x1x2现在学习的是第30页，共82页 x5 x3 x1 w2 w1 x2 x4 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8.4 43 3 -3 30 0.8 8 7 7 -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0.5 5 4 40 0.5 5 4 43 3 4 43 3 4 47 7.5 5 4 42 2 4 42 2 4 43 3.5 5 4 43 3.5 5 4 48 8.5 5 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 13 30 0 -1 13 30 0 -1 10 00 0 -1 10 00 0 -1 10 00 0 -9 90 0 -9 90 0 -8 81 1 -8 81 1 -8 81 1 -8 80 0.5 5 -8 80 0.5 5 -7 75 5 -7 75 5 现在学习的是第31页，共82页 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8.4 43 3 -3 30 0.8 8 7 7 -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0.5 5 4 40 0.5 5 4 43 3 4 43 3 4 47 7.5 5 4 42 2 4 42 2 4 43 3.5 5 4 43 3.5 5 4 48 8.5 5 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 13 30 0 -1 13 30 0 -1 10 00 0 -1 10 00 0 -1 10 00 0 -9 90 0 -9 90 0 -8 81 1 -8 81 1 -8 81 1 -8 80 0.5 5 -8 80 0.5 5 -7 75 5 -7 75 5 现在学习的是第32页，共82页 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8.4 43 3 -3 30 0.8 8 7 7 -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0.5 5 4 40 0.5 5 4 43 3 4 43 3 4 47 7.5 5 4 42 2 4 42 2 4 43 3.5 5 4 43 3.5 5 4 48 8.5 5 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 13 30 0 -1 13 30 0 -1 10 00 0 -1 10 00 0 -1 10 00 0 -9 90 0 -9 90 0 -8 81 1 -8 81 1 -8 81 1 -8 80 0.5 5 -8 80 0.5 5 -7 75 5 -7 75 5 现在学习的是第33页，共82页 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8.4 43 3 -3 30 0.8 8 7 7 -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0.5 5 4 40 0.5 5 4 43 3 4 43 3 4 47 7.5 5 4 42 2 4 42 2 4 43 3.5 5 4 43 3.5 5 4 48 8.5 5 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 13 30 0 -1 13 30 0 -1 10 00 0 -1 10 00 0 -1 10 00 0 -9 90 0 -9 90 0 -8 81 1 -8 81 1 -8 81 1 -8 80 0.5 5 -8 80 0.5 5 -7 75 5 -7 75 5 现在学习的是第34页，共82页 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8.4 43 3 -3 30 0.8 8 7 7 -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0.5 5 4 40 0.5 5 4 43 3 4 43 3 4 47 7.5 5 4 42 2 4 42 2 4 43 3.5 5 4 43 3.5 5 4 48 8.5 5 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 13 30 0 -1 13 30 0 -1 10 00 0 -1 10 00 0 -1 10 00 0 -9 90 0 -9 90 0 -8 81 1 -8 81 1 -8 81 1 -8 80 0.5 5 -8 80 0.5 5 -7 75 5 -7 75 5 现在学习的是第35页，共82页 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8.4 43 3 -3 30 0.8 8 7 7 -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0.5 5 4 40 0.5 5 4 43 3 4 43 3 4 47 7.5 5 4 42 2 4 42 2 4 43 3.5 5 4 43 3.5 5 4 48 8.5 5 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 13 30 0 -1 13 30 0 -1 10 00 0 -1 10 00 0 -1 10 00 0 -9 90 0 -9 90 0 -8 81 1 -8 81 1 -8 81 1 -8 80 0.5 5 -8 80 0.5 5 -7 75 5 -7 75 5 现在学习的是第36页，共82页 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8.4 43 3 -3 30 0.8 8 7 7 -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0.5 5 4 40 0.5 5 4 43 3 4 43 3 4 47 7.5 5 4 42 2 4 42 2 4 43 3.5 5 4 43 3.5 5 4 48 8.5 5 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 13 30 0 -1 13 30 0 -1 10 00 0 -1 10 00 0 -1 10 00 0 -9 90 0 -9 90 0 -8 81 1 -8 81 1 -8 81 1 -8 80 0.5 5 -8 80 0.5 5 -7 75 5 -7 75 5 现在学习的是第37页，共82页 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8.4 43 3 -3 30 0.8 8 7 7 -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0.5 5 4 40 0.5 5 4 43 3 4 43 3 4 47 7.5 5 4 42 2 4 42 2 4 43 3.5 5 4 43 3.5 5 4 48 8.5 5 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 13 30 0 -1 13 30 0 -1 10 00 0 -1 10 00 0 -1 10 00 0 -9 90 0 -9 90 0 -8 81 1 -8 81 1 -8 81 1 -8 80 0.5 5 -8 80 0.5 5 -7 75 5 -7 75 5 现在学习的是第38页，共82页 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8.4 43 3 -3 30 0.8 8 7 7 -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0.5 5 4 40 0.5 5 4 43 3 4 43 3 4 47 7.5 5 4 42 2 4 42 2 4 43 3.5 5 4 43 3.5 5 4 48 8.5 5 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 13 30 0 -1 13 30 0 -1 10 00 0 -1 10 00 0 -1 10 00 0 -9 90 0 -9 90 0 -8 81 1 -8 81 1 -8 81 1 -8 80 0.5 5 -8 80 0.5 5 -7 75 5 -7 75 5 现在学习的是第39页，共82页 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8.4 43 3 -3 30 0.8 8 7 7 -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0.5 5 4 40 0.5 5 4 43 3 4 43 3 4 47 7.5 5 4 42 2 4 42 2 4 43 3.5 5 4 43 3.5 5 4 48 8.5 5 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 13 30 0 -1 13 30 0 -1 10 00 0 -1 10 00 0 -1 10 00 0 -9 90 0 -9 90 0 -8 81 1 -8 81 1 -8 81 1 -8 80 0.5 5 -8 80 0.5 5 -7 75 5 -7 75 5 现在学习的是第40页，共82页 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8.4 43 3 -3 30 0.8 8 7 7 -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0.5 5 4 40 0.5 5 4 43 3 4 43 3 4 47 7.5 5 4 42 2 4 42 2 4 43 3.5 5 4 43 3.5 5 4 48 8.5 5 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 18 80 0 -1 13 30 0 -1 13 30 0 -1 10 00 0 -1 10 00 0 -1 10 00 0 -9 90 0 -9 90 0 -8 81 1 -8 81 1 -8 81 1 -8 80 0.5 5 -8 80 0.5 5 -7 75 5 -7 75 5 现在学习的是第41页，共82页1）单层感知器（）单层感知器（Pereceptron）感知器是一种双层神经元网络模型，一层为输入层，另一层具感知器是一种双层神经元网络模型，一层为输入层，另一层具有计算单元，可通过监督学习建立模式判别的能力。有计算单元，可通过监督学习建立模式判别的能力。两层感知器只能解决线性问题。两层感知器只能解决线性问题。学习的目的：学习的目的：通过改变权值使神经元网络由给定的输入得通过改变权值使神经元网络由给定的输入得 到给定的输出。到给定的输出。单层感知器的输出：单层感知器的输出：从初始权从初始权wi(0)和阈值和阈值 开始训练。开始训练。niiitxtwfty1)(8.4 前馈神经元网络现在学习的是第42页，共82页训练过程：训练过程：设理想的输出为设理想的输出为 tmyyyy,21 tmyyyy,21 实际输出实际输出:用已知类别模式向量或特用已知类别模式向量或特征向量作为训练集：征向量作为训练集：当输入为属于第当输入为属于第 j 类特征向量类特征向量 x 时，应使对应于该类的时，应使对应于该类的输出输出 yj=1,而其它神经元的输出为而其它神经元的输出为 0（或（或-1）。）。为使实际输出逼近理想输出，可反复依次输入训练集中的为使实际输出逼近理想输出，可反复依次输入训练集中的模式样本，并计算出实际输出模式样本，并计算出实际输出 ,并对权值作如下修改：并对权值作如下修改：y twtwtwijijij )1(为为步步长长。其其中中 ijjijxyyw y1 y2 .ymx1 x2 .xn输入层输入层输出层输出层现在学习的是第43页，共82页2）多层感知器）多层感知器 y1 y2 .ymx1 x2 .xn输出层输出层隐含层隐含层输入层输入层 特点：多层感知器可解决非线性可分问题。特点：多层感知器可解决非线性可分问题。设设4层感知器：第层感知器：第1隐含层含隐含层含n1个神经元，个神经元，各神经元输出为各神经元输出为 (j=1,2,n1)第第2隐含层含隐含层含n2个神经元，各神经元输个神经元，各神经元输出为出为 (k=1,2,n2)1(jh)2(kh8.4 前馈神经元网络现在学习的是第44页，共82页输出层神经元的输出为输出层神经元的输出为 21)2()2(nkkkhwfO 第第2隐含层第隐含层第k个神经元的输出为个神经元的输出为21)1()1()1()2(,.,2,11nkhwfhnjkjjkk ，第第1隐含层第隐含层第j个神经元的输出为个神经元的输出为11)1(,.,2,1njxwfhnijiijj ，8.4 前馈神经元网络现在学习的是第45页，共82页BP算法两个过程：正向计算和误差反向传播。算法两个过程：正向计算和误差反向传播。n正向过程：输入层经隐层单元逐层处理并传向输出层，每一层神经元的状态只影响下一层神经元状态，而不影响同一层。如果在输出层得不到期望的输出，则转入反向传播过程。n反向过程：将误差信号沿原来的连接通路返回，通过修正各层神经元的连接权值，使得误差信号最小。n 多层前馈神经网络缺点：学习较复杂，因中间隐层不直接与外界 连接，无法直接计算其误差。由此提出了反向传播（BP）。反向传播算法（BP）现在学习的是第46页，共82页ij 图示为处于某一层的第图示为处于某一层的第 j 个计算单元，脚标个计算单元，脚标 i 代表其前层代表其前层第第i 个单元，脚标个单元，脚标 k 代表后层第代表后层第 k 个单元，个单元，Oj 代表本层输出代表本层输出，是前层到本层的权值是前层到本层的权值ikjOij jk iO反向传播算法（BP）现在学习的是第47页，共82页)(jjiiijjnetfOOnet 是是理理想想输输出出值值，是是实实际际输输出出值值，对对于于输输出出层层而而言言，jjjyOy 2)(21 jjjyyE为使式子简化，定义为使式子简化，定义局部梯度局部梯度jjnetE （正向算法）（正向算法）当输入每个样本时当输入每个样本时，从前到后对每层各单元作如下，从前到后对每层各单元作如下计算计算此此样样本本下下的的误误差差设网络为单输出设网络为单输出 y，任一结点，任一结点 i 的输出为的输出为 Oi。(1)(2)(3)(4)ikjOij jk iO则结点则结点 j 的输入为：的输入为：则结点则结点 j 的输出为：的输出为：现在学习的是第48页，共82页对对误误差差的的影影响响，可可得得考考虑虑权权值值ij ijijjjijOnetnetEE 权值修正应使误差最快地减小，修正量为权值修正应使误差最快地减小，修正量为)()()1(tttOijijijijij 如果节点如果节点 j 是输出单元，则是输出单元，则)()(jjjjjjjjjnetfyynetyyEyO (5)(7)(6)现在学习的是第49页，共82页如果节点如果节点 j 不是输出单元，由前图可知，不是输出单元，由前图可知，Oj 对后面层的全对后面层的全部节点都有影响。因此，部节点都有影响。因此，jjjkkkjjnetOOnetnetEnetE kjjkknetf)(对于对于 Sigmoid 函数函数21()1()(1)(1)xxxyf xeefxyye有有(8)(9-1)现在学习的是第50页，共82页2211)()(yxthxfthxxfy 或者当或者当有有 为了加快收敛速度，往往在权值修正量中加上前一次的权值为了加快收敛速度，往往在权值修正量中加上前一次的权值修正量，一般称为惯性项（步长修正量，一般称为惯性项（步长 、贯量系数贯量系数 ），即），即)1()(tOtijijij 综上所述，反向传播算法步骤如下：综上所述，反向传播算法步骤如下：（1）选定权系数初始值。选定权系数初始值。（2）重复下述过程至此收敛（对各样本依次计算）。重复下述过程至此收敛（对各样本依次计算）。从前向后从前向后各层计算各单元各层计算各单元 Oj（正正 向计算向计算）(9-2)(10)现在学习的是第51页，共82页)1/(1jnetjiiijjeOOnet 对输出层计算对输出层计算j)1()(jjjjOOOy 从后向前从后向前计算各隐层计算各隐层j kkjkjjjOO )1(计算并保存各权值修正量计算并保存各权值修正量ijijijOtt )1()(现在学习的是第52页，共82页 修正权值修正权值)()()1(tttijijij Note：初始权值选取：通常用较小的随机数（例初始权值选取：通常用较小的随机数（例 ），当计算不），当计算不收敛时可改变收敛时可改变初始值；初始值；步长步长 对收敛性影响大，对收敛性影响大，通常通常可在可在 0.1-0.3 之间试探，对于复之间试探，对于复杂的问题应取较大值；杂的问题应取较大值；贯性项系数贯性项系数 影响收敛速度，应用中常在影响收敛速度，应用中常在 0.9-1 之间选择；之间选择；中间隐层的单元数确定缺乏有效方法，一般问题越复杂，需中间隐层的单元数确定缺乏有效方法，一般问题越复杂，需要的隐层的单元越多；或对于同样问题，隐层的单元越多越容要的隐层的单元越多；或对于同样问题，隐层的单元越多越容易收敛。易收敛。3.0 现在学习的是第53页，共82页初始化初始化给定输入向量和期望输出给定输入向量和期望输出求隐层、输出层各单元输出求隐层、输出层各单元输出求目标值与实际输出的误差求目标值与实际输出的误差ee 计算隐层单元误差计算隐层单元误差误差反向传播误差反向传播修正权值修正权值全部全部ei满足满足YY结结束束NNBP算法框图算法框图现在学习的是第54页，共82页径向基函数网络n径向基函数：radial basis function,RBFn只有一个隐层，隐层单元采用径向基函数。隐层把原始的非线性可分的特征空间变换到另一个空间（通常是高维空间），使之可以线性可分n输出为隐层的线性加权求和。采用基函数的加权和来实现对函数的逼近现在学习的是第55页，共82页径向基函数网络结构径向基函数网络现在学习的是第56页，共82页RBF网络第i个隐层单元的输出为:(|)iiqKxc式中 xn维输入向量ci第i个隐节点的中心，通常为欧氏范数RBF函数，具有局部感受的特性，它有多种形式，体现了RBF网络的非线性映射能力，通常取为高斯函数，其形式为|()K 2()()()exp()2Tccckxxxxxx径向基函数网络现在学习的是第57页，共82页网络输出层第k个节点的输出，为隐节点输出的线性组合：ikikikqwy式中 qi到yk的联接权第k个输出节点的阈值kiwk径向基函数网络现在学习的是第58页，共82页径向基函数网络的训练n三组可调参数：n隐单元的个数，隐单元基函数中心与方差xc,n输出层权值 wijn估计方法：n聚类的方法估计xc,nLMS方法估计wij现在学习的是第59页，共82页自组织特征映射SOM是由芬兰的Kohonen教授于1981年提出的一种神经网络模型，它的原理是基于生物神经细胞的如下二种功能:1.实际的神经细胞中有一种特征敏感细胞，在外界信号的刺激下，通过自学习形成对某一种特征特别敏感的神经元。2.生物神经细胞在外界的刺激下，会自动聚集而形成一种功能柱，一个功能柱的细胞完成同一种功能。8.5 自组织映射网络SOM现在学习的是第60页，共82页 (a)一维线阵 (b)二维平面线阵（1）SOM结构 nSOM网分两层：n输入层：模拟感知外界输入信息的视网膜n输出层（竞争层）：模拟做出响应的大脑皮层。现在学习的是第61页，共82页（1）SOM结构 n输入层神经元与输出层神经元为全互连方式，且输出层中的神经元按二维形式排列，它们中的每个神经元代表了一种输入样本。n所有输入节点到所有输出节点之间都有权值连接，而且在二维平面上的输出节点相互间也可能是局部连接的。n而对改变节点竞争结果起决定作用的还是输入层的加权和，所以在判断竞争网络节点胜负的结果时，可忽略竞争层节点之间的权值连接。现在学习的是第62页，共82页 SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。（2）SOM权值调整区域现在学习的是第63页，共82页n以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。n优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。（2）SOM权值调整区域现在学习的是第64页，共82页Nc(t)Nc(t)随时间变化及形状随时间变化及形状（2）SOM权值调整区域现在学习的是第65页，共82页 设输入信号模