模式识别导论(八).pdf

《模式识别导论(八).pdf》由会员分享，可在线阅读，更多相关《模式识别导论(八).pdf（38页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、模式识别导论 武汉大学遥感信息工程学院 马洪超 人工神经网络 在模式识别中的应用 模式识别导论 武汉大学遥感信息工程学院 马洪超 概述 模式识别和人工智能一开始就试图模拟人脑的功能，从现阶段来看，虽然各种模式识别算法和系统具有部分人脑的功能，但总的来说，相差甚远。人脑可以看作是由单个脑细胞组成的、巨大并行的信息处理系统。如果将单个信息处理单元用算法来模拟，进尔将多个处理单元连接成一个巨大并行的处理系统，就是人工神经网络的基本思想。细胞体受外界刺激后，有兴奋和抑制两种状态，可以直观地将兴奋型和抑制型理解为其作用和不起作用。人工神经网络用器件或算法来模拟神经系统的某些机构和功能，一个简单的神经元功

2、能模型如下：模式识别导论 武汉大学遥感信息工程学院 马洪超 f net x0 x1 xn w0 w1 wn y netfyxwnetniii1上式函数f可以是线性、非线性甚至是等价函数，注意和线性判别函数相比较。神经元模型的确定仅仅确定了神经网络中各个个体的行为，但对整个网络的影响，还要结合其它神经元来考虑，这需要考虑神经元之间的连接方式，即拓朴结构 模式识别导论 武汉大学遥感信息工程学院 马洪超 前向网络 输出向输入反馈的前向网络 层内互连前向网络 全户联反馈网络 局部互连反馈网络 拓朴结构图 见武大教材 连接强度wi是可以修改的，如果wi0，则可以视为 删 除 该 元。根 据 经 验 来

3、修 改 连 接 强 度 为 学 习 规 则。神经网络中，最基本的学习规则为Hebbian规则，其它 都 可 以 看 做 是 它 的 变 种，其 基 本 思 想 是：如果一个单元ui从另一个单元uj处接收输入，而且两者 都是兴奋的，那么从uj到ui的权wij应该增强，用公式：模式识别导论 武汉大学遥感信息工程学院 马洪超 是由导师给定的标准值其中)(),()(),(ttwtohtttagwiijjiiij将上式简化：没有导师给定的标准范例值，且函数g和h只是和它们的第一个参数相关，就有最简单的形式：)()()(),()(),(tatttttagtowtohoawiiiijijjjiij而式中另一

4、个常用的变体是通代表学习速率其中模式识别导论 武汉大学遥感信息工程学院 马洪超 规则年提出的，称于这是由还有另一个变种学习规则此学习规则称为此时Grossberg1976Grossberg)()()()()(ijjiijjiiijwtotawtotattw人工神经网络的通用框架可总结为如下几个部分 1、处理单元集 一个处理单元的工作只是简单地从它的相邻单元接收输入值，对输入值作用函数后，计算输出值，再将输出值 模式识别导论 武汉大学遥感信息工程学院 马洪超 输送到它的相邻单元，由于大量单元同时进行，故运算是并行的。根据性质，单元可分为输入单元、输出单元和隐单元 2、激活状态 对时间t时神经网络

5、所出的状态进行标识，这可以用向量a(t)来表述，向量中的元素ai(t)代表t时单元ui的激活情况，激活值可以是离散的，也可以是连续的 3、单元的输出 单元的激活状态决定单元的输出，oi(t)=f(ai(t),f可以是等价函数、阈值函数或其它任何形式的函数 4、连接模式 通常我们认为每个单元为和它所连接的其它单元提供一定的输入信息，而每个单元的总输入可以简单地用来自 模式识别导论 武汉大学遥感信息工程学院 马洪超 其它单元的输入加权和来表示，权用wij来表示，代表从单元uj到ui的连接和强度，如果单元uj使单元ui兴奋（激活），则wij是一个正数，抑制为负数，0不起作用 5、传播规则 单元ui的

6、输出neti，一般用加权和来表示，写作netw*o 6、激活规则 根据单元的输入和当前状态，综合判断新状态，可以用函数F来表示，F可以是等价函数，这时a(t+1）net(t)w*o，可以是阈值函数或者其它函数。当用阈值函数时，输入超过该阈值为兴奋，否则为抑制 7、学习规则 见前述 模式识别导论 武汉大学遥感信息工程学院 马洪超 例子，用一个神经网络处理异或问题 输 入 输出 0 0 0 0 1 1 1 0 1 1 1 0 e d c a b-1-1 1 1 1 1 输入层 隐含层 输出层 单元的激活状态只有0、1，输出f取等价函数，即oiai，传播规则neti（t)wij*oi(t)，F阈值函

7、数，阈值为0.01，即如果neti(t)0.01，则ai1，否则ai0 模式识别导论 武汉大学遥感信息工程学院 马洪超 1,01.01*1,00.011*01.01)1(*11*0*10,1,00,1)2(0,01.00*0,00,00.01,0*0)1(*01*0*,00,00,01eeeddecceddccdbbdaadcbbcaacbabaeeeddeccedcbcdcdbbdaadcbbcaacbabaaowowonetaoaowowonetwowonetooaaaowowonetooaanetnetwowonetwowonetoofaa因此，时，当输入为故进而，所以均小于因为同理：是

8、等价函数，因此，又时，）当输入（该网络能正确解决 异或问题 模式识别导论 武汉大学遥感信息工程学院 马洪超 简单的线性网络（最简单的神经网络）模型特点如下：1、只包含两类单元：输入和输出单元 2、单元的激活值是任意实数，可正可负，不受限制 3、输出函数等价于激活值ai 4、输入层上的每个单元可以与输出层的所有单元相连，连接矩阵是正数，负数或零，分别对应兴奋、抑制和零连接 5、每个单元的新激活值等于net输入，也就是接收到的信号的加权和 a(t+1)net(t)w(t)o(t)w(t)a(t)模式识别导论 武汉大学遥感信息工程学院 马洪超 a b c d 5 2 1 则af5aa2abac 6、

9、线性模型的学习规则主要是Hebbian与dalta规则 规则好规则比用用们之间无任何干扰时，当输入为正交集，即它学习规则：的标准激活值的激活值单元的增量，学习速率，前者为：deltaHebbian)(deltajiiijiijjijijijijaatwutuawwtaw模式识别导论 武汉大学遥感信息工程学院 马洪超 a b c e w1 w4 d w2 w3 假设输入为：P1:aaabacad=1000 P2:aaabacad=0100 P4:aaabacad=0001 P3:aaabacad=0010 当权为w1=-1,w2=2,w3=1,w4=4时，对应的输出结果为t1e=-1,t2e=2

10、,t3e=1,t4e=4.这里知道了输入模式和输出结果，假设初始状态下权值均为0，现通过hebbian规则进行学习求正确的权值。学习速率设为0.5，用 来衡量权的正确性 412iieieatd模式识别导论 武汉大学遥感信息工程学院 马洪超 00150001500015050115014131211)(.)(.)(.)(.decebeaeatWatWatWatW11250022431.beatWWWW2050043213421WWWWWWWW,.,第一次学习 先学习p1和t1e，得到的结果为 然后学习p2和t2e得到 依次学习p3和t3e、p4和t4e，有 因此，我们得到 模式识别导论 武汉大学

11、遥感信息工程学院 马洪超 2501504321WWWW,.,.4321、p、p、pp35224501125125015022224321.)().()().(,.,.daaaaeeee0www0.5,w4321：，t、pt、pteee分别有以后和和和学习了443322p4w1,w2,w1,w2w0,www0.5w0,www1w0,www4321432134212431在这个权集下，对应输入模式 相应得到：第二次学习 得到和先学习e，t11p模式识别导论 武汉大学遥感信息工程学院 马洪超 4321、p、p、pp044112211412122224321)()()()(,daaaaeeee4w1,

12、w2,w1,w4321在这个权集下，对应 有：这时，我们得到了精确的权集，即 如果选用不同的 值，所得的权集准确度有所不同。一般选用较小的 值为好。但是，如果输入模式之间不是正交的，采用Hebbian规则学习得到的结果就令人不太满意。模式识别导论 武汉大学遥感信息工程学院 马洪超 1p2p3p4p2t5,t5,t2,t4w1,w2,w1,w4e3e2e1e43210wwww432150.ijijtaw 例 采用的线性模型同前例。假设输入模集为：1 0 -1 0 -1 0 0 1 0 -1 1 -1 -1 -1 -1 0 初始状态下，取，采用Hebbian规则学习：它不是正交的，但线性无关。对应

13、的权集及输出结果如下：模式识别导论 武汉大学遥感信息工程学院 马洪超 7.622)(5)(52)()(td0aaaa0wwww222241i2aieo4e3e2e1e4321ie4321、p、p、pp3.52)(1)(5)(1)(502)(00.5tatatataw2.52)(1)(5)(051)(2)(10.5tatatataw4e4b3e3b2e2b1e1b24e4a3e3a2e2a1e1a1第一次学习 学习了 四个模式以后 模式识别导论 武汉大学遥感信息工程学院 马洪超 0.5a9,a7.5,a2,a对应有：5w0.5,w3.5,w2.5,w52)(05)(1)(512)(00.5tat

14、atataw0.52)(1)(5)(1502)(1)(0.5tatatataw4e3e2e1e43214e4d3e3d2e2d1e1d44e4c3e3c2e2c1e1c3模式识别导论 武汉大学遥感信息工程学院 马洪超 4.950.5)2(9)5(7.5)(52)2(d2222110w1,w7,w5,w5w0.5,w3.5,w2.5,w432q432116.55d1a18,a15,a4,a24e3e2e1e50.5w0.5,w3.5,w2.5,w4321第二次学习 对应有：随着学习次数的增加，d越来越大。因此我们可以知道，用Hebbian规则对此模式集进行学习，在 的条件下所能得到的最佳权集为：

15、这时d=4.95 同样有：模式识别导论 武汉大学遥感信息工程学院 马洪超 jiiij)aa(tw7.62d0aaaa0wwww04e3e2e1e43211p04321wwww01ea0w1,w0,w1,w000)2(0.5)aa(tw11)(0)2(0.5)aa(tw000)2(0.5)aa(tw110)2(0.5)aa(tw43211d1e1e41c1e1e31b1e1e21a1e1e1如果采用delta规则学习：则 先学习，因为，所以 第一次学习 模式识别导论 武汉大学遥感信息工程学院 马洪超 2w1,w0,w3,w211)(50.5)aa(tw001)(50.5)aa(tw001)(50

16、.5)aa(tw21)(1)(50.5)aa(tw10110001)(1)(wawawawaa,p43212d2e2e42c2e2e32b2e2e22a2e2e142d32c22b12a2e2因为再学习4w1,w2,w3,w21)(1)5(0.5)aa(tw211)5(0.5)aa(tw21)(1)5(0.5)aa(tw001)5(0.5)aa(tw121)(1101)(3)(0wawawawaa。p43213d3e3e43c3e3e33b3e3e23a3e3e143d33c23b13a3e3得到然后学习模式识别导论 武汉大学遥感信息工程学院 马洪超 2.834)2(7)5(5)(52)2(d

17、4a7,a5,a2,a有p、p、p、p对应4w1,w4,w1,w002)2(0.5)aa(tw21)(2)2(0.5)aa(tw21)(1)2(0.5)aa(tw21)(2)2(0.5)aa(tw2401)(1)(21)(3)(1)(wawawawaa,p222214e3e2e1e432143214d4e4e44c4e4e34b4e4e24a4e4e144d34c24b14a4e4得学习第二次学习 都不变w,w,w,w故t5a:p4w1,w4,w1,w故0wwwwt2a:p43212e2e2432143211e1e1模式识别导论 武汉大学遥感信息工程学院 马洪超 1.731)2(4)5(5)(

18、53)2(d1a4,a5,a3,a对应的3w1,w2,w2,w故0w1,w1,w1,w4a:p3w2,w3,w1,w故1w1,w1,w0,w7a:p222324e3e2e1e432143214e4432143213e3 随着学习次数的增加，d值越来越小。虽然输入模式集不是正交的，但它是线性无关的，用delta规则可以学习得较理想的权集。线性模型最致命的弱点在于它不能解决非线性问题。我们就拿典型的非线性问题异或（XOR）来举例。模式识别导论 武汉大学遥感信息工程学院 马洪超 0ww0w*1w*11w1w*0w*11w1w*1w*00w*0w*0212112122121c b a w1 w2 对不

19、同的输入，得到四个式子 例子，异或问题 输 入 输出 0 0 0 0 1 1 1 0 1 1 1 0 模式识别导论 武汉大学遥感信息工程学院 马洪超 上面四个式子是不能同时成立的，因此线性模型不能解决异或问题。线性阈值网络 纯线性网络的缺陷可以通过添加非线性来解决，而最简单的非线性模型就是线性阈值网络。该模型个部分的组成如下：（）线性阈值单元是二值单元,它的激活值取0,1。（）它的输出函数是等价函数,即单元的输出值等于它的激活（）网络的连接矩阵是由正数和负数组成（）单元的激活规则是一阈值函数，当输入加权和 模式识别导论 武汉大学遥感信息工程学院 马洪超 大于某个阈值 时，单元的新激活值为，否则

20、为（）线性阈值网络的单层网络可以采用学习算法，而对于由线性阈值单元组成的多层网络，现在还没有找到通常情况合适的算法 感知机算法是最常见的一种线性阈值模型。但单层线性阈值模型还是不能解决异或问题。因为这时 i212112122121*1*1*0*1*1*00*0*0wwwwwwwwwwww同样不能成立！模式识别导论 武汉大学遥感信息工程学院 马洪超 但是如果我们在感知机中加入隐含单元，使之变成线性阈值单元的多层网络，就可以完成异或函数的计算如下图 a b c -2 d+1 +1 +1 +1 输出 隐单元d 输入 输输 入入 输出输出 0 0 0 0 1 1 1 0 1 1 1 0 XOR 模式识

21、别导论 武汉大学遥感信息工程学院 马洪超 其中d的阈值1.5，c的阈值0.5 由于输出函数是等价函数，所以每个单元。激活函数则是阈值函数。cddcbbcaacdddbbdaadbacccddcbbcaacdddbbdaadbawawawanet0a1.511110wawanet时1a0,a当(2)0a0.502)(01010wawawanet0a1.501010wawanet时0a0,a当(1)0a0.502)(11111wawawanet1a1.521111wawanet时1a1,a当(4)1a0.512)(01011wawawanet0a1.511011wawanet时0a1,a当(3)1

22、a0.512)(01110cccddcbbcaacdddbbdaadbacccddcbbcaacdddbbdaadbacc模式识别导论 武汉大学遥感信息工程学院 马洪超 反向传播网络（网络）、网络中有一层或者多层隐含层、单元的激活值可以是任意实数，通常给定min,max，取之间的一个实数、输出函数是等价函数，输出值等于单元的激活值，oi=ai 4、网络的连接权可正可负或者、通常网络单元的激活函数是它总输入的非递减可微函数。在实际应用中一般采用型函数：jibjaijwieenetFanetiii1111模式识别导论 武汉大学遥感信息工程学院 马洪超 中改变过程的连接权，可以在学习值永远为的单元之

23、间和一个激活可以看作单元它与权有类似的意义，相关的量是一个与单元这里ijiiijijiuubbawnet,、连接权的学习根据误差函数来估计当前权集下网络根据输入模式集得到的输出结果的好坏，然后设法找到一个权集使误差函数最小，误差函数：iiiatE2模式识别导论 武汉大学遥感信息工程学院 马洪超 i表示输出单元集中的某个单元ui，ti是ui应具有的理想状态，而ai是该单元的实际状态.为了使最小，使用梯度下降法，即当输入模式后先计算误差，然后修改每个权，使的该模式的误差梯度趋向它的最小值。权的改变量与误差的负导数成比例，即 ijijwEkw其中是比例常数。当激活函数是型函数时，有下面的结论：对应于

24、单元的性质不同（隐单元或输出单元），有不同的学习公式：jiijaw模式识别导论 武汉大学遥感信息工程学院 马洪超(1)当单元ui是输出单元时 iiiiinetFat(2)当单元ui是隐单元时 表示学习率输入的导数，是单元的激活函数对总收到的总输入，是单元这里iiijijijikkikiiinetFubawnetwnetF,上述是学习算法的一般公式 当采用公式 jibjaijwieenetFanetiii1111模式识别导论 武汉大学遥感信息工程学院 马洪超 为单元的激活函数时，我们有(1)当单元ui是输出单元时 iiiiiaaat1(2)当单元ui是隐单元时 kkikiiiwaa1从BP学习算

25、法中我们可以看到,这种方法实质上是有正向传播和反向传播两个过程。在第一个过程中,输入模式在网络中向前传播,依次计算出每个单元的激活值这样可得到输出单元的激活值。然后输出单元的激活值与标准输出作比较 模式识别导论 武汉大学遥感信息工程学院 马洪超 由针对输出单元的公式可产生每个输出单元的delta项。在第二个过程中,输出单元的delta项在网络中向后传播,这样根据针对隐单元的公式可递归计算出网络中每个单元的delta项。最后根据delta项和单元的激活值可对连接上的权作出修改。例子 5 4 3 1 2 W2 W3 w1 W4 W5 W6 输入单元 隐单元 输出单元 模式识别导论 武汉大学遥感信息

26、工程学院 马洪超 6544455333555555111,115waawaaaaateanet元，因此由于单元、是隐单由于是输出单元，因此21aa5t61 ww3b5b546355net4net3424134322113bawawnete11a,e11因此abawawnetbawawnet43先给定一个输入模式 和输出的理想结果，并给出 和 的初值，然后有：模式识别导论 武汉大学遥感信息工程学院 马洪超 555554444433333444244333143222232111131666456555355bb则bbbb则bbbb则bbww则wawww则wawww则wawww则wawww则wawww则waw1w6w3b5b 根据得到的 和 ，再给定输入模式集和相应的标准输出结果集，重复进行上面的计算，不断迭代，最后就能得到较好的权集使得对应的误差函数最小。