改进BP神经网络在模式识别中的应用及研究.pdf

《改进BP神经网络在模式识别中的应用及研究.pdf》由会员分享，可在线阅读，更多相关《改进BP神经网络在模式识别中的应用及研究.pdf（61页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、南京理工大学硕士学位论文改进BP神经网络在模式识别中的应用及研究姓名：周凌翱申请学位级别：硕士专业：模式识别与智能系统指导教师：曹国20100620硕士论文改进B P 神经嘲络在模式识别中的应用及研究摘要人工神经网络具有强大的非线性映射能力，已经被应用于模式识别、智能控制、图像处理以及时间序列分析等各种领域，它特有的自组织、自学习和高容错性等功能使得其在解决复杂的非线性问题时有独特的功效，成为国内外广泛关注的热点。本文首先详细介绍了应用神经网络进行模式识别的发展概况，通过与传统模式识别的比较，得出神经网络模式识别的优越性。针对已有的神经网络模式识别系统，本文介绍了该系统中使用最广泛的B P 神

2、经网络，通过对其关键技术及算法的研究，针对B P 算法的不足，提出了B P 算法的启发式改进，同时，通过对遗传神经网络模型及其算法进行分析和研究，针对遗传算法的主要缺陷介绍了几种常用的改进类型。本文结合遗传算法对B P 算法进行优化，建立了改进的G A B P 神经网络模型。最后，充分利用V C+和M A T L A B 两种语言的各自优势，进行混合编程，设计开发了基于G A B P 算法的遗传B P 神经网络模式识别系统，并投入实际应用。并利用该模型对两个实际的模式识别问题进行了模式分类训l 练和测试，结果表明G A，B P算法有效克服了网络训练时容易陷入局部极小值，导致网络训练失败的缺陷，

3、提高了系统的泛化能力。关键词：模式识别，人工神经网络，B P 算法，遗传算法A b s t r a c tA b s t r a c t硕上论文A r t i f i c i a lN e u r a lN e t w o r kh a sg r e a tn o n l i n e a rm a p p i n ga b i l i t ya n di th a sb e e nw i d e l yu s e di nm a n yf i e l d ss u c ha sP a t t e r nR e c o g n i t i o n，a r t i f i c i a lc o n

4、 t r o l l i n g，i m a g ep r o c e s s i n g，t i n a es e r i e sa n a l y s t H a v i n gS Om a n ys p e c i a lf u n c t i o n sl i k es e l f-o r g a n i z a t i o n，s e l f-s t u d y i n ga n df a u l t t o l e r a n t，i th a sp a r t i c u l a re f f e c t sw h e np r o c e s s i n gc o m p l

5、i c a t e dn o n l i n e a rp r o b l e m s，a n di th a sb e e nt h eh o t s p o ta th o m ea n da b r o a d T h i st h e s i sf i r s ti n t r o d u c e st h ed e v e l o p m e n to fp a t t e r nr e c o g n i t i o nu s i n gA r t i f i c i a lN e u r a lN e t w o r ki nd e t a i l st og e tt h es

6、 u p e r i o r i t yo fN e u r a lN e t w o r kR e c o g n i t i o no v e rt r a d i t i o n a lp a t t e mr e c o g n i t i o nm e t h o d s T h e no nt h eb a s i so fe x i s t i n gN e u r a lN e t w o r kR e c o g n i t i o ns y s t e m，t h et h e s i si n t r o d u c e st h eB PN e u r a lN e t

7、 w o r k，w h i c hi sm o s tw i d e l yu s e di nt h es y s t e m B ys t u d y i n gt h ec r i t i c a lt e c h n o l o g ya n da l g o r i t h ma n df o c u s i n go nt h ed i s a d v a n t a g eo fB PA l g o r i t h m，w eb r i n go u tt h eh e u r i s t i ci m p r o v e m e n to fB PA l g o r i t

8、h m M e a n w h i l e，b ya n a l y z i n ga n ds t u d y i n gt h eG e n e t i cB Pm o d e la n di t sa l g o r i t h m，w ei n t r o d u c es e v e r a lc o m m o nt y p e so fi m p r o v e m e n t sa i m i n ga tt h em a i nd e f e c t i o no fG e n e t i cA l g o r i t h m T h i st h e s i si m p

9、r o v e st 1 1 eB PA l g o r i t h mc o m b i n e dw i t hG e n e t i cA l g o r i t h ma n de s t a b l i s h e st h em o d i f i e dG A B PG e n e t i cA l g o r i t h mM o d e l F i n a l l y b yt a k i n ga d v a n t a g eo ft h et w op r o g r a m m i n gl a n g u a g e s，V C+a n dM A T L A B，t

10、 h i st h e s i sd e s i g n st h eG e n e t i cB PN e u r a lN e t w o r kR e c o g n i t i o nS y s t e mb a s e do nt h ep r o p o s e dG A B Pa l g o r i t h ma n dp u t si ti n t oo p e r a t i o n T h eR e c o g n i t i o nS y s t e mh a sb e e nu s e dt oc a r r-yo nt r a i n i n ga n dt e s

11、t i n go ft w oa c t u a lp a t t e r nr e c o g n i t i o np r o b l e m s T h ee x p e r i m e n t a lr e s u l t si n d i c a t et h a tt h eG A B PG e n e t i cA l g o r i t h mc a nd e a lw i t ht h ep r o b l e mo ft h en e t w o r kt r a i n i n gf a i l u r ed e f e c t i o nb e c a u s eo f

12、t h ep a r t i a lm i n i m u md u r i n gt h en e t w o r kt r a i n i n g，a n dc a ni m p r o v et h eg e n e r a l i z i n ga b i l i t y K e yW o r d s：P a t t e r nR e c o g n i t i o n,A r t i f i c i a lN e u r a lN e t w o r k，B PA l g o r i t h m，G e n e t i cA l _ o o r i t h mon声明本学位论文是我在

13、导师的指导下取得的研究成果，尽我所知，在本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文中作了明确的说明。研究生签名：j 虱垄勤油年1 c f 月功日学位论文使用授权声明南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密论文，按保密的有关规定和程序处理。研究生签名：同历釉刚活粕加矽年占月媚硕士论文改进B P 神经网络在模式识别

14、中的应用及研究1 绪论迄今为止，模式识别技术在社会的各行业中都拥有广泛的应用。例如：(1)对各种嵌入式系统如信息家电、手机、P D A 等中进行人性化处理，进行语音识别、指纹识别或汉字识别；(2)自动化仪器如自动搬运机、自动售货机、监视装置等；(3)医疗仪器上，如X 射线摄像、样本检查分析、肠镜摄像、胃镜等；(4)在工业自动检测上的如零件尺寸的动态检查、包装、产品质量监测、形状识别、表面缺陷检测等；(5)人工智能方面有无人自动驾驶、机器入视觉、邮件自动分检等；(6)军事上有卫星侦察、微光夜视、航空遥感、目标跟踪、导弹制导、军事图像通信等。随着人们对自动化智能系统要求的不断提高以及相关技术和器件

15、的发展，模式识别的应用范围变得越来越广泛，人们不仅要求自动化系统能够代替人类完成繁重单调或危险环境下的工作，更要求模式识别系统能使人们的生活更加方便和舒适，如智能机器人、安全防伪系统、智能卡等等的出现。因而，模式识别技术所面临的挑战除了要求解决大数量模式类的识别和复杂畸变不变性识别的传统难题，而且开始了更复杂的带有感性色彩的识别，诸如运动员训练及姿势校正，根据人走路的姿势识别人，对人的嘴形变化甚至面部表情的识别等等。人工神经网络(A r t i f i c i a lN e u r a l N e t w o r k，A N N)是当今最重要的模式识别技术，随着神经网络理论的不断发展，将会带来

16、模式识别技术的提高和突破，从而进一步推动模式识别技术在各行各业中的应用，推动社会的进步。因此，开展人工神经网络在模式识别技术领域的研究和运用具有很大的潜力，同时也具有很大的魅力。1 1 人工神经网络模式识别概述模式识别的任务是把模式正确地从特征空间映射至类空间，或者说是在特征空间中实现类的划分。模式识别的难度与模式在特征空间中的分布状况密切相关，假如特征空间中的任意两个类可以用一个超平面来区分，那么该模式是线形可分的，这时的识别比较容易。但实际应用中，模式的分布往往是很不规则的，这就要求所用的分类器能够在模式空间里形成各种非线性分割平面。其中，神经网络是解决非线性平面分割的较好方法。利用神经网

17、络进行模式识别，首先需要根据具体模式识别问题，确定好使用的神经网络；然后用一组分别代表不同类别的训练样本对神经网络进行训练，来修改神经网络的权值和结构；最后用测试样本对神经网络测试其识别效果，如果达到实际要求的标准，就可以利用该神经网络进行模式识别了，如果达不到，则仍需要重新进行训练。1 绪论硕士论文1 I 1 神经网络模式识别的发展与现状模式识别是信号处理与人工智能领域的一个重要分支，它己发展成为-I -J 独立的学科，并成为当代高科技研究及应用的重要领域之一。模式识别理论的发展与计算机科学的发展是密不可分的，人们在研究中发现计算机科学随着电子技术日新月异的发展，虽然取得了巨大的成就，但它对

18、直接感知声音、文字、图像等外界信息则十分困难。因此，需要以神经网络、人工智能为核心开辟新的研究领域来解决这一难题。作为一门活跃的边缘性交叉学科，人工神经网络的研究与应用己成为人工智能、认识科学、非线性动力学等相关专业的热门课题。人工神经网络的应用涉及模式识别、联想记忆、自动控制、信号处理、计算机图形、优化、诊断等众多方面，取得了诸多令人瞩目的进步。技术的进步包含两点内容：概念和实现方式。首先，必须有描述问题的概念，并依据这些概念明确要解决的问题：这要求概念包含一种简单的思想并能引入相应的数学描述。但仅仅靠概念及其数学描述还不足以使新技术变成熟，除非能够通过某种方式来实现其基本思想。人工神经网络

19、的发展就包含了概念创新与实现方式的进步，尽管其历程并非一番风顺1 1 J。神经网络领域研究的背景工作始于1 9 世纪末。它源于神经生理学、物理学、心理学的跨学科研究。代表人物有H e r m a nV o nH e l m h o l t s、E r n e s tM a t h 和I v a nP a v l o v，早期的研究工作主要注重于学习、视觉与条件反射等基础理论。现代人工神经网络的研究起源于上个世纪4 0 年代初期，W a r r e nM c C u U o n 和W a l t e rP i t t s 从理论上证明了人工神经网络可以计算任何算术和逻辑函数；他们还提出了M P

20、人工神经元数理模型，人工神经网络的研究以此为标志拉开序幕。1 9 4 9 年D o n a l dH e b b 从心理学的角度提出了连接权值强化的H e b b 学习法则，认为神经元之间突触的连接强度是可变的，这种可变性是神经网络学习与记忆的基础；该法则为构造具有学习能力的人工神经网络模型奠定了基础，至今仍对神经网络有着相当重要影响。1 9 5 2 年H o d g l d n 和H u x l e y 建立了长枪乌贼巨大轴索非线性动力学微分方程，方程可以用来描述神经膜中发生的诸如自激振荡、混沌和多重稳定等非线性现象，因此具有重大理论价值。人工神经网络的第一个实际应用于1 9 5 8 年实现

21、。F r a n kR o s e n b l a t t 提出了感知器网络及其联想学习规则，他与同事构造了一个感知器网络并将其应用于模式识别。试验的成功激起了许多人对人I-i*经网络的研究兴趣，掀起了研究人工神经网络的第一次高潮。1 9 6 2 年B e r n a r dW i d r o w 和T e dH o 型3 J 提出了自适应线性网络模型(A D A L I N E)，并提出了网络学习新知识的方法。神经网络的研究进入了一个新的高潮。遗憾的是R o s e n b l a t t 和W i d r o w 的网络模型都存在固有局限性，二人始终未能找到能训练更为复杂网络的新学习算法。

22、硕士论文改进B P 神经网络在模式识别中的应用及研究受到当时神经网络理论研究水平的局限以及冯诺依曼式计算机发展的冲击等因素的影响，神经网络的研究陷入了低潮。尽管如此，少部分有识之士依然继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法，为日后人工神经网络的复兴奠定了基础。例如，1 9 7 2 年，T e u v oK o h o n e n 提出了自组织神经网络S O M(S e l f-O r g a n i z i n gf e a t u r eM a p)；1 9 7 6 年，S t e p h e nC n o s s b e r g 提出了著名的自适应共振理论A R

23、T(A d a p t i v eR e s o n a n c eT h e o r y)，并建立了自适应共振网络；1 9 8 0 年，K u n i h i k o F u k u s h i m a 提出了新认知机(N e o c o g n i t r o n)。到了1 9 8 0 年代，随着个人计算机与工作站计算能力的急剧增强，两个新理论的提出对人工神经网络的复兴有重大意义。1 9 8 2 年，物理学家H o p f i e l d 提出的一种用于联想记忆和优化计算的反馈型网络模型，由于引入了“能量函数”的概念，使得网络走向具体的电路实现得到了保证，从而大大推动了神经网络研究的发展，

24、再一次唤起人们对神经网络研究的兴趣1 4 J。1 9 8 6 年，D a v i dR u m e l h a r t 和J a m e sM c C l e l l a n d 等出版了(P a r a l l e lD i s t r i b m e dP r o c e s s i n g)一书，从中提出了并行分布处理(P D P)理论，并对具有非线性连续转移函数的多层前馈网络的误差反向传播算法一一B P 算法(B a c kP r o p a g a t i o nA l g o r i t h m)进行了详尽的阐述和分析，解决了长期以来人工神经网络没有有效的权值调整算法问题。他们从实

25、践上证明了人工神经网络拥有强大的计算能力，B P 算法从此成为迄今为止最引人瞩目、应用最为广泛的人工神经网络算法之一，B P 神经网络也成为人工神经网络最为精华的组成部分。1 9 7 3 年，W a t a n a b e 提出了模式识别最直观的概念，也就是使用模式子空间的概念来设计不同类别对应的子空间，由不同类别聚类的子空间来实现模式识别。7 0 年代末，K o h o n e n 提出了学习子空间法(L S M)，0；a 在此基础上又给出了平均学习子空间方法(A L S M)【5 J，从而使子空间模式识别形成了较完整的体系，并将这种方法成功地应用在语音音素识别实验中。实际上，学习子空间方法

26、是一种无教师学习的神经网络模式识别方法。1 9 9 1 年，L X u 与E O i a 等人用大量并行结构的神经元来实现了此方法，从而将学习子空间方法与硬件结构形式的神经网络联系起来，使这项工作走向实用化【6】。文献 3】中提出的自适应线性元件网络模型，就是为当时研究大脑的自适应学习系统而提出来的。由于6 0 年代后期神经网络的研究陷入低潮，因此，W i d r o w 将这一模型理论主要用于自适应信号处理的研究。8 0 年代中后期，人们发现这些理论实际就是神经学习系统的基本法则，并完全可以解决自适应模式识别问题。7 0 年代，A n d e r s o n 提出的盒中脑模型(B S B)，

27、K o k o n e n 提出的自组织特征映射网络模型，G r o s s b e r g 等提出的自适应共振理论(A R T)等等都为神经网络模式识别理论提供了进一步的理论依据。可以说，几乎所有现有的神经网络物理模型都在模式识别领域取得了成功的应用。神经网络理论所得到的进步都会为模式识别理论的发展1 绪论硕上论文带来鼓舞，与此同时，模式识别理论的深入研究和进步又会大大推动神经网络理论的发展。它们两者的关系是相互影响、相互渗透的。目前，国际上人工智能、神经网络都是热门的课题，这些理论的发展都会给模式识别理论带来新的希望。因此，开展神经网络模式识别理论的研究具有相当重要的价值和意义。1 1 2

28、 神经网络模式识别方法与传统模式识别方法的关系神经网络模式识别与传统的模式识别在很多方面都是相互关联的，这种关联不仅在于它们都是试图从样本数据出发完成模式识别问题，更重要的是它们在方法上具有一定的等价关系。神经网络拥有强大的非线性映射能力，它能够把在低维高度非线性的输入空间变换到由其隐含层构成的高维输出空间，在这个高维空间中可以较容易找到合适的判决表面，甚至变得线形可分。这与F i s h e r 线性判别准则相对应，可以看作是F i s h e r 线性判别的非线性多维推广。F i s h e r 线性判别分析就是找出一种线性变换，并使变换后的F i s h e r 准则函数最大。而线性的多

29、维感知机，在其隐含层输出的空间中就可以实现该准则函数最大。当训练样本数趋于无穷大时，以使目标训练的多层感知机的输出为均方误差最小，在统计意义上是对样本贝叶斯后验概率的最小均方误差估计。1，1 3 神经网络模式识别的特点与传统的模式识别算法相比，人工神经网络有很多的不同和优势。它具有以下特点：(1)函数逼近能力。神经网络的输入与输出可以看作一个函数映射。神经网络通过不断地调整节点权值，实现了在最小二乘误差条件下输入与输出的最佳逼近。(2)大规模并行协同处理能力。传统的计算机对信息方式的处理为串行处理。这样处理的速度再快，处理的信息也是有限的。计算与存储被分成完全独立的两部分。因此，存储器和运算器

30、之间的通道就成为了计算机运算的瓶颈，因而大大地限制了它的运算能力。而神经网络中的神经元之间有着大量的相互连接，所以信息输入之后可以很快地传递到各个神经元之间进行同时处理(并行处理)。(3)自学习、自组织性。目前基于符号推理的专家系统还不具备自学能力，即不能在运算过程中自我完善、发展和创新知识。系统的功能取决于设计者的知识和能力。神经网络具有很强的自学习能力，可以在学习过程中对自我进行不断完善和发展。(4)联想记忆功能。神经网络可以看成是包含大量子系统的大系统，系统的最终行为完全由它的记忆功能决定，初态可以认为是给定有关记忆的部分信息。(5)具有很强的鲁棒性和容错性。在神经网络中，信息的存储不像

31、传统的计算机那样存在存储器的某一特定位置，而是分布式地存在整个网络中相互连接的权值上，4硕上论文改进B P 神经网络在模式识别中的应用及研究这就使它比传统的计算机具有较高的抗毁性【7】【剐。总之，人工神经网络对人的形象思维能较好地模拟，具有大规模并行协同处理能力、较强的容错与联想能力、较强的学习能力。它是个大规模自组织、自适应的非线性动力系统。1 2 本文研究的内容、目的与组织结构本文主要研究B P 神经网络在模式识别中的应用，探讨B P 算法与遗传算法进行结合提高系统模式识别能力的方法，其主要目的在于提出个改进的结合遗传算法的B P 算法，为提高模式识别能力提供个新方法。具体内容与组织如下：

32、第l 章绪论，本章分析了模式识别的神经网络进行模式识别的方法，比较它与传统方法的异同，指出了神经网络模式识别的特点与优越性。最后，对本课题主要的研究内容和本文的组织结构做出简要的介绍。第2 章本章详细研究了神经网络模式识别的理论基础，说明了其实现的可行性。讨论了神经网络的生物基础、神经网络的模型结构及构成和其用于模式识别的可行性理论与方法。第3 章本章通过对多层前馈网络中应用最广泛的B P 算法的关键技术及其算法的研究，针对B P 算法的不足，提出了B P 算法的三种提高其训练速度的改进方法。第4 章本章通过对遗传算法的研究，针对遗传算法的限制与不足进行分析，介绍了遗传算法的几种常用改进类型。

33、第5 章本章对遗传算法改进B P 神经网络的优化策略进行深入的分析探索，提出了结合遗传算法的B P 算法_ G A B P 算法，并建立了相应的神经网络模型。第6 章本章针对G A B P 算法相应的模式识别系统模型，进行软件开发。探讨了开发过程的几个关键问题，介绍了整个系统，并对关键功能模块进行了说明。利用开发的软件对两个实际的模式识别问题进行了模式分类训练和测试，结果表明G A B P算法有效克服了网络训练时容易陷入局部极小值，导致网络训练失败的缺陷，提高了系统的泛化能力。第7 章总结全文的研究成果，并对今后的研究问题和方向提出了展望。2 人_ 亡神经网络理论摹础硕：l：论文2 人工神经网

34、络理论基础2 1 生物学启示在复杂的人脑里，包含着约千亿个神经细胞和胶质细胞。其中8 0 为胶质细胞，它们主要负责供应脑的营养工作。其余的神经细胞总数大约为1 0 个，它们是神经系统的结构和功能单元，因此又称为神经元【9】，大脑皮层神经元的基本结构如图2 1 所示。神经元负责接收或产生信息，传递和处理信息。树突细胞核2 1 神经元结构图人工神经元的研究源于脑神经元学说，神经元是由细胞体、树突与轴突组成。树突是树状的神经纤维接收网络，它相当于细胞的输入端，负责将电信号传递到细胞体。细胞体是神经元的主体，负责对输入信号进行整合并进行处理。轴突是单根长纤维，它把细胞体产生的电化学信号传到其它神经元，

35、相当于细胞体的输出端。一个神经细胞的轴突与另一个神经细胞树突的结合称为突触。神经元的排列和突触的强度(由复杂的化学过程决定)确定了神经网络的功能。一些神经网络结构是与生俱来的，而其它部分则是在学习的过程中逐渐形成的。在学习的过程中，将会陆续产生一些新的连接，同时一些连接则会消失。神经结构在整个生命期内不断地进行改变，以适应环境。例如，现在已经确认，新记忆的形成是通过突触强度实现的，认识一位新朋友面孔的过程中就包含了各种突触的改变过程。一般认为，包括记忆在内的所有生物神经功能，都存储在神经元及其之间的连接上。学习被认为是在神经元之间建立新的连接或对已有的连接进行修改的过程。既然我们已经对生物神经

36、网络的工作机理有了一定的了解和认识，那么能否利用一些简单的人工“神经元”构造一个小系统，然后对其训练，从而使它们具有一定的有用功能呢?6硕士论文改进B P 神经网络在模式识别中的I 煎用及研究本文正是基于生物神经网络的工作机理进行人工神经网络的构造，并对其进行训练，使其具有模式识别的能力。2 2 神经元模型2 2 1 传统神经元模型不论什么样的神经网络模型，神经元都是其一个最小的信息处理单元。到目前为止，人们已经建立了数百种人工神经元模型。但最常用的神经元模型仍然是最早提出的M P 模型【l0 1。神经元是一个多输入单输出的信息处理单元，而神经网络就是由多个神经元加权连接而形成的网络。虽然单个

37、神经元只能进行非常简单的信息处理，但多个神经元连接而成的网络就具有了强大的计算能力。神经元神经网络计算表现为神经元之间的互相作用，因此，通过改变神经元之间的连接方式和连接强度就可以将神经网络的计算效果改变，其中，两个神经元之间的连接强度值由一个实数表示，该实数称为连接权值。神经元之问的连接形式和连接权值通常由神经网络学习过程决定。由于神经元类型、神经元连接方式和学习方式不同，设计形成了各种不同的神经网络模型。人工神经元是对生物神经元的一种模拟和简化，它是神经网络的基本处理单元。图2 2 给出了传统人工神经元结构模型图】，一般由三部分组成：图2 2 传统神经元结构模型(1)一组连接，对于第f 个

38、神经元，x，为其第，个输入信号(表示互连神经元的刺激以及外界的直接刺激)，各连接线上的权值W，表示连接强度，权值为正表示激活，为负表示抑制；(2)-个求和单元罗，用于求取各输入信号的加权和，即把输入信号的作用结合起来，形成它们的总效果，称为净输入(N e tI n p u t)；(3)一个功能函数厂(，c)，该功能函数起映射作用并将神经元输出幅度限制在一定范围内(一般限制在(o 1)或(一1，+1)之间)。以上作用可分别用下列数学式表达：硕士论文刀，：窆k x，)(2 1)j=lY，=厂0-0，)(2 2)其中，X，为神经元的输入信号，胛j 为净输入，0，为阀值，Y，为神经元的输出信口丐。2

39、72 功能函数图2 2 中的功能函数厂(宰)可以是玎的线性或非线性函数。可以用特定的传输函数满足神经元要解决的问题。功能函数的形式多种多样，在解决实际问题时，根据不同的实际需要，可以使用不同的线性或非线性函数。比较常用的函数形式有以下三种：(1)硬极限函数：当函数的自变量小于0 时，函数的输出为O；当函数的自变量大于或等于0 时，函数的输出为1。如图2 3(a)所示。(2)线性函数：线性传输函数的输出与输入相等。如图2-2(b)所示(3)对数S 形函数：该函数的输入在(，+)之间取值，输出则在0 到l 之间取值，其数学表达式为：a=l(1+e m)，如图2 3(c)所示。J。+l07-1口=h

40、 a r d l i m(n)(a)H，。7077一-1a=p u r e l i n(n)(b)+l-，|一一一O7-1a=l o g s i g(，7)，(c)图2 3 常用传输函数2 2 3 多输入神经元模型通常，一个神经元有多个输入。具有R 个输入的神经元结构如图2 4 所示。P JP 2P R图2 4 多输入神经元结构模型硕论文萆递B P 种H 镕在模武识别。的m 月驶研究在该模型中，输入P i,P ，P 分别对应极值娅阵的元素w，w lR，该神经元存在一个偏置值b，它与所有输入的加权和累加，从而形成传输髓数，的净输入”：=”j f p f+”2 P?+”P，A+6(2 3)“式23

41、”可以写成矩阵形式：月=叭1 6(24)从而得到多输入神经元的数学表达式为：a=厂咿已+6J(25)为杈值，b 为偏置值，F 为输入，为传输函数，n 为净输入。其中，是只有一行元素的矩阵，p 是只有列元素的矩阵，b，一，d 为标量。为了便于用数学矩阵工具来描述神经网络，本文最用常规的方法表示权值矩阵元素的下标。权值矩阵下标的行下标表示权值相应连接所指定的目标神经元编号，列下标表示权值相应连接的源神经元编号。例如：。的胄义为从第四个神经元到第一个神经元的连接。我们可以绘制一个由多个神经元组成的删络，每个神经元都有多个输入。并且，一个网络还可以有多层神经元，然而当一个网络的神经元特别多时，神经元之

42、间的连接将十分复杂，不便于进行分析，而且对连接的详细描述也会掩盖网络的主要特征，因此，本文将采用简化符号柬表示神经元。多输入神经元的简化符号表示如图2 5 所示。图2 5 具有R 个输入的神经元的倚化符号表示在该圉巾，左边垂直的实心条表示输入向量P，P 下面的变量丑表示P 的维数，也即输入是由尺个元素组成的一维向量。这些输入被送入权值矩阵W，阡为1 行尤列。常量1 则作为输入与标量偏置值6 相乘。是传输酮数f 的净输入，它是偏置值b 与矿。的和。这种情况下，神经元的输出d 是一个标量。如果网络有多个神经元，那么网络输出则是一个向量。2,3 神经网络结构神经元和神经网络的关系是元素与整体的关系。

43、神经元的结构非常简单，工作机理也不深奥；但是用 自经元组成的神经网络却很复杂其功能也十分奥妙。通常所说92 人工种经嘲络理论基础硕士论文的神经网络结构，主要是指它的连接方式。从拓扑结构上考虑，神经网络属于以神经元为节点，以节点间的有向连接为边的有向图。其结构从大体上可分为层状与网状两大类：层状结构的神经网络由若干层组成，每层中有一定数量的神经元，相邻层中的神经元为单向连接，同层内的神经元不连接；在网状结构的神经网络中，任何两个神经元之间都有可能双向连接。为了进一步了解网络结构的组成，我们先对多个神经元组成的单层结构的神经网络进行讨论。该神经网络的结构特点是：每个神经元都可以接受外来输入，然后对

44、输入进行有效处理，最后将结果输出，神经元相互之间没有任何连接，互不影响。由S 个神经元组成的单层结构如图2 6 所示：P tP zP 3：P R图2 6S 个神经元组成的单层网络可以看出该层包括权值矩阵矽、累加器、传输函数厂、偏置值向量b 和输出向量口。输入向量P 的每个元素均通过权值矩阵形和每个神经元相连。每个神经元有一个累加器、一个偏置值b，、一个传输函数厂和一个输出a，。将所有神经元的输出结合在一起，可以得到一个输出向量口。输入向量通过如下权矩阵进入网络：W=W 1 2W 2 2：W s。2(2 6)如前所述，矩阵形中元素的行下标表示该权值相应连接输出的目标神经元，而列下标表示该权值相应

45、连接的输入神经元。这样可以将S 个神经元组成的单层网络用数学形式表达如下：口=眈+6)(2 7)1 0R月足；顿论文a 避B P 神经月络在樽武识中的用研究为S x R 矩阵，R 为每个神经元的输入个数，为网络的输八向量，口和b 是长度为s 的向量。由此得到具有S 个神经元、R 个输入的单层网络的简化符号如图27所示。图2 7S 个神经元组成的单层网络简化表示典型神经网络一般具有下列几种网络结构：(1)前馈网络(前向网络)。前馈网络一般包括许多层，其特点是只有前后相邻两层之间的神经元相互间存在连接，各，p 经元之间不存在反馈。每个神经元可以从前一层接收多个输入，而只有个输出送给下一层的各神经元

46、。三层前馈网络分为输入层、隐台层与输出层。在前馈网络中有计算功能的节点称为计算单元，而输入节点无计算功能。(2)反馈厢络。反馈网络从输入层到输出层有反馈，即每个节点可同时接收外加输入和来自其它节点的反馈输入，其中也包括神经元输出信号引回到本身输入构成的自环反馈。这种网络结构中，每个节点都表示一个计算单元。0)相互结合型网络。这种网络在任意两个神经元之间都可能存在连接。H o p f i e l d网络和B o l t z m a n 机均属于这种类型。在无反馈的前向网络中，信号一旦通过某个神经元，该神经元的处理过程就结束了。而在相互结合网络中，信号要在神经元之问反复传递多次，网络处于种不断改变

47、状态的动态之中。从某初试状态开始，经过若干次的变化，才会达到某种平衡状态。根据网络的结构和神经元的特性网络的运行还有可能进入周期振荡平衡状态I】q。2 4 用于模式识别的神经网络模型2 4 1 神经阿络模型目酊，神经网络已有几十种不同的模型。人们按不同的角度对神经网络进行分类通常可按5 个原则1 1”进行神经网络的归类：(1)按照网络的结构区分，可分为前向网络和反馈网络；(2)按照学习方式区分，可分为有教师学习和无教师学习网络：(3)按照网络性能区分，可分为连续型和离散性网鲻。随机型和确定型网络：2 人工神经网络理论基础硕士论文(4)按照突触性质区分，可分为一阶线性关联网络和高阶非线性关联网络

48、；(5)按对生物神经系统的层次模拟区分，可分为神经元层次模型，组合式模型，网络层次模型，智能型模型和神经系统层次模型。通常，人们考虑较多的是神经网络的互连结构。一般而言，神经网络有分层网络，层内连接的分层网络，互连网络，反馈连接的分层网络等4 种互连结构。在人们提出的几十种神经网络模型中，人们沼的较多的是H o p f i e l d 网络、K o h o n e n 网络、B P 网络和A R T(自适应共振理论)网络。(1)H o p f i e l d 网络是最典型的反馈网络模型，它是目前研究得最多的模型之一。H o p f i e l d 网络是由非线性元件构成的全连接型单层反馈系统，

49、它由相同的神经元构成，并且是不具学习功能的自联想网络，它需要对称连接，这个网络可以完成制约优化和联想记忆等功能。(2)K o h o n e n 网络是典型的竞争型神经网络。它通常是由输入层(模拟视网膜神经元)和竞争层(模拟大脑皮层神经元，也叫输出层)构成一个两层网络，神经元之间存在以“墨西哥帽”形式进行侧向交互的功能。因而，在输出层中，神经元之间有近扬远抑的反馈特性，从而使K o h o n e n 网络可以作为模式特征的检测器。(3)B P 网络是前向传播(B a c kP r o p a g a t i o n)网络。它是一种多层前向网络，采用了最小均方差学习方式。在手写字体的识别、文语

50、转换、语音识别、图像识别以及生物医学信号处理方面已有实际的应用，是一种最广泛应用的网络。B P 网络需有教师训练。(4)A I 玎网络是一种自组织网络模型。它是一种无教师学习网络，能够较好地协调适应性、稳定性和复杂性的要求。在A R T 网络中，通常需要两个功能互补的子系统相互作用，这两个子系统称为注意子系统和取向子系统。A R T 网络主要应用于模式识别，它的不足之处在于对转换、失真和规模变化较为敏感。2 4。2 神经网络的学习方式神经网络的学习也称为训练，是通过神经网络所在环境的刺激作用调整神经网络的权值和阈值，使神经网络对外部环境做出反映的一个过程。能够从环境中学习并在学习中提高自身性能