神经网络用于模式识别的几种主要方法及比较.pdf

《神经网络用于模式识别的几种主要方法及比较.pdf》由会员分享，可在线阅读，更多相关《神经网络用于模式识别的几种主要方法及比较.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经网络用于模式识别的几种主要方法及比较Several Main Methords and Their Comparison of Neural Network in Pattern2recognition许延伟3 刘希玉XU Yan2weiLIU Xi2yu摘 要 神经网络的一个主要应用就是模式识别,本文主要讨论了用于模式识别的几种有代表性的神经网络类型及其学习或设计规则,对其优缺点进行了简要分析。关键词 神经网络 模式识别 人工神经网络AbstractOne of the main methods in pattern-recognition is neural networks.This

2、 paper discussed several kindsof typical neural networks used in the pattern-recognition and their learning algorithms,and have carried on brief anal2ysis to its advantages and disadvantages.KeywordsNeural networkPattern2recognition3 山东师范大学信息管理学院 山东 济南 2500141 引言人工神经网络,是一种基于生理学上的神经网络理论抽象化的系统模型。它是由大量

3、的基本单元 神经元通过极其丰富的相互联结而构成的非线性动力学系统。目前主要应用于模式识别、组合优化、过程控制等方面。模式识别就是通过计算机用数学技术方法来研究模式的自动处理和判读。我们把环境与客体统称为“模式”。2 模式识别模式可以理解为一组特征,在计算机中就是一组向量或数组。Pi(i=1,p)是一组模式的集合,模式识别的任务就是把它们分到一组类别的集合中:Tj(j=1,t)。其中每一个Pi都是特征值向量。我们可以把其写成一个二元组的形式:Pi,ti(i=1,p),如果ti=Tj,则表示Pi属于类别Tj。例如,一个分类器需要识别传送带上的水果是苹果还是桔子,利用三个传感器获取水果的三个特征:P

4、=外形 质地重量。一个标准桔子可表示为P1=1-1-1,一个标准苹果可表示为P2=1 1-1,如果用1表示桔子,-1表示苹果的话,则t1=1,t2=-1。3 人工神经网络人工神经网络技术的出现为处理各种模糊的、数据(或知识)不完全的、模拟的、不精确的模式识别问题提供了一个全新的途径。人工神经网络,尤其是前馈型神经网络,在信息处理中最典型,最有希望的应用领域就是模式识别。作为神经网络的最初模型 感知机模型,就是为模式识别提出来的。神经网络通过自组织或学习训练而具有强有力的模式识别能力,这使得基于神经网络的模式识别系统与传统的模式识别系统相比,表现出明显的优点。图1图1是单个神经元的示意图,神经元

5、的输出按下式计算:a=f(WP+b)。多个神经元按层组成网络的形式,如图2 网络的输出可以表示为:a3=f3(W3f2(W2f1(W1P+b1)+b2)+b3)。下面主要详细讨论三种主要的神经网络:前馈网络(以感知机为代表)、竞争网络(以Hamming网络为代表)以及递归联想存储网络(以Hopfield网络为代表)。4 前馈网络与有监督的学习前馈网络主要用于有监督的学习,以感知机为代表。在有监督学习中学习规则由一组描述网络行为的实例集合(训练集)给出:Pi,ti(i=1,p)。其中Pi为网络的输入,ti为相应的正确输出。当提供给网络输入后,网络应根据目标输出调整权值和偏置值,从而使网络的实际输

6、出逐渐接近目标输出。4.1 单层感知机及其学习规则单层感知机是20世纪50年代末,由Frank Rosenblatt和其他几位研究人员提出来的。Rosenblatt的主要贡献在于引入了用于训练神经网络解决模式识别问题的学习规则,并证明了其收敛性问题。研究与探讨信息技术与信息化1202005年第4期图2单层感知机网络的一般结构如图3所示:该网络的输出由下式给出:a=hardlim(WP+b)。其中传输函数hardlim的定义为:a=hardlim(n)=1,如果n00,其他。如果是一个神经元,则把输入向量分为两类,多神经元感知机则可以将输入分为多类。图3单层感知机的学习规则为:Wnew=Wold

7、+ePT和bnew=bold+e(其中e为误差:e=t-a)。文献2证明只要问题的解存在,那么感知机学习规则就一定能够在有限步数内收敛到问题的一个解。单层感知机学习收敛速度快但只能解决线性可分问题(文献1),这种情况导致了20世纪70年代人们对神经网络研究兴趣的减退。4.2Hebb学习规则与线性联想器Donald O.Hebb1949年在其 The Organization of Behavior 一书中提出了著名后来被证明的Hebb假设:“当细胞A的轴突到细胞B的距离近到足够激励它,且反复地或持续地刺激B,那么在这两个细胞或一个细胞中将会发生某种增长过程或代谢反应,增加A对细胞B的刺激效果。

8、”Hebb学习规则能用于训练多种结构的神经网络,我们首先讨论一种称为线性联想器的网络,它的网络结果类似于单层感知机,只是没有偏置值b和选用线性传输函数。它的训练规则是Wnew=Wold+tqPTq。当把初始的权值矩阵设为零时,那么有W=Qq=1tqPTq,如果输入向量为标准正交的话,则网络输出等于目标输出。当输入模式非正交时,Hebb规则会产生误差,有多种办法可以减小这种误差,比如仿逆规则(见文献5)。自联想存储器可以在输入模式有所“破损”时,仍然能将其复原,即有一定的鲁棒性。4.3ADALINE网络和LMS算法1960年,Widrow和他的学生一块提出了ADALINE网络和一个称为LMS(L

9、east Mean Square)(也称为学习规则)的学习算法,归为性能学习。它类似于一个单层的感知机,不过是线性传输函数。LMS算法是后来著名的BP算法的基础。它的训练法则是:W(k+1)=W(k)+2e(k)pT(k)和b(k+1)=b(k)+2e(k),其中W(k)代表第k次迭代时的权值,e(k)代表误差,即实际输出与目标输出之差,网络通过学习使性能指标F(X)=Ee2=E(t-a)2最小化。其中是学习速度。的取值要求及算法的收敛性证明见文献1。ADALINE网络和感知机最大的差别在于网络最后形成的边界总是尽量远离原型模式,因此对“破损”的输入有更好的适应性。它的应用领域比感知机广得多,

10、一个主要领域就是自适应滤波,可以说它是实际应用中使用最广的神经网络之一。4.4 多层感知机和BP算法单层感知机以及ADALINE网络都有一个局限性就是只能处理线性可分问题。这导致了20世纪70年代神经网络研究的低潮。20世纪80年代中期,David Rumelhart,Geoffrey Hin2ton和Ronald Williams等人发明了用来训练多层网络的有效算法:BP(反向传播)算法,重新引发了神经网络研究的高潮。用BP算法训练的多层感知机是当前应用最广的神经网络(图2)。BP算法采用和LMS算法同样的性能指标(如前述),通过网络的学习使其最小化。输入模式在反传训练期间顺序地得到提供,根

11、据网络的实际输出和目标输出的吻合度调整网络的权重和阈值,以便使当前的最小均方误差得到减小。给M层网络提供一个输入模式后,网络首先顺序计算输出am+1=fm+1(Wm+1am+bm+1),m=0,1,M-1;然后从后向前依次调整网络每一层的权值:Wm(k+1)=Wm(k)-Sm(m-1)T和bm(k)-Sm。其中Sm被称为敏感性,SM=-信息技术与信息化研究与探讨2005年第4期1212?FM(nM)(t-a),Sm=?Fm(nm)(Wm+1)TSm+1,m=M-1,2,1,其中?Fm(nm)=fm(nm1)000?fm(nm2)000?fm(nmsm),?fm(nmj)=5fm(nmj)5nj

12、。基本的反向传播算法的收敛速度太慢,因此出现了很多改进算法如共轭梯度法和Levenberg-Marquardt算法等,见文献2。5 竞争联想网络与无监督的学习下面我们所要讨论的网络允许无监督的学习,其具有在经常一同出现的模式之间学习其中关联的能力。提供给网络一组输入Pi(i=1,p),网络经过学习后,对以后提供给它的相近输入可以产生合理的反应,比如输出最近的已经学习过的模式,从而可以用来实现模式识别、联想记忆等功能。5.1Hamming网络Hamming竞争网络(如图4)通过权值存储一组原型模式,当提供一个新的输入时,将和存储的模式进行比较(一般是求内积),然后输出和其最近的原型模式(内积最大

13、)。最简单的竞争网络是Hamming网络,如图所示,第二层神经元都激活自己而抑制所有其他神经元,所以称为竞争,我们可以写为:a=compet(n),它找到具有最大净输入的神经元的下标,并将其输出设置为1,所有其他神经元的输出为0(胜者全得)。其中权值矩阵W通过instar学习规则得到:图4W(q)=W(q-1)+a(q)(p(q)-W(q-1),矩阵中最接近输入向量的行将向输入向量移动。它可以进行有效的自适应分类,但却存在学习速度的选择、竞争层要有多少个神经元以及有可能有“死”神经元等问题。5.2Grossberg网络Grossberg是神经网络研究领域一位卓有成效的专家,他的工作的特点是使用

14、非线性数学来模拟思维和脑的特定功能,他的工作主要受到了生物学视觉系统的启发,通过一种特殊的构造模块:并联模型来建立神经网络,可以实现视觉系统的很多功能如应急切断、特征填充、亮度一致等文献2。图5是Grossberg网络的基本构造模块并联模型的一个简图,并联模型主要是用来规格化输入的,既可保持输入的比例,有可使n限制在参数b+和-b-之间。图5Grossberg网络由两个并联模型组成的两层连续竞争网络,第一层实现视网膜的功能,接收外部输入并且规格化输入模式的强度,对于输入的相对强度敏感而不是绝对强度敏感,展示视觉系统如何使用加强中心 抑制周围的连接方式和并联模型以实现自动增益控制;第二层是一个连

15、续的Instar层,实现视觉皮层的功能,对比增强输出模式并将其存入短期记忆(STM)。它使用非线性反馈和加强中心 抑制周围的连接方式以实现竞争和存储。Grossberg网络使用instar学习规则调整权值,将原型模式以长期记忆方式(LTM)存储于两层之间的连接权值W2,代表已被存储的而且能够被网络识别的模式。Grossberg网络的详细讨论可以参考文献2。5.3ART(自适应谐振)网络前面所讨论的竞争网络有一个缺点就是不能总是形成稳定聚类,学习的不稳定性源于网络的自适应性,它导致后面的学习内容会破坏前面的学习成果,这被G rossberg称为“稳定性 可塑性二难问题”。G rossberg和G

16、 ail Carpenter提出了一种新的网络:ART网络来解决这个问题,当每个输入模式提供给网络时,将其与该模式最接近的原型模式相比较,如果它们不足以匹配,那么它将作为一个新的原型模式而被选中存储。ART网络是Grossberg网络的一个变形,如图6,首先网络图6根据输入由第二层产生输出,然后把输出的期望值反馈给第一层,第一层的主要用途是比较输入模式和来自第二层的期研究与探讨信息技术与信息化1222005年第4期望值模式,如果二者能密切匹配,第一层会结合二者形成一个新的原型模式(谐振发生),如果不能匹配,则调整子系统会重置第二层,抑制获胜的神经元,重复此过程直到能充分匹配。ART1网络有两个

17、分别的学习规则:一个用于L1-L2连接,使用一种instar规则学习一系列原型模式;一个用于L2-L1连接,使用一种outstar规则回忆一系列原型模式。ART1网络只适合二值模式,ART2网络可以处理模拟输入,Grossberg和Carpenter还提出了ART3网络文献1。5.4Hopfield递归神经网络我们前面讨论的都是前馈型神经网络,即信息的流动是一个方向,下面我们来看一种反馈型神经网络:Hopfield递归神经网络(图7)。它是由美国加州工学院著名物理学家Hopfield于1982年提出来的,直接推动了神经网络研究的重新兴起。图7它是一个单层网络,所有神经元既是输入单元也是输出单元

18、。从系统观点看,反馈网络是一个非线性动力学系统。它必然具有一般非线性动力学系统的许多性质,如稳定问题、各种类型的吸引子以至混沌现象等。在某些情况下,还有随机性和不可预测性等。给定网络一个初始输入,网络会根据图中公式不断迭代,如果收敛则会输出一个原型模式。图中的权值矩阵代表一组原型模式,根据Hebb规则生成。根据动力学理论,原型模式都是吸引子,当初始输入P落在一个吸引子的吸引区当中时网络就会收敛。Hopfield有着很广泛的应用,如模式回忆,神经计算等。Hopfield的论文描述的应用还包括按内容寻址存储器 Hopf82(只提供一部分内容既可得到一个完整的数据单元),模数转换Taho86,及优化

19、问题HoTa85(如货郎担问题)。6 结束语人工神经网络具有自适应性,并行处理的能力和非线性处理的优点,在模式识别方面,只要建立适当的网络模型,经过网络训练应用已有的知识和经验,便可使识别智能化、自动化,并具有较高可靠性,将极大方便人们的工作,具有很大的发展潜力。但目前神经网络还存在训练数量庞大、训练时间长、精确度不够高等缺陷,以及对大规模模式识别如汉字手写体识别等尚无有效的解决办法。如何扩大神经网络的学习能力,以及如何提高学习精度和运算速度都是急需解决的问题。另外在神经网络的设计中,目前还没有一套行之有效的设计方法,往往只能根据使用者的经验和需要解决问题的实际要求在实验中摸索,如何找到一种有

20、效的设计方法是目前人工神经网络的应用需要解决的另一问题。参考文献:1Martin T.Hagan,Howard B.Demuth.Neural Network Design.PWS.1996.2Simon Haykin.Neural Networks.Prentice Hall.1998.3 刘希玉.人工神经网络理论及其应用.山东师范大学出版社.2003.4 边肇祺,张学工等.模式识别.清华大学出版社.2000.5A.Albert.Regression and the Moore-Penrose Pseudoinverse.Academic Press.1972.作者简介 许延伟,男,汉族,山

21、东菏泽,硕士研究生,主要研究领域为神经网络(13064099301)。(上接第83页)为未来短距离通信领域的一个重要角色,将UWB技术应用到移动Ad Hoc网络中,将使其网络性能得到很大改善,无论是在军事领域还是民用领域,都将具有广阔的应用前景。参考文献:1 邹卫霞,周正,张春青,UWB的调制与多址技术,济南大学学报,Vol.18 No.4 20042 Ruben Merz,Jean2Yves Le Boudec,etc.A Rate2AdaptiveMAC Protocol for Low2Power Ultra2Wide Band Ad2hoc Net2works,In Proceedin

22、gs of Ad2Hoc Now 2004(3rd InternationalConference on AD2HOC Networks&Wireless)3HU CHIA CHT,K.Robert Lai,A DSR2based Routing Algo2rithm for UWB Ad2Hoc Networks,Active Networking Work2shop 20044Luca De Nardis,Guerino G iancola,etc.A position basedrouting strategy for UWB networks,IEEE Conference on Ul

23、traWideband Systems and Technologies,2003(上接第88页)参考文献:1William Stallings.Cryptography and Network Security2princi2ples and practices,third Edition.BEIJING Press of Electron2ics Industry,2004,12秦志光.密码算法的现状和发展研究.计算机应用,2004,2,第24卷第2期3 张雁等.椭圆曲线公钥密码体制的研究热点综述.计算机工程,2004,2,第30卷4 朱艳琴.基于ECC的密码系统的研究与设计.微电子学与计算机,2003,第12期(收稿日期:2005203228)信息技术与信息化研究与探讨2005年第4期123