回归分析人工神经网络_林和平.pdf

《回归分析人工神经网络_林和平.pdf》由会员分享，可在线阅读，更多相关《回归分析人工神经网络_林和平.pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第28卷 第2期吉 林 大 学 学 报(信 息 科 学 版)Vol.28No.22010年3月Journalof Jilin University(Information Science Edition)Mar.2010文章编号:167125896(2010)0220147206收稿日期:2010201205基金项目:国家自然科学基金资助项目(60473042);(60573067)作者简介:林和平(1956),男,长春人,东北师范大学教授,硕士生导师,主要从事人工智能和系统开发方法论研究,(Tel)86213500810142(E2mail)linhpnenu1edu1cn;张秉正(1984

2、),男,长春人,东北师范大学硕士研究生,主要从事人工智能和系统开发方法论研究,(Tel)86213514407129(E2mail)zhangbz095nenu1edu1cn。回归分析人工神经网络林和平,张秉正,乔幸娟(东北师范大学 计算机学院,长春130117)摘要:为避免每次训练都必须随机生成样本序列的问题,提出网络动态拓扑的概念,对各种前向式网络进行统一表述;提出正、反序训练方法,并给出解的唯一性证明,同时,网络连接权在初始化时不再需要随机生成。回归分析人工神经网络有效解决了两次随机过程对训练结果造成的不利影响,在稳定性和可信性上对人工神经网络的应用提供了理论依据和技术支持。关键词:人工

3、智能;人工神经网络;回归分析中图分类号:TP183文献标识码:ARegression AnalysisArtificialNeuralNetworkL IN He2ping,ZHANG Bing2zheng,Q IAO Xing2juan(College of Computer Science,NortheastNormalUniversity,Changchun 130117,China)Abstract:The concept of network dynamic topology is proposed,for a variety of pre2integrated presentati

4、on ofthe network to the ceremony;make positive and negative sequence trainingmethods,and gives proof of unique2ness of solution,avoiding each training sample must be randomly generated sequence of problems,the networkconnection right to randomly generated initialization is no longer needed.Regressio

5、n analysis of artificial neuralnetworks an effective solution to two stochastic processeson the training result,the adverse effectson the stabilityand credibility of the application of artificial neural networks provides a theoretical basis and technical support.Key words:artificial intelligence(A I

6、);artificial neural network(ANN);regression analysis(RA)引 言随着人工神经网络理论及应用研究14 的发展,无法证明解的唯一性和确定性成为阻碍其进一步发展的瓶颈,进而在应用上受到了极大限制。以往各种人工神经网络一律采用随机数生成其连接权矩阵的初始值,并在每轮训练前,首先生成训练样本的随机序列。这两次随机过程都会降低训练结果的准确性和可信性:前者导致每次网络训练结果都不一致,这是在网络应用中最不愿意看到现象;后者只能部分解决训练样本序列对训练结果影响不一致的问题,每个训练样本对训练结果的影响仍然与其在训练样本序列中的位置有关。近年来,随着人工

7、智能的发展,许多文献57 都提出了一些改进方法和模型,但都不能从本质上解决上述问题。笔者提出网络动态拓扑的概念,对各种前向式网络进行统一表述,将经典的感知器8、自适应元器件9、MP10 等各种前向式网络归结为回归分析人工神经网络在选择不同激励函数情况下的特例;提出正、反序训练方法,并给出解的唯一性证明,避免了每次训练都必须随机生成样本序列的问题,使训练样本集的每一个训练样本对训练结果的影响能力相同,提高了训练结果的准确性和可信性;将网络连接权矩阵的初始值采用110,保证同一组训练样本和训练实例得到的训练结果的一致性。1 回归分析人工神经网络111 网络拓扑结构定义回归分析(RA:Regress

8、ion Analysis)网络由输入层神经元和输出层神经元构成。输入层神经元接收网络输入,输出层神经元完成网络输出,输入层神经元与输出层神经元之间采用全互联方式进行连接。网络拓扑结构定义如图1所示。图1RA网络拓扑Fig11 RA network topology其中xj表示网络输入层神经元的m维输入;y表示网络输出层神经元的输出。与以往人工神经网络拓扑结构定义的不同之处在于:网络输入层由神经元构成,而不是由网络输入构成;网络连接仅局限于神经元之间的连接,而不是什么都可以连接。如此定义网络拓扑结构,有利于面向对象编程,而面向对象程序设计又是目前广为流行系统开发技术。112 训练算法在训练阶段,

9、网络中各层神经元一律采用线性激励函数(Linear Func2tion),构成网络训练拓扑。线性激励函数可表示为f(x)=x,一阶导函数为5f(x)5x=1 采用线性激励函数的神经元又称为透明神经元,原因在于:使用该激励函数的神经元,其输入等于输出。设网络的训练样本为S,总数为n,维数为m,则S可表示为S=s11s1js1msi1sijsimsn1snjsnm 设网络的训练实例为E,总数为n,维数为p=1,则E可表示为E=e1eienT 设网络输入层与输出层神经元之间的连接权矩阵为W,则表示为W=w1wjwm 对第i个训练实例,设网络的实际输出为y,训练实例(期望输出)与实际输出之间的偏差可表

10、示为i=ei-yi=1,2,n方差可表示为i=2i=12(ei-y)2i对网络中间层与输出层之间连接权的一阶偏导可表示为5i5wj=5i5y5y5wjj=1,2,m其中i对网络输出的一阶偏导,可进一步表示为5i5y=5i5i5i5y=-i=-(ei-y)设网络输入层神经元的输出为yj=f(sij)=sij则网络输出层神经元的输入可表示为841吉 林 大 学 学 报(信 息 科 学 版)第28卷x=mj=1wjyj 网络输出层神经元的输出可表示为y=f(x)=x,网络实际输出对网络输入层与输出层之间连接权的一阶偏导可进一步表示为5y5wj=5y5x5x5wj=yji对网络中间层与输出层之间连接权

11、的一阶偏导可以表示为5i5wj=5i5y5y5wj=-(ei-y)yj网络输入层与输出层之间的连接权的修正量定义为wj=-5i5wj=(ei-y)yj=(ei-y)sij其中为学习速率。113 解的唯一性证明设网络训练样本为S,网络训练实例为E,网络连接权矩阵为W,则有E=SWTSTE=STSWT令A=STS,Y=STE,则有Y=AWTA-1Y=A-1AWT=WTWT=A-1Y证毕。114 网络训练过程定义图2RA网络训练活动图Fig12 RA network trainingactivity diagram网络训练过程可分为以下6个步骤(见图2)。1)加载训练样本和训练实例数据。2)初始化连

12、接权矩阵(wj=110)。3)正序训练。对所有训练样本与训练实例,按自然排序,分别计算网络连接权的修正量(wj),对网络连接权进行修正。4)反序训练。对所有训练样本与训练实例,按自然排序的反序,分别计算网络连接权的修正量(wj),对网络连接权进行修正。5)计算网络实际输出与训练实例(期望输出)之间的均方差()。设网络第t次训练的均方差为(t),网络第t次训练的均方差为(t),网络第t+1次训练的均方差为(t+1),网络允许的最大误差为,如果|(t+1)-(t)|,则转向3)。6)结束训练。以往各种人工神经网络对其连接权矩阵的初始值一律采用随机函数生成,导致每次网络训练结果(连接权矩阵)都不一致

13、,降低了网络应用的可信度。由于回归分析网络的解是唯一的,因此,网络连接权矩阵的初始值可采用110,针对同一组训练样本和训练实例,每次训练得到的训练结果都是一致的。由于每个训练样本对训练结果的影响与其在训练样本序列中的位置有关,位置靠前的训练样本对训练结果影响较大,位置靠后的训练样本对训练结果的影响较小。以往的各种人工神经网络在每轮训练941第2期林和平,等:回归分析人工神经网络前,首先生成训练样本的随机序列,然后进行训练。这种随机生成训练样本的解决方案,只能部分解决训练样本对训练结果影响不一致的问题。采用正、反序训练方法,可以彻底解决上述问题。设训练样本S=S1,S2,Sn-1,SnT 正序训

14、练序列S1S2Sn-1Sn12n-1n 反序训练序列S1S2Sn-1Snnn-121 一次正、反序训练,对于每个训练样本,出现的顺序为n+12。115 网络工作过程定义图3RA网络工作活动图Fig13 RA network workingactivity diagram网络工作过程可分为以下4个步骤(见图3)。1)选择网络工作拓扑。对于RA网络,网络输入、输出层神经元一律选择透明神经元。2)加载工作数据。3)根据工作数据计算网络输出。4)结束工作。网络工作拓扑可有多种选择,例如:1)如果网络输出层神经元激励函数选择符号函数(Sign Function),则RA网络等同于感知器(Perceptr

15、on);2)如果网络输入、输出层神经元激励函数一律选择符号函数,则RA网络等同于自适应元器件(Adaline);3)如果网络输入、输出层神经元激励函数选择阈值函数(ThresholdFunction),值域定义为0,1,并根据实际应用,适当的选取阈值,则RA网络等同于MP(McCul2loch&Pitts)。因此,3种经典网络仅是RA网络的特例。在没有提出训练拓扑和工作拓扑之前,3种经典网络不得不采用符号函数或阈值函数,结合最小均方差算法11(LMS:Least2Mean2Square algorithm)对网络进行训练。LMS算法应用的前提是:输出层神经元激励函数一阶连续可微。认真研究LMS

16、算法就会发现,该算法是经典统计学中回归分析方法的迭代实现,并要求网络输出层必须采用透明神经元。因此,3种经典网络都错误地引用了LMS算法,导致网络训练过早收敛,无法得到精确解。这是3种经典网络中存在的严重错误,最直接后果是:经过训练的网络仅适用于训练集合,对训练集合涉及的问题空间中的其他数据,工作过程并不能得到正确结果。2 实验结果以普遍采用的与、或数据分别对RA网络进行测试。经过2 217次和1 896次训练后,训练精度稳定在015,连接权矩阵分别为Wand=-015,015,015,Wor=015,015,015。网络收敛过程如图4所示。051吉 林 大 学 学 报(信 息 科 学 版)第

17、28卷图4 网络收敛过程Fig14 Network convergent process 网络工作得到的测试结果如表1所示,采用不同值域和工作拓扑得到的测试结果如表2所示。表1RA测试结果Tab11 RA training result项目训练样本训练实例网络输出x2x3ANDORANDORx11110-110-110-110-110-115-0152110-110110-110110-0150153110110-110-110110-0150154110110110110110015115 其中x1=110,符合回归分析方法的基本要求。表2RA与3种经典网络输出对比Tab12 Output

18、comparison with three legend net workRAPerceptronAdalineMPANDORANDORANDORANDOR-115-015-110-110-110-110010010-015015-110110-110110010110-015015-110110-1101100101100151151101101101101101103 结 语RA网络提出网络动态拓扑的概念,对各种前向式网络进行统一表述。RA网络在训练中通过正、反序训练方法,并把连接权矩阵初始值设置为110,有效解决了两次随机过程对训练结果造成的不利影响,在稳定性和可信性上对人工神经网络的应

19、用提供了理论依据和技术支持。RA网络仍然不能解决异或分类问题,但网络动态拓扑结构的提出和解的唯一性证明,为进一步解决异或分类问题的非线性回归分析、灰回归分析人工神经网络奠定了坚实的理论基础。BP(Back Propagation)网络是应用最为广泛的多层前向式网络。然而,稳定性和可信性较差、没有完整的解的唯一性证明,缺乏理论依据是该网络模型的致命弱点。通过实验表明,BP网络的非线性分类能力与多层前向式网络拓扑结构无关,这种能力仅仅是隐层、输出层神经元采用非线性激励函数导致的结果。因此,提出各种具有理论依据、与BP网络功能等同的新型人工神经网络势在必行。参考文献:1 高隽.人工神经网络原理及仿真

20、实例M.北京:机械工业出版社,2003.GAO Juan.ArtificialNeuralNet work Theory and Simulation Examples M.Beijing:ChinaMachine Press,2003.2 梁艳春,聂义勇.从科学研究方法论看人工神经网络研究的发展J.吉林大学学报:信息科学版,2002,20(1):59262.L I ANG Yan2chun,N IE Yi2yong.ViewingDevelopment of Researches on ArtificialNeuralNetworksUsingMethodology of Sci2entif

21、ic Researches J.Journal of Jilin University:Information Science Edition,2002,20(1):59262.3 张袅娜,陈芳,张德江.权函数神经网络及在选矿厂能耗预测中的应用J.吉林大学学报:信息科学版,2009,27(1):73278.ZHANGNiao2na,CHEN Fang,ZHANG De2jiang.Neural Net works with Weight Functions and Application in Energy Con2151第2期林和平,等:回归分析人工神经网络sumption Forecast

22、ing ofOre Dressing Plant J.Journal of Jilin University:Information Science Edition,2009,27(1):73278.4 何东晓,周春光,刘淼,等.手写数字识别中组合式神经网络的构建方法J.吉林大学学报:理学版,2009,47(6):121121216.HE Dong2xiao,ZHOU Chun2guang,L I U Miao,et al.Approach for Constructing NeuralNet work Ensemble Applied to Hand2written Digit Recogn

23、ition J.Journal of Jilin University:Science Edition,2009,47(6):121121216.5 王建军,徐宗本.多元多项式函数的三层前向神经网络逼近方法J.计算机学报,2009,32(12):248222488.WANG Jian2jun,XU Zong2ben.Approxi mation Method of Multivariate Polynomials by Feedforward Neural Net works J.Chinese Journal of Computers,2009,32(12):248222488.6 徐月美,

24、张虹,姜薇.改进BP算法的研究及应用J.微计算机信息,2009,25(24):1702171.XU Yue2mei,Zhang Hong,J I ANGWei.Study of the I mproved BP Alogrithm and Application J.Control&Automation,2009,25(24):1702171.7 于广滨,李瑰贤,金向阳,等.改进的粒子群动态过程神经网络及其应用J.吉林大学学报:工学版,2008,38(5):114121145.YU Guang2bin,L I Gui2xian,J I N Xiang2yang,et al.Modified P

25、article Swarm Dynamic ProcessNeuralNetwork and ItsAppli2cation J.Journal of Jilin University:Engineering and Technology Edition,2008,38(5):114121145.8 ROSENBLATT F.The Perceptron:A ProbabilisticModel for Information Storage and Organization in the Brain J.Psycho2logical Review,1958,65(6):3862408.9 W

26、 I DROW B,HOFF M E.Adaptive Switching Circuits EB/OL.2009208218 .http:/www2isl.stanford.edu/widrow/papers/c1960adaptives witching.pdf.10 MCCULLOCH W C,PITTS.A Logical Calculus of Ideas I mmanent in Nervous Activity J.Bulletin ofMathematical Bio2physics,1943,5(4):1152133.11 朱树先,张仁杰.RBF网络和RBF核支持向量机比较研究J.计算机仿真,2009,26(5):1832189.ZHU Shu2xian,ZHANG Ren2jie.A Comparison of RBF Neural Net work with RBF Support VectorMachines J.ComputerSimulation,2009,26(5):1832189.(责任编辑:刘东亮)251吉 林 大 学 学 报(信 息 科 学 版)第28卷