一种改进的BP算法及其在模式识别中的应用.pdf

《一种改进的BP算法及其在模式识别中的应用.pdf》由会员分享，可在线阅读，更多相关《一种改进的BP算法及其在模式识别中的应用.pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第8 卷筇3 期哈尔滨理J：大学学报V o l8N o32 0 0 3 年6 月J o U R N A LH A R B I NU N l V S C I&T E C H J u n，2 0 0 3文章编号1 0 0 7 2 6 8 3(2 0 0 3J 0 3 0 0 9 0 0 3一种改进的B P 算法及其在模式识别中的应用姜立芳，刘泊1，施莲辉2(1 哈尔滨理工太学测控技术与通信工程学院，黑龙江哈尔滨1，0 0 d I)；2 哈尔滨理工大学人文社会科学学院，黑龙江哈尔滨1 5 0 0 删摘要：针对前馈神经网络中传统B P 算法的局限性，给出了一种改进的B P 算法，选取了一种新的误差函数

2、，并对其参数进行了动态自适应调整通过比较，改进的B P 算法收敛特性明显优于传统的B P 算法实践证明，将上述算法应用于对I 业零件的识别当中，可有效提高识别速度和识别正确率约1 7 关键词：神经网络；B P 算法；模式识别中图分类号：T P l 8 3文献标识码：AA nI m p r O v e dB PA l g O r i t h ma n dA p p I i e di nt h eP a t t e r nR e c O g n i t i O nJ“GL f-，矗n 9 1，L，uB 0 1，s H JL i H H“i 2(1 o D l l c g eo fM e 鼬u c

3、一。o n t r 0 11 亡c h n o l o 鲥C o m m u n i c a t i o nE“9 1 n “g H a r b i nU n l VS c iT e c h H a r b I n1 5 0 0 柏，C h j n a；2 H u m a 面t I c S S o c i a lS c i e n o o)儿c 窑e H a r b l nU n i vS c i T e c h，H a r b j n1 5 0 0 4 0 C h j n a)A b s t 阳c t：T h i sp a p e rp 咒s e n t。da ni m p r o v e

4、dB Pa l g o r i t h mb a s e do nt b e1 i m i t a t i o n so ft r a d n l o n a lB Pa l g or i t h mi nt h ef b e d f o r w a r dn e u r a ln e t w o r k，a d o p t e das o r to fn e we r r o rf u n c t i o n，a n da d j u s t e di t sp a r a m e t e I sd y n a I I l i c a ya ds e l f a d a p t e d l

5、y B ym e a 璐o fc o m p a r i s o n，t h ec o n v e 唱e n c ec h a f d c t e fo fi m p m v e dB Pa l g o r i t h mj so b V i o u S l yb e t t e rt h a nt h et r a d i t i o n a lo n e s w h e nt h ea l g o r i t h mi sa p-p l i e di nt h ei d e n t m c a t i o n0 fi n d u 8 t r i a lp a r t s，i np r a

6、c t i c et h es p e e da n da c c u r a c yo fi d e n t j 疗c a t j o nw i l lb ei m p r o V e de f T 酏t i V d y 鼬攀w o r d s：n e u r a ln e t w o r k；B Pa l g o r i t h m；p a t t e】mr e c o g i t i o n神经网络以大脑的生理研究成果为基础，目前广泛应用的是B P 神经网络即反向传播(B a c kP p a g a 饰n)神经网络，因为它具有一些传统技术所没有的优点：鼹好的容错能力、分类能力、并行处理

7、能力和自学习能力，所以广泛应用于模式识别、图像处理、控制、预测等方面但常规的B P 算法收敛速度慢，易陷入局部极小，并且对网络进行训练也是非常耗时，近年来人们提出了许多改进方法”日，其目收稿日期2 2 一。9 一1 7作者简介蛰屯芳(1 9 7 8 一)，女，喑尔滨理工太学硬士研究生的均在于提高收敛速度并降低陷入局部极小的可能但由于在整个学习过程中普遍采用固定不变的学习率和动量因子，往往会出现学习缓慢或过头的现象，且经典B P 算法中采用的误差函数易受到异常值误差的影响为此本文采取动态系统调整参数的方法，并选取了一种新的误差函数，有效地提高了其收敛速度，降低了其陷人局部极小的可能及异常值误差带

8、来的影响 万方数据第3 期罄0 芳等：一种改进的B P 算法及其在模式识别中的应用91网络结构及误差函数B P 神经网络的输人与输出关系是一个高度非线性映射关系，若输入节点数为n，输出节点数为m，则网络是从n 维欧氏空间到维欧氏空间的非线性映射随着应用的拓展，B P 网络存在的问题也日益显现出来，主要有：由于采用非线性梯度优化算法，易形成局部极小而得不到整体最优；训练易陷入瘫痪，收敛速度很慢：网络隐层节点及初始权值的确定仅凭经验而缺乏足够的理论指导；网络的泛化与推广能力较差针对B P 算法的局限性，根据样本对在训练过程中的情况，动态、系统地调整参数，采用有导师的学习方武，将网络的输出和期望的输

9、出进行比较，然后根据两者之间的差调整网络的权值，最终使差最小，提高合理通用化的可能性c y b e I l k o 已经证明仅仅用一个隐层和s i g m o i d a l激活函数就可以在任何一个准确度内接近任何一个连续函数，因此采用的神经网络是带有一个隐层的三层网络，网络各层之间完全连接假定网络有n 个神经元的输入层，个神经元的输出层，激活函数是s i 胛埘a 1 函数网络结构如图1 其中输入输出圈lB P 网络结构z z；Z z：对2 驴；+硝+吁(1)砑=，(疗)，(x)=可S权值修芷量为A w。，(f)；d，0 一1)+叩6，z，(4)其中：砩表示第L 层节点的第p 个样本输入向量；

10、：表示第L 层第H 个节点的权向量；畔为节点阈值；，()表示激活函数；为斜率(0 1)；z?表示第L 层的第p 个节点的输出若y。为输出层在第P 个样本下的实际输出，d 为相应的期望输出，则网络学习的误差能量函数定义为E=(d，一y，)2(5)使用新的误差平方和函数定义M 个样本的洪差为E 2 善P，一，一)2+号，三，(。，一y，)2 1(6)p；】，2 MJ式中：k 是一个小正数(0 I)这个新的误差平方和函数的特点是对些可能的异常点的误差权值设计的较小，这样就降低了异常值误差带来的影响，便于模拟出真实的函数关系n 2 改进的B P 算法及其流程B P 算法是有教师的学习算法，网络在学习训

11、练过程中，教师主要根据误差曲面的变化来调整B P算法中的参数，以求加快网络收敛速度，摆脱陷入局部极小的可能性但其指导调整参数的过程缺乏理论依据，常常带有盲目性因此，在网络训练过程中，采用动态、系统地调整参数方法】)隐层神经元个数的确定，可以利用下述公式确定=m+n+(1 1 0)(7)当网络的误差E 下降非常缓慢(小于0 0 1)，且网络还没有收敛到一定水平时，增加一个隐层神经元2)初始权值的选取因系统的非线性使初始权值对学习是否收敛影响很大因此，在对网络训练时，每种实验模型都选取1 0 种不同的小随机数作为网络初始权值进行训练，以获得最好收敛网络模型3)学习率玑动量因子和斜率 的调整H 和的

12、大小对网络的学习速度及收敛影响巨大，且”，与学习次数有着直接的影响关系其中：q 主要控制训练过程中收敛的速度，通常取目为O 5 2 O；d 主要防止在局部极小点处抖动问题的出现，通常取为O 9 1 0；的大小直接影响到S 函数饱和区间的大小，A 越小，S 函数饱和区间也越小，对网络的收敛就越有帮助经过大量的实验与分析，发现H，“，A可以动态系统进进行调整算法流程如图2 3仿真结果图3 是改进的B P 算法及传统的B P 算法误差与学习次数之间的关系通过比较可以看出，改进的 万方数据晗尔滨理工大学学报第8 卷圈2 算法濂程B P 算法的收敛特性孵显优于传统的B P 算i 去，特掰是在学河次数较步

13、对。勺、制缁牝嚣O一5一1 0一1 52 0一拦一3 0学习扶致耀3 棒撰肄终谰练谶爱的淫整变 l：摊缝本次实骏涉及的对象是汽率生产线上的零件，摄取其图像为2 5 6 2 5 6 的灰度图像为了让计算机楚好地识*q 出秘标。在模式识别之前进行了图像增强霹l 美骧、篷豫分割及嚣像缝磅等霭像覆娃理操作”“算#k 处理结聚如图4 丧l 是j 种零俅川传统的B P 算法及改进的B P 算法进行飒别的测试结果e)(e)(a)，(b)，(e)鸯原始帮像(a)。(”)。(c J 为图像预处理后的图像边缘提取豳4 嘲像瓒处理前后的比较褒l 测试绦皋4鲒语本文鑫分辑了B P 算法基本藤理鲍基秘上绘出了一种改进的

14、B P 算法，提高了网络的收敛速度，降低了异常值误蕊带来的影响放网络陷入局部极小的可能性，并将萁应用于对汽车工业生产线士=的零件的识别生审，取褥了夸大满意熬缨果鼗然竣算法有效地提高了收敛速度，但仍然无法完全摆脱陷入局部极小的可能，并且在对图像进行识别的过程中容翁受到磉声的影响，所戳该算珐还有待于避一劳改进。参考文献：f l】爷檀南一种神鲢阿培的快速学习算 昔及冀在图像_ 边缘j I 捌中的应用明计算机研究岛发媵，1 9 9 7。(毋蔺枷史，冯尊农栅弼一种藏进型快速B P 谢练算法龋汁算祝王程与科学，i 9 9 8，f j l)f 下转筹9 5 壤)万方数据第3 期丁喜波等：电容传感器的复数电压

15、测量法9 54 测量过程及准确度分析测量按以下三步进行：1)测量电子开关全部关断时运算放大器的输出复数电压(0)P，(0)为电子开关全部关断时，其开关的漏电流经运算放犬器输出的复数电压，为电子开关漏电流的修正参数：2)测量电子开关k 接通，其他电子开关全部关断时运算放夫器的输出复数电压圪(O 是激励电压在传感器上产生的电流经运算放大器产生的电压，其中包含电子开关的漏电流和正弦波发生电路输出不稳定的影响：3)测量电子开关k 关断，k 接通时所得的复数电压n+为正弦波发生电路输出不稳定的修正参数经上述三步测量后，得到了R(i)，x(i)计算及修正所需的3 个实部电压P“(O)，n，(矾“，和3 个

16、虚部电压k(0)，y n(f)，n：(1=1，2，n)按式(6)式(8)进行计算就可得到准确的电容值和品质因数值5 结语上述方法已经在电容式湿度传感器性能测试仪中得到应用，对电容值在3 0 1 0 0 p F 范围的湿度传感器实现了0 1 p F 的高分辨率测量误差达到0 2 p F，Q 值测量误差达到5 参考文献：f l l 卢祟考周明军，离分于提敏材料功能设计明传感器世界，2 0 叭，2 0(3)：2 I 一2 5【珥琚雪梅陈海东高分子程敬传感器的输出限幅现象分析聊传感器技术，2 啦2 1(3)I l 1 3【习吴兴惠，王彩君传感器与信号处理口证】北京：电子工业出版社1 9 9&【4】李华

17、M 圆一5 l 系列单片机实用接口技术口订】北京：航空航天大学出版杜，1 9 9 3习林羁，程蘅福擞型计算机卡式仪器原理设计及应用嗍北京：国防工业出版杜。1 9 9 6 *e(上接第9 2 页)(审稿：付云鹛教授周欣荣教授；编辑：王萍)【3 I 严卫，米兆谜B P 网络进化厦其在首这目标识别中的应用川散据采集与赴理1 9 咀圆【4】姜绍飞张春丽，钟善桐B P 网络模型的改进方法探讨埘哈尔滨建筑大学学报3 0 0 0，(1 0)【5】R u M E T H A R TDE，e ta IP a r a l l e!一D i s t 曲u t c dP m o 岛s i“g【M 1 M A：M I

18、TP 惜s 1 9 9 8【6】s T E F A N o sK，D I M I T E R sA A nA d 8 p t i v cL c a 眦s q u a 瑚A l g o t h mF o rT h eE 肺c i c n tT m i n i n go fA n i n c i a lN e u 憎lN e t 啪r k sf J lI E E ET r a n sc s，1 9 8 9，3 6(8)1 0 9 2 一1 0 9 7 用彭天好，范龙撮B P 神经网络的种稳健改进方 击m 计算机应用研究，1 9 觋(日圈焦李成 申经罔络系统理论 M】西安电子科技大学出版社t1 9

19、9 8【研夏良J T 数字图像处理【M 1 南京：东南大学出版社1 蚍【l 姆边肇棋张学工模式识别【第二版)耻讧】精华大学出版社加】章轼晋图像处理和分析I M】清华大学出版杜。1 9 9 9【1 2 l 何斌马天予等g 咖c+数字图像处理f M l 北京：民邮电出版社，2 0 0 l(审槁：李士勇教授，王常虹教授；编辑：付长缨)万方数据一种改进的BP算法及其在模式识别中的应用一种改进的BP算法及其在模式识别中的应用作者：姜立芳，刘泊，施莲辉作者单位：姜立芳,刘泊(哈尔滨理工大学,测控技术与通信工程学院,黑龙江,哈尔滨,150040)，施莲辉(哈尔滨理工大学,人文社会科学学院,黑龙江,哈尔滨,1

20、50040)刊名：哈尔滨理工大学学报英文刊名：JOURNAL OF HARBIN UNIVERSITY OF SCIENCE AND TECHNOLOGY年，卷(期)：2003,8(3)被引用次数：11次 参考文献(12条)参考文献(12条)1.严卫;朱兆达 BP网络进化及其在雷达目标识别中的应用期刊论文-数据采集与处理 1999(03)2.柳文;冯建农;柳明 一种改进型快速BP训练算法 1998(11)3.何斌;马天予 Visual C+数字图像处理 20014.夏良正 数字图像处理 19975.焦李成 神经网络系统理论 19986.彭天好;范龙振 BP神经网络的一种稳健改进方法 1999(

21、06)7.STEFANOS K;DIMITERS A An Adaptive Least Squares Algorithm For The Efficient Training of ArtificialNeural Networks外文期刊 1989(08)8.RUMETHART D E Parallel-Distributed Processing 19989.姜绍飞;张春丽;钟善桐 BP网络模型的改进方法探讨期刊论文-哈尔滨建筑大学学报 2000(05)10.章毓晋 图像处理和分析 199911.边肇祺;张学工 模式识别 200012.王耀南 一种神经网络的快速学习算法及其在图像边缘识

22、别中的应用期刊论文-计算机研究与发展 1997(05)本文读者也读过(10条)本文读者也读过(10条)1.孙大瑞.吴乐南 基于正交分量辨别分析的人脸识别方法期刊论文-模式识别与人工智能2001,14(3)2.卢继华.傅雄军 Java与人工智能相结合在网络教学中的应用会议论文-20023.李军.丁萃菁 一种改进的BP算法在实际应用中的研究期刊论文-计算机仿真2004,21(2)4.杜太行.姚春莲.刘振海.于万霞 采用共扼梯度法和准最优步长的人工神经网络BP算法会议论文-20015.杨健.杨静宇 一种推广的K-L展开方法及其在人脸识别中的应用期刊论文-模式识别与人工智能2002,15(2)6.周鸣

23、争 人工神经网络在自动控制系统中的应用期刊论文-安徽机电学院学报2000,15(2)7.牛朝玮.汪增福 基于彩色和运动信息的人脸检测期刊论文-模式识别与人工智能2002,15(2)8.边文俊.BIAN Wen-jun 神经网络在燃烧控制中的应用研究期刊论文-内蒙古大学学报（自然科学版）2011,42(1)9.路鹏飞.陶果.何峰江 声波图象处理和裂缝识别方法研究会议论文-200310.杨宏峰.陈蔚 基于神经网络-Logit回归的混合两阶段财务困境预测模型期刊论文-统计与决策2006(20)引证文献(11条)引证文献(11条)1.全玉生.何秋宇.卢天盛.马彦伟.王辰 电力变压器局放信号抗干扰与模式

24、识别期刊论文-电力自动化设备2008(1)2.韩敏.崔丕锁 一种动态RBF神经网络在模式识别中的应用期刊论文-模式识别与人工智能 2006(1)3.全玉生.马彦伟.郑彬.何秋宇 基于时域脉冲特征量的神经网络方法在变压器局放模式识别中的应用期刊论文-现代电力 2006(6)4.全玉生.马彦伟.何秋宇.李学鹏.杨俊伟 基于模糊概率论的变压器局放信号模式识别法期刊论文-电力系统自动化 2006(4)5.韩敏.崔丕锁 一种用于模式识别的动态RBF神经网络算法期刊论文-大连理工大学学报 2006(5)6.穆云峰 RBF神经网络学习算法在模式分类中的应用研究学位论文硕士 20067.高丽燕 基于DSP+FPGA的图像识别系统设计与实现学位论文硕士 20068.刘燕燕 基于模糊神经网络的信息融合在电网故障诊断中的应用期刊论文-继电器 2005(9)9.叶明全.伍长荣 基于RBF神经网络的冠心病识别模型期刊论文-安徽工程科技学院学报（自然科学版）2005(1)10.熊俊文 多目标优化方法研究及在工程中的应用学位论文硕士 200511.崔丕锁 神经网络在一类数据样本分类中的应用研究学位论文硕士 2005 本文链接：http:/