论文 BP神经网络的matlab实现设计论文.doc

《论文 BP神经网络的matlab实现设计论文.doc》由会员分享，可在线阅读，更多相关《论文 BP神经网络的matlab实现设计论文.doc（40页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、学士学位毕业设计（论文）BP神经网络的MATLAB实现学生姓名：杨赫指导教师：刘坤所在学院：信息技术学院专 业：电气工程及其自动化中国大庆2012 年 5 月 黑龙江八一农垦大学本科毕业设计（论文）任务书学生姓名杨赫所在班级电气6班导师姓名刘坤导师职称导师论文题目BP神经网络的matlab实现题目分类1应用与非应用类：工程 科研 教学建设 理论分析模拟2软件与软硬结合类：软件硬件软硬结合非软硬件（1、2类中必须各选一项适合自己题目的类型在内打）主要研究内容及指标： 本文首先说明课题研究的目的与意义，评述课题的国内外研究现状，引出目前存在的问题。然后分析了神经网络算法的基本原理，给出经典神经网络

2、算法的具体实现方法，总结神经网络算法的特点，并给出神经网络算法的基本流程。采用Matlab软件编程实现BP神经网络算法。将神经网络算法应用于函数逼近与样本含量估计问题中，并分析相关参数对算法运行结果的影响。最后对BP神经网络算法进行了展望。主要参考文献：1 巨军让，卓戎.B P神经网络在Matlab中的方便实现 .新疆石油学院学报.2008.2(1) 2 闻新、周露、王丹力、熊晓英.MATLAB神经网络应用设计.科学出版社，2001.5:10-503 Matlab users Guide. The MathWorks.Inc,2003:23-274 周开利，康耀红 编著.神经网络模型及其MAT

3、LAB仿真程序设计.2006:10-43阶段规划：1. 3月1日至3月20日 资料收集 2. 3月20日至3月31日 资料整理 3. 4月1日至4月15日 熟悉BP神经网络理论与MATLAB软件 4. 4月16日至4月30日 掌握BP神经网络MATLAB仿真研究 5. 5月1日至5月15日 系统改进、论文初稿 6. 5月16日至5月31日 论文录入 7. 6月1日至6月8日 论文审核开题时间2012年3月1日完成论文时间2012年5月10日专家审定意见：系主任签字：年 月 日注：1任务书由指导教师填写后交给学生，要求学生妥善保存。2此任务书夹于论文扉页与论文一并装订，作为论文评分依据之。第 1

4、 页 摘要本文首先说明课题研究的目的与意义，评述课题的国内外研究现状，引出目前存在的问题。然后分析了神经网络算法的基本原理，给出经典神经网络算法的具体实现方法，总结神经网络算法的特点，并给出神经网络算法的基本流程。采用Matlab软件编程实现BP神经网络算法。将神经网络算法应用于函数逼近与样本含量估计问题中，并分析相关参数对算法运行结果的影响。最后对BP神经网络算法进行了展望。关键字: 神经网络 BP神经网络 函数逼近 ABSTRACTFirst, the research purpose and significance of neural network is expounded in t

5、his article. Commentary studies current situation at the problem home and abroad. Leads to the existing problems. and then have analyzed algorithmic basal principle of neural networks, Give algorithmic concert of classics neural networks out the realization method. Summing up the characteristics of

6、neural network algorithm. Neural network algorithm is given the basic processes. The arithmetic of BP neural network is realized in Matlab software. The algorithm applies of BP neural networks to the function approximation problem and computes the swatchcontent. And analysis of relevant parameters o

7、n the results of algorithm. Finally, The BP neural network algorithm is Outlook.Key words: Neural network BP neural network Function approximation目录摘要IABSTRACTII目录III前言IV1 绪论- 1 -1.1 人工神经网络的研究背景和意义- 1 -1.2 神经网络的发展与研究现状- 2 -1.3 神经网络的研究内容和目前存在的问题- 3 -1.4 神经网络的应用- 3 -2神经网络结构及BP神经网络- 5 -2.1 神经元与网络结构- 5

8、-2.2 BP神经网络及其原理- 8 -2.3 BP神经网络的主要功能- 10 -2.4 BP网络的优点以及局限性- 10 -3 BP神经网络在实例中的应用- 12 -3.1 基于MATLAB的BP神经网络工具箱函数- 12 -3.2 BP网络在函数逼近中的应用- 14 -3.3仿真实验- 20 -结论- 30 -参考文献- 31 -致谢- 33 - 前言BP神经网络是目前人工神经网络模式中最具代表性,应用得最广泛的一种模型,具有自学习、自组织、自适应与很强的非线性映射能力,可以以任意精度逼近任意连续函数.近年来,为了解决BP网络收敛速度慢,训练时间长等不足,提出了许多改进算法.然而,在针对实

9、际问题的BP网络建模过程中,选择多少层网络,每层多少个神经元节点,选择何种传递函数等,均无可行的理论指导,只能通过大量的实验计算获得.MATLAB中的神经网络工具箱(Neural NetworkToolbox,简称NNbox),为解决这一问题提供了便利的条件.神经网络工具箱功能十分完善,提供了各种MATLAB函数,包括神经网络的建立、训练与仿真等函数,以及各种改进训练算法函数,用户可以很方便地进行神经网络的设计与仿真,也可以在MATLAB源文件的基础上进行适当修改,形成自己的工具包以满足实际需要。此项课题主要是针对MATLAB软件对BP神经网络的各种算法的编程，将神经网络算法应用于函数逼近与样

10、本含量估计问题中，并分析比较相关参数对算法运行结果的影响。 1 绪论人工神经网络（Artificial Neural Networks，NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储与处理、自组织、自适应与自学习能力，特别适合处理需要同时考虑许多因素与条件的、不精确与模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交

11、叉学科。神经网络具有非线性自适应的信息处理能力，克服了传统人工智能方法对于直觉的缺陷，因而在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。神经网络与其他传统方法相组合，将推动人工智能与信息处理技术不断发展。近年来，神经网络在模拟人类认知的道路上更加深入发展，并与模糊系统、遗传算法、进化机制等组合，形成计算智能，成为人工智能的一个重要方向。MATLAB是一种科学与工程计算的高级语言，广泛地运用于包括信号与图像处理，控制系统设计，系统仿真等诸多领域。为了解决神经网络问题中的研究工作量与编程计算工作量问题，目前工程领域中较为流行的软件MATLAB，提供了现成的神经网络工具箱（N

12、eural Network Toolbox，简称NNbox），为解决这个矛盾提供了便利条件。神经网络工具箱提供了很多经典的学习算法，使用它能够快速实现对实际问题的建模求解。在解决实际问题中，应用MATLAB 语言构造典型神经网络的激活传递函数，编写各种网络设计与训练的子程序，网络的设计者可以根据需要调用工具箱中有关神经网络的设计训练程序，使自己能够从烦琐的编程中解脱出来，减轻工程人员的负担，从而提高工作效率。1.1 人工神经网络的研究背景与意义人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。人工神经网络就是模拟人思维的一

13、种方式，是一个非线性动力学系统，其特色在于信息的分布式存储与并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。近年来通过对人工神经网络的研究，可以看出神经网络的研究目的与意义有以下三点：（1）通过揭示物理平面与认知平面之间的映射，了解它们相互联系与相互作用的机理，从而揭示思维的本质，探索智能的本源。（2）争取构造出尽可能与人脑具有相似功能的计算机，即神经网络计算机。（3）研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化与决策判断等方面取得传统计算机所难以达到的效果。人工神经网络特有的非线性适应性信息处理能力，克服了传统人工

14、智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能与信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。1.2 神经网络的发展与研究现状1.2.1 神经网络

15、的发展神经网络起源于20世纪40年代，至今发展已半个多世纪，大致分为三个阶段。1）20世纪50年代-20世纪60年代：第一次研究高潮自1943年M-P模型开始，至20世纪60年代为止，这一段时间可以称为神经网络系统理论发展的初期阶段。这个时期的主要特点是多种网络的模型的产生与学习算法的确定。2）20世纪60年代-20世纪70年代：低潮时期到了20世纪60年代，人们发现感知器存在一些缺陷，例如，它不能解决异或问题，因而研究工作趋向低潮。不过仍有不少学者继续对神经网络进行研究。Grossberg 提出了自适应共振理论；Kohenen 提出了自组织映射；Fukushima 提出了神经认知网络理论；A

16、nderson提出了BSB模型；Webos 提出了BP理论等。这些都是在20世纪70年代与20世纪80年代初进行的工作。3）20世纪80年代-90年代：第二次研究高潮进入20世纪80年代，神经网络研究进入高潮。这个时期最具有标志性的人物是美国加州工学院的物理学家John Hopfield。他于1982年与1984年在美国科学院院刊上发表了两篇文章，提出了模拟人脑的神经网络模型，即最著名的Hopfield模型。Hopfield网络是一个互连的非线性动力学网络，它解决问题的方法是一种反复运算的动态过程，这是符号逻辑处理方式做不具备的性质。20世纪80年代后期到90年代初，神经网络系统理论形成了发展

17、的热点，多种模型、算法与应用被提出，研究经费重新变得充足，使得研究者们完成了很多有意义的工作。1.2.2 神经网络的现状进入20世纪90年代以来，神经网络由于应用面还不够宽，结果不够精确，存在可信度问题，从而进入了认识与应用研究期。1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度与运行的准确度。2）充分发挥两种技术各自的优势是一个有效方法。3）希望在理论上寻找新的突破，建立新的专用/通用模型与算法。4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。 1.3 神经网络的研究内容与目前存在的问题1.3.1 神经网络的研究内容神经网络的研究内容相当

18、广泛，反映了多科学交叉技术领域的特点。目前，主要的研究工作集中在以下四方面：（1）生物原型研究：从生理学、心理学、解剖学、脑科学、病理学生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。（2）建立理论模型：根据生物圆形的研究，建立神经元、神经网络的理论模型，其中包括概念模型、知识模型、物理化学模型、数学模型等。（3）网络模型与算法研究：在理论模型研究的基础上构成具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。（4）神经网络应用系统：在网络模型与算法研究的基础上，利用神经网络组成实际的应用系统，例如，完成某种信号处

19、理或模式识别的功能、构成专家系统、制成机器人等。1.3.2 神经网络研究目前存在的问题人工神经网络的发展具有强大的生命力。当前存在的问题是智能水平还不高，许多应用方面的要求还不能得到很好的满足；网络分析与综合的一些理论性问题还未得到很好的解决。例如，由于训练中稳定性的要求学习率很小，所以梯度下降法使得训练很忙动量法因为学习率的提高通常比单纯的梯度下降法要快，但在实际应用中还是很慢。针对千变万化的应用对象，各类复杂的求解问题，编制一些特定的程序、软件求解，耗费了大量的人力与物力。而这些软件往往只针对某一方面的问题有效，并且在人机接口、用户友好性等诸多方面存在一定的缺陷。在微机飞速发展的今天，很多

20、都已不能满足发展的需要。1.4 神经网络的应用神经网络理论的应用取得了令人瞩目的发展，特别是在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别、CAD/CAM等方面都有重大的应用实例。下面列出一些主要应用领域：（1）模式识别与图像处理。印刷体与手写字符识别、语音识别、签字识别、指纹识别、人体病理分析、目标检测与识别、图像压缩与图像复制等。（2）控制与优化。化工过程控制、机器人运动控制、家电控制、半导体生产中掺杂控制、石油精炼优化控制与超大规模集成电路布线设计等。（3）预报与智能信息管理。股票市场预测、地震预报、有价证券管理、借贷风险分析、IC卡管理与交通管理。（4）通信。自适应均衡、

21、回波抵消、路由选择与ATM网络中的呼叫接纳识别与控制。（5）空间科学。空间交汇对接控制、导航信息智能管理、飞行器制导与飞行程序优化管理等。2神经网络结构及BP神经网络2.1 神经元与网络结构人工神经网络（artificial neural network，ANN）是模仿生物神经网络功能的一种经验模型。生物神经元受到传入的刺激，其反应又从输出端传到相联的其它神经元，输入与输出之间的变换关系一般是非线性的。神经网络是由若干简单（通常是自适应的）元件及其层次组织，以大规模并行连接方式构造而成的网络，按照生物神经网络类似的方式处理输入的信息。模仿生物神经网络而建立的人工神经网络，对输入信号有功能强大的

22、反应与处理能力。神经网络是由大量的处理单元（神经元）互相连接而成的网络。为了模拟大脑的基本特性，在神经科学研究的基础上，提出了神经网络的模型。但是，实际上神经网络并没有完全反映大脑的功能，只是对生物神经网络进行了某种抽象、简化与模拟。神经网络的信息处理通过神经元的互相作用来实现，知识与信息的存储表现为网络元件互相分布式的物理联系。神经网络的学习与识别取决于各种神经元连接权系数的动态演化过程。若干神经元连接成网络，其中的一个神经元可以接受多个输入信号，按照一定的规则转换为输出信号。由于神经网络中神经元间复杂的连接关系与各神经元传递信号的非线性方式，输入与输出信号间可以构建出各种各样的关系，因此可

23、以用来作为黑箱模型，表达那些用机理模型还无法精确描述、但输入与输出之间确实有客观的、确定性的或模糊性的规律。因此，人工神经网络作为经验模型的一种，在化工生产、研究与开发中得到了越来越多的用途。2.1.1 生物神经元人脑大约由1012个神经元组成，神经元互相连接成神经网络。神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突与突触(Synapse，又称神经键)组成。 如图1所示。图1生物神经元从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅

24、度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质。2.1.2 人工神经元归纳一下生物神经元传递信息的过程：生物神经元是一个多输入、单输出单元。常用的人工神经元模型可用图2模拟。图2 人工神经元（感知器）示意图当神经元j有多个输入xi(i=1，2,m)与单个输出yj时，输入与输出的关系可表示为: 其中j为阈值，wij为从神经元i到神经元j的连接权重因子，f( )为传递函数，或称激励函数。2.1.3人工神经网络的构成神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。 神经网络连接的几种基本形式：1）前向网络 前向网络结构如图3所示，网络

25、中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。神经元分层排列，分别组成输入层、中间层（也称为隐含层，可以由若干层组成）与输出层。每一层的神经元只接受来自前一层神经元的输入，后面的层对前面的层没有信号反馈。输入模式经过各层次的顺序传播，最后在输出层上得到输出。感知器网络与BP网络均属于前向网络。图3 前向网络结构2）从输出到输入有反馈的前向网络其结构如图4所示，输出层对输入层有信息反馈，这种网络可用于存储某种模式序列，如神经认知机与回归BP网络都属于这种类型。图4有反馈的前向网络结构3) 层内互连前向网络 其结构如图5所示，通过层内神经元的相互结合，可以实现同一层神经元之间的横向抑

26、制或兴奋机制。这样可以限制每层内可以同时动作的神经元素，或者把每层内的神经元分为若干组，让每一组作为一个整体进行运作。例如，可利用横向抑制机理把某层内的具有最大输出的神经元挑选出来，从而抑制其他神经元，使之处于无输出状态。图5有相互结合的前向网络结构4) 相互结合型网络相互结合型网络结构如图6所示，这种网络在任意两个神经元之间都可能有连接。Hopfield 网络与Boltzmann 机均属于这种类型。在无反馈的前向网络中，信号一旦通过某神经元，该神经元的处理就结束了。而在相互结合网络中，信号要在神经元之间反复传递，网络处于一种不断变化状态的动态之中。信号从某初始状态开始，经过若干次变化，才会达

27、到某种平衡状态。根据网络的结构与神经元的特性，网络的运行还有可能进入周期振荡或其他如混沌平衡状态。图6结合型网络结构综上，可知神经网络有分层网络、层内连接的分层网络、反馈连接的分层网络、互连网络等四种结构，其神经网络模型有感知器网络，线性神经网络，BP神经网络，径向基函数网络，反馈神经网络等，本文主要学习研究了BP神经网络，以及BP神经网络在函数逼近与样本含量估计两个实例中的应用分析。2.2 BP神经网络及其原理2.2.1 BP神经网络定义BP (Back Propagation)神经网络是一种神经网络学习算法。其由输入层、中间层、输出层组成的阶层型神经网络，中间层可扩展为多层。相邻层之间各神

28、经元进行全连接，而每层各神经元之间无连接，网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，各神经元获得网络的输入响应产生连接权值（Weight）。然后按减小希望输出与实际输出误差的方向，从输出层经各中间层逐层修正各连接权，回到输入层。此过程反复交替进行，直至网络的全局误差趋向给定的极小值，即完成学习的过程。2.2.2 BP神经网络模型及其基本原理BP网络是一种多层前馈神经网络，由输入层、隐层与输出层组成。图7为一个典型的三层BP网络的拓扑结构，层与层之间采用全互连方式，同一层之间不存在相互连接,隐层可以有一层或多层。层与层之间有两种信号在流通：一种是工作信号(用实线表示)，它是施加

29、输入信号后向前传播直到在输出端产生实际输出的信号，是输入与权值的函数。另一种是误差信号(用虚线表示),网络实际输出与期望输出间的差值即为误差，它由输出端开始逐层向后传播。BP网络的学习过程程由前向计算过程与误差反向传播过程组成。在前向计算过程中，输入量从输入层经隐层逐层计算，并传向输出层，每层神经元的状态只影响下一层神经元的状态。如输出层不能得到期望的输出，则转入误差反向传播过程，误差信号沿原来的连接通路返回，逐次调整网络各层的权值与阈值，直至到达输入层，再重复向计算。这两个过程一次反复进行，不断调整各层的权值与阈值，使得网络误差最小或达到人们所期望的要求时，学习过程结束。图7典型Bp网络模型

30、生物神经元信号的传递是通过突触进行的一个复杂的电化学等过程, 在人工神经网络中是将其简化模拟成一组数字信号通过一定的学习规则而不断变动更新的过程，这组数字储存在神经元之间的连接权重。网络的输入层模拟的是神经系统中的感觉神经元，它接收输入样本信号。输入信号经输入层输入， 通过隐含层的复杂计算由输出层输出，输出信号与期望输出相比较，若有误差，再将误差信号反向由输出层通过隐含层处理后向输入层传播。在这个过程中，误差通过梯度下降算法，分摊给各层的所有单元，从而获得各单元的误差信号，以此误差信号为依据修正各单元权值，网络权值因此被重新分布。此过程完成后， 输入信号再次由输入层输入网络，重复上述过程。这种

31、信号正向传播与误差反向传播的各层权值调整过程周而复始地进行着，直到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习次数为止。权值不断调整的过程就是网络的学习训练过程。BP 神经网络的信息处理方式具有如下特点: 1）信息分布存储。人脑存储信息的特点是利用突触效能的变化来调整存储内容， 即信息存储在神经元之间的连接强度的分布上， BP神经网络模拟人脑的这一特点，使信息以连接权值的形式分布于整个网络。2) 信息并行处理。人脑神经元之间传递脉冲信号的速度远低于冯诺依曼计算机的工作速度，但是在很多问题上却可以做出快速的判断、决策与处理，这是由于人脑是一个大规模并行与串行组合的处理系统。BP神经

32、网络的基本结构模仿人脑，具有并行处理的特征，大大提高了网络功能。3）具有容错性。生物神经系统部分不严重损伤并不影响整体功能，BP神经网络也具有这种特性，网络的高度连接意味着少量的误差可能不会产生严重的后果，部分神经元的损伤不破坏整体，它可以自动修正误差。这与现代计算机的脆弱性形成鲜明对比。4）具有自学习、自组织、自适应的能力。BP神经网络具有初步的自适应与自组织能力，在学习或训练中改变突触权值以适应环境，可以在使用过程中不断学习完善自己的功能，并且同一网络因学习方式的不同可以具有不同的功能，它甚至具有创新能力，可以发展知识，以至超过设计者原有的知识水平。2.3 BP神经网络的主要功能目前，在人

33、工神经网络的实际应用中。绝大部分的神经网络模型都采用BP神经网络及其变化形式。它也是前向网络的核心部分，表达了人工神经网络的精华。BP网络主要用于以下四方面。（1）函数逼近：用输入向量与相应的输出向量训练一个网络以逼近一个函数。（2）模式识别：用一个待定的输出向量将它与输入向量联系起来。（3）分类：把输入向量所定义的合适方式进行分类。（4）数据压缩：减少输出向量维数以便传输或存储。2.4 BP网络的优点以及局限性BP神经网络最主要的优点是具有极强的非线性映射能力。理论上，对于一个三层与三层以上的BP网络，只要隐层神经元数目足够多，该网络就能以任意精度逼近一个非线性函数。其次，BP神经网络具有对

34、外界刺激与输入信息进行联想记忆的能力。这是因为它采用了分布并行的信息处理方式，对信息的提取必须采用联想的方式，才能将相关神经元全部调动起来。BP 神经网络通过预先存储信息与学习机制进行自适应训练，可以从不完整的信息与噪声干扰中恢复原始的完整信息。这种能力使其在图像复原、语言处理、模式识别等方面具有重要应用。再次，BP 神经网络对外界输入样本有很强的识别与分类能力。由于它具有强大的非线性处理能力，因此可以较好地进行非线性分类, 解决了神经网络发展史上的非线性分类难题。另外， BP 神经网络具有优化计算能力。BP神经网络本质上是一个非线性优化问题, 它可以在已知的约束条件下，寻找一组参数组合，使该

35、组合确定的目标函数达到最小。不过，其优化计算存在局部极小问题，必须通过改进完善。由于BP网络训练中稳定性要求学习效率很小，所以梯度下降法使得训练很慢。动量法因为学习率的提高通常比单纯的梯度下降法要快一些，但在实际应用中还是速度不够，这两种方法通常只应用于递增训练。多层神经网络可以应用于线性系统与非线性系统中，对于任意函数模拟逼近。当然，感知器与线性神经网络能够解决这类网络问题。但是，虽然理论上是可行的，但实际上BP网络并不一定总能有解。对于非线性系统，选择合适的学习率是一个重要的问题。在线性网络中，学习率过大会导致训练过程不稳定。相反，学习率过小又会造成训练时间过长。与线性网络不同，对于非线性

36、多层网络很难选择很好的学习率。对那些快速训练算法，缺省参数值基本上都是最有效的设置。非线性网络的误差面比线性网络的误差面复杂得多，问题在于多层网络中非线性传递函数有多个局部最优解。寻优的过程与初始点的选择关系很大，初始点如果更靠近局部最优点，而不是全局最优点，就不会得到正确的结果，这也是多层网络无法得到最优解的一个原因。为了解决这个问题，在实际训练过程中，应重复选取多个初始点进行训练，以保证训练结果的全局最优性。 网络隐层神经元的数目也对网络有一定的影响。神经元数目太少会造成网络的不适性，而神经元数目太多又会引起网络的过适性。3 BP神经网络在实例中的应用快速发展的Matlab软件为神经网络理

37、论的实现提供了一种便利的仿真手段。Matlab神经网络工具箱的出现，更加拓宽了神经网络的应用空间。神经网络工具箱将很多原本需要手动计算的工作交给计算机，一方面提高了工作效率，另一方面，还提高了计算的准确度与精度，减轻了工程人员的负担。神经网络工具箱是在MATLAB环境下开发出来的许多工具箱之一。它以人工神经网络理论为基础，利用MATLAB编程语言构造出许多典型神经网络的框架与相关的函数。这些工具箱函数主要为两大部分。一部分函数特别针对某一种类型的神经网络的，如感知器的创建函数、BP网络的训练函数等。而另外一部分函数则是通用的，几乎可以用于所有类型的神经网络，如神经网络仿真函数、初始化函数与训练

38、函数等。这些函数的MATLAB实现，使得设计者对所选定网络进行计算过程，转变为对函数的调用与参数的选择，这样一来，网络设计人员可以根据自己的的需要去调用工具箱中有关的设计与训练程序，从烦琐的编程中解脱出来，集中精力解决其他问题，从而提高工作效率。3.1 基于MATLAB的BP神经网络工具箱函数神经网络工具箱几乎涵盖了所有的神经网络的基本常用模型，如感知器与BP网络等。对于各种不同的网络模型，神经网络工具箱集成了多种学习算法，为用户提供了极大的方便。Matlab 7.0神经网络工具箱中包含了许多用于BP网络分析与设计的函数，BP网络的常用函数如表1所示。表1 BP网络的常用函数表函数类型函数名称

39、函数用途前向网络创建函数newcf创建级联前向网络Newff创建前向BP网络传递函数logsigS型的对数函数tansigS型的正切函数purelin纯线性函数 学习函数learngd基于梯度下降法的学习函数learngdm梯度下降动量学习函数性能函数 mse均方误差函数msereg均方误差规范化函数 显示函数plotperf绘制网络的性能plotes绘制一个单独神经元的误差曲面plotep绘制权值与阈值在误差曲面上的位置errsurf计算单个神经元的误差曲面3.1.1 BP网络创建函数1) newff该函数用于创建一个BP网络。调用格式为：net=newffnet=newff(PR,S1 S

40、2.SN1,TF1 TF2.TFN1,BTF,BLF,PF)net=newff;用于在对话框中创建一个BP网络。net为创建的新BP神经网络；PR为网络输入向量取值范围的矩阵；S1 S2SNl表示网络隐含层与输出层神经元的个数；TFl TF2TFN1表示网络隐含层与输出层的传输函数，默认为tansig；BTF表示网络的训练函数，默认为trainlm；BLF表示网络的权值学习函数，默认为learngdm；PF表示性能数，默认为mse。 2）newcf函数用于创建级联前向BP网络，newfftd函数用于创建一个存在输入延迟的前向网络。3.1.2 神经元上的传递函数 传递函数是BP网络的重要组成部分

41、。传递函数又称为激活函数，必须是连续可微的。BP网络经常采用S型的对数或正切函数与线性函数。1) logsig该传递函数为S型的对数函数。调用格式为：A=logsig（N）info=logsig（code）其中，N：Q个S维的输入列向量；A：函数返回值，位于区间（0，1）中；2）tansig该函数为双曲正切S型传递函数。调用格式为：A=tansig（N）info=tansig（code）其中，N：Q个S维的输入列向量；A：函数返回值，位于区间（-1，1）之间。3）purelin该函数为线性传递函数。调用格式为：A=purelin（N）info=purelin（code）其中，N：Q个S维的输入

42、列向量；A：函数返回值，A=N。3.1.3 BP网络学习函数1）learngd该函数为梯度下降权值/阈值学习函数，它通过神经元的输入与误差，以及权值与阈值的学习效率，来计算权值或阈值的变化率。调用格式为：dW,ls=learngd(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)db,ls=learngd(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS)info=learngd(code)2) learngdm函数为梯度下降动量学习函数，它利用神经元的输入与误差、权值或阈值的学习速率与动量常数，来计算权值或阈值的变化率。3.1.4 BP网络训练函数1）train

43、神经网络训练函数，调用其他训练函数，对网络进行训练。该函数的调用格式为：net,tr,Y,E,Pf,Af=train(NET,P,T,Pi,Ai)net,tr,Y,E,Pf,Af=train(NET,P,T,Pi,Ai,VV,TV)2) traingd函数为梯度下降BP算法函数。traingdm函数为梯度下降动量BP算法函数。3.2 BP网络在函数逼近中的应用3.2.1 问题的提出BP网络由很强的映射能力，主要用于模式识别分类、函数逼近、函数压缩等。下面将通过实例来说明BP网络在函数逼近方面的应用。要求设计一个BP网络，逼近函数：g(x)=1+sin(k*pi/4*x)，实现对该非线性函数的逼

44、近。其中，分别令k=1，2，4进行仿真，通过调节参数（如隐藏层节点个数等）得出信号的频率与隐层节点之间，隐层节点与函数逼近能力之间的关系。3.2.2 基于BP神经网络逼近函数步骤1：假设频率参数k=1，绘制要逼近的非线性函数的曲线。函数的曲线如图8所示k=1;p=-1:.05:8;t=1+sin(k*pi/4*p);plot(p,t,-);title(要逼近的非线性函数);xlabel(时间);ylabel(非线性函数);图8逼近的非线性函数曲线步骤2：网络的建立应用newff()函数建立BP网络结构。隐层神经元数目n可以改变，暂设为n=3，输出层有一个神经元。选择隐层与输出层神经元传递函数分

45、别为tansig函数与purelin函数，网络训练的算法采用Levenberg Marquardt算法trainlm。 n=3;net = newff(minmax(p),n,1,tansig purelin,trainlm);%对于初始网络，可以应用sim（）函数观察网络输出。y1=sim(net,p);figure;plot(p,t,-,p,y1,:)title(未训练网络的输出结果);xlabel(时间);ylabel(仿真输出-原函数-);同时绘制网络输出曲线，并与原函数相比较，结果如图9所示。图9 未训练网络的输出结果其中“ ”代表要逼近的非线性函数曲线； “” 代表未经训练的函数曲

46、线；因为使用newff( )函数建立函数网络时，权值与阈值的初始化是随机的，所以网络输出结构很差，根本达不到函数逼近的目的，每次运行的结果也有时不同。步骤3：网络训练应用train（）函数对网络进行训练之前，需要预先设置网络训练参数。将训练时间设置为50，训练精度设置为0.01，其余参数使用缺省值。训练后得到的误差变化过程如图10所示。图10 训练过程net.trainParam.epochs=50(网络训练时间设置为50);net.trainParam.goal=0.01(网络训练精度设置为0.01）;net=train(net,p,t)（开始训练网络）;TRAINLM-calcjx, Epoch 0/50, MSE 9.27774/0.01, Gradient 13.3122/1e-010TRAINLM-calcjx,Epoch3/50,MSE0.00127047/0.01,Gradient0.0337555/1e-010TRAINLM, Performance goal met.从以上结果可以看出，网络训练速度很快，经过一次循环跌送过程就达到了要求的精度0.01。步骤4： 网络测试对于训练好的网络进行仿真：y2=sim(net,p);figure;