神经网络在模式识别中的简单分析及应用.doc

《神经网络在模式识别中的简单分析及应用.doc》由会员分享，可在线阅读，更多相关《神经网络在模式识别中的简单分析及应用.doc（53页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、【精品文档】如有侵权，请联系网站删除，仅供学习与交流神经网络在模式识别中的简单分析及应用.精品文档.毕业论文神经网络在模式识别中的简单分析及应用摘 要模式识别就是机器识别、计算机识别或者机器自动化识别，目的在于让机器自动识别事物，使机器能做以前只能由人类才能做的事，具备人所具有的对各种事物与现象进行分析、描述与判断的部分能力。它研究的目的就是利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观事物相符合。随着人们对人工神经网络的不断地认识，神经网络是指用大量的简单计算单元构成的非线性系统,它在一定程度和层次上模仿了人脑神经系统的信息处理、存储及检索功能，因而具有学习、记

2、忆和计算等智能处理功能。这样人们利用人工神经网络具有高度的并行性，高度的非线性全局作用以及良好的容错性与联想记忆功能，并且具有良好的自适应、自学习功能等突出特点，可运用MATLAB神经网络工具箱中的神经网络模型，对经过训练的神经网络可以有效地提取信号、语音、图像等感知模式的特征，并能解决现有启发式模式识别系统不能很好解决的不变量探测、抽象和概括等问题。这样神经网络可应用于模式识别的特征提取、聚类分析、边缘检测、信号增强以及噪声抑制、数据压缩等各个环节。使用机器来进行模式的识别是一项非常有用的工作，能够辨别符号等系列的机器是很有价值的。目前，模式识别技术可以应用指纹识别、IC卡技术应用、字符识别

3、等实例。模式识别成为人工神经网络特别适宜求解的一类问题。因此，神经网络技术在模式识别中也得到广泛应用与发展。关键词：模式识别；人工神经网络；神经网络模型；神经网络技术 AbstractPattern Recognition is the machine identification, computer identification or identification of machine automation, machine aimed at automatic identification of things to do before the machine can only be mad

4、e by man can do, with people with all kinds of things and on an analysis of the phenomenon, described with the ability to determine the part. It is the purpose of the study of the physical object to use the computer for classification, the probability of the smallest in the wrong conditions, so that

5、 the results of recognition as far as possible in line with objective things. As artificial neural network to recognize the continuing, neural network refers to a large number of simple calculation unit consisting of non-linear system, which to some extent and level system to imitate the human brain

6、s information processing, storage and retrieval functions, which has learning, memory and computing functions such as intelligent processing. Such people to use artificial neural network with a high degree of parallelism, the overall role of a high degree of non-linear and good fault tolerance and a

7、ssociative memory function, and have good self-adaptive, self-learning function, such as prominent features, the availability of MATLAB neural network toolbox The neural network model trained neural network can effectively extract the signal, voice, video and other features of perceptual patterns an

8、d heuristics to solve the existing pattern recognition systems are not well resolved invariant detection, such as abstract and summary issues. This neural network pattern recognition can be applied to feature extraction, clustering analysis, edge detection, signal enhancement and noise suppression,

9、data compression, such as various links. The use of machines for pattern recognition is a very useful work, such as series of symbols to identify the machines are of great value. At present, the pattern recognition technology can be applied to fingerprint identification, IC card technology applicati

10、ons, such as examples of character recognition. Artificial neural network pattern recognition has become especially suitable for solving a class of problem. Therefore, the neural network pattern recognition technology is also widely used and development.Key words：pattern recognition；artificial neura

11、l network；neural network model；neural network technology毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作 者 签 名： 日 期： 指导教师签名： 日期： 使用授权说明本人完全了解 大学关于收集、保存、使用毕业设计（

12、论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名： 日 期： 学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名： 日期： 年 月 日学位

13、论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期： 年 月 日导师签名： 日期： 年 月 日指导教师评阅书指导教师评价：一、撰写（设计）过程1、学生在论文（设计）过程中的治学态度、工作精神 优 良 中 及格 不及格2、学生掌握专业知识、技能的扎实程度 优 良 中 及格 不及格3、学生综合运用所学知识和专业技能分析和解决问题的能

14、力 优 良 中 及格 不及格4、研究方法的科学性；技术线路的可行性；设计方案的合理性 优 良 中 及格 不及格5、完成毕业论文（设计）期间的出勤情况 优 良 中 及格 不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及

15、格 不及格（在所选等级前的内画“”）指导教师： （签名） 单位： （盖章）年 月 日评阅教师评阅书评阅教师评价：一、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格二、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）评阅教师： （签名） 单位

16、： （盖章）年 月 日教研室（或答辩小组）及教学系意见教研室（或答辩小组）评价：一、答辩过程1、毕业论文（设计）的基本要点和见解的叙述情况 优 良 中 及格 不及格2、对答辩问题的反应、理解、表达情况 优 良 中 及格 不及格3、学生答辩过程中的精神状态 优 良 中 及格 不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良

17、中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格评定成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）教研室主任（或答辩小组组长）： （签名）年 月 日教学系意见：系主任： （签名）年 月 日目 录引言- 1 -1 模式识别概述- 1 -1.1 模式识别基本概念- 1 -1.2 模式识别系统- 2 -1.3 模式识别的主要方法- 2 -1.4 模式识别应用- 3 -2 人工神经网络概述- 4 -2.1 人工神经元模型- 4 -2.1.1阀值函数、Sigmoid函数和分线段性函数- 5 -2.2 人工神经网络模型- 5 -2.3 神经网络学习特点- 6 -

18、2.4 人工神经网络在模式识别问题中应用优势- 6 -3 神经网络模式识别- 7 -3.1 基于BP神经网络的模式识别- 7 -3.1.1BP神经网络模型简述- 7 -3.1.2BP学习算法- 8 -3.1.3BP神经网络应用于字符识别- 9 -3.2 基于径向基函数神经网络的模式识别- 16 -3.2.1径向基函数神经网络模型简述- 17 -3.2.2径向基函数神经网络应用特征模式的分类- 18 -3.3 基于自组织竞争神经网络的模式识别- 19 -3.3.1自组织竞争神经网络基本思想- 20 -3.3.2自组织竞争神经网络设计模式分类器的应用- 20 -3.4 基于反馈型神经网络的模式识别

19、- 24 -3.4.1反馈型神经网络模型简述- 24 -3.4.2反馈型神经网络在工程领域的应用- 24 -4 实验分析与总结- 31 -参考文献- 32 -附 录- 33 -引言模式识别的具体过程大致是对研究对象进行数据采集，数据预处理，特征提取和选择以及模式分类四步骤。在此，运用MATLAB神经网络工具箱中的神经网络模型，利用人工神经网络技术解决有关模式识别的简单问题。1 模式识别概述1.1 模式识别基本概念模式识别就是机器识别、计算机识别或者机器自动化识别，目的在于让机器自动识别事物，使机器能做以前只能由人类才能做的事，具备人所具有的对各种事物与现象进行分析、描述与判断的部分能力。它研究

20、的目的就是利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观事物相符合。机器辨别事物最基本的方法是计算，原则上说是对计算机要分析的事物与标准模板的相似程度进行比较计算。对于一些比较简单的模式识别问题，可以认为模式识别就是模式分类。如对于识别“0”到“9”这10个阿拉伯数字的课题研究，可以将其转化为把待识别的字符分为从“0”到“9”这十类中某一类的问题。但是，对于比较复杂的识别问题，仅用简单的模式分类就很难实现模式识别，因此还需要对待识别模式进行有关特征描述。在模式识别技术中，被待观测的每个对象称为样品。对于一个样品来说，必须确定一些与识别有关的因素作为研究的依据，每一

21、个因素称为一个特征。模式就是样品所具有特征的描述。模式特征集又可用处于同一个特征空间的特征向量表示。如果一个样品有个特征，则可以把看作一个维列向量，该向量称为特征向量。这样，模式识别问题就是根据的个特征来判断模式属于哪一类。待识别的不同模式都在同一特征空间中考察，不同模式类由于性质上的不同，它们在各特征取值范围内有所不同，因而会在不同的特征空间的不同区域中出现，因此，模式识别系统的目标是在特征空间和解释空间之间找到一种映射关系。特征空间由从模式得到的对分类有用的度量、属性以及基元构成的空间。解释空间是由所有不同所属类别的集合构成。正因如此，在模式识别过程中，要对许多具体对象进行观测，以获得许多

22、观测，其中有均值、方差、协方差和协方差矩阵等。 1.2 模式识别系统对于一个具体的模式识别问题，一般要进行数据采集、数据预处理、特征提取与选择以及模式分类四步骤。研究模式识别过程实际上就是实现由数据空间经特征空间到类别空间的映射。在模式识别中，通常将经数据预处理后的原始数据所在的空间称为测量空间，把分类进行的空间叫做特征空间。一个模式识别系统是由学习模块和测试模块两个模块组成，如图1-2所示。模式分类决策未知模式特征提取和选择未知模式数据获取识别结果数据预处理改进判别规则确定判别规则训练样本特征提取和选择数据预处理训练样品特征数据输入误差检测调整特征提取与选择图1-2模式识别系统示意在两个模块

23、中都需要数据的预处理，而数据预处理功能是多方面的，如除去噪声信号的边缘影响；将研究有关的模式分离；对模式样品标准化等。训练模式样本的特征数据输入过程，就是将已知的模式样品进行数值化后载入计算机。这样对于输入样品进行分析，除去对分类无用或者易造成混淆的特征，尽量保留对分类判别有效的数值特征，于是完成模式识别的特征选择。接下来就是按照设定的分类判别模型对给定的训练样品进行训练，得到分类的判别规则，有了判别规则就可以进行模式识别过程，最后得到输出识别结果。 1.3 模式识别的主要方法模板匹配方法、结构模式识别和统计模式识别是目前常用的模式识别方法。模板匹配模式识别是通过比较待识别模式和已有模式的相似

24、程度来达到识别模式的目的，也是应用最早最简单的模式识别形式。随着科学技术的发展和研究对象的深入，模式识别问题也变得非常复杂多变，这就要求人们对于事物的识别不仅局限于简单的模式分类，还需要应对模式结构作全面完善的描述，从而需要运用结构模式识别方法。但是目前，研究最多也较为深入的模式识别方法是统计模式识别，神经网络模式识别技术也可以归为到这类方法中。在统计模式识别中，每一个模式采用多维特征或测量值来表示，最终的目的是由这些特征构成的空间能将各模式类有效的分离。统计模式识别主要研究对象的因素包括特征的提取和优化、分类判别和聚类判别。如何确定合适的特征空间是设计模式识别系统一个非常重要的问题，对特征空

25、间进行优化可以采用特征选择和特征组合优化两种基本方法。对于已知若干个样品的类别以及特征，我们需要对分类问题建立一个样品库。根据这些样品库建立判别分类函数，这就让机器学习来实现，然后对某些未知的新对象分析它们的特征以至决定它们属于哪一类，就需要有监督学习的方法。有时候，已知若干对象和它们的特征，但不知道每个对象属于哪一类，而且事先也并不知道究竟分为几类。这样就可能需要考虑用某种相似性度量的方法，即运用“物以类聚，人以群分”的思想，把特征相似或相同的归为同一类，这样就采用了无监督的学习方法。1.4 模式识别应用模式识别技术已广泛应用于文字识别、语音识别、图像识别、指纹识别、身份识别、医学诊断、工业

26、产品检测等众多科学领域。模式识别技术同时也是人工智能的基础技术。随着科学技术的不断发展，模式识别不断发展和完善，模糊理论、神经网络、遗传算法和支持向量机等研究成果也渗透进来，融合形成了解决复杂问题的一种有效机制。在运用模式识别技术中，我们需要根据具体问题与模式识别方法结合起来，同时把人工神经网络、智能计算结合起来，逐步通过模式分类、网络训练、确定优化区域，找到优化准则，从而实现优化、应用和发展。经过多年的科学发展，文字识别是模式识别领域发展最为成熟并应用最为广泛的方面。如手写体阿拉伯数字的识别在邮政信函自动分拣上起到重要的作用。语音识别的难度和复杂度都很高，因为要提取语音的特征，不仅要分析语音

27、的结构和语音的物理过程，还要涉及听觉的物理和生理过程。但是，语音识别课题已在不同领域中运用，尤其在身份鉴别中起到很大作用。同样地，模式识别在医学上应用也很多，如医学图片分析、染色体的自动分类、癌细胞的分类等领域。应该可以这样说，模式识别技术在科学不断发展的推动下，已逐渐被人们所认知和认同，并能结合新的有关科学研究技术，可以有效的解决复杂多变的识别问题，提供了一种分析解决问题的重要工具。 2 人工神经网络概述2.1 人工神经元模型神经网络是指用大量的简单计算单元(神经元)构成的非线性系统,它在一定程度和层次上模仿了人脑神经系统的信息处理、存储及检索功能，因而具有学习、记忆和计算等智能处理功能。人

28、工神经网络结构和工作原理基本上是结合人脑的组织结构和活动规律，来反映人脑的某些基本特征，但并不是对人脑部分的真实再现。人工神经元模型是生物神经元的模拟和抽象。根据生物神经元的结构和工作原理，构造一个神经元如图2-1所示。人工神经元是人工神经网络的基本单元，从图中可以看出，它相当于一个多输入单输出的非线性阀值器件。这里的表示个神经元的输入；表示与该相连的个突触的连接强度其值成为权值，其每个元素的值可以为正负，正值的表示为兴奋型突触，负值的表示为抑制型突触；表示人工神经元的输入总和，也就是激活值，对应于生物神经细胞的膜电位；表示该神经元的输出；表示该人工神经元的阀值；表示神经元的输入输出关系函数，

29、亦即激活函数或传输函数。如果神经元输入的加权和大于，则该神经元被激活。这样可以表示神经元的激活函数为.阀值一般不是一个常数，是随着神经元的兴奋程度而发生变化的。激活函数常用的三种类型是：阀值函数、Sigmoid函数和分线段性函数。2.1.1阀值函数、Sigmoid函数和分线段性函数激活函数常用的三种类型是：阀值函数、Sigmoid函数和分线段性函数。现简述这三种类型函数。(1)阀值函数阀值函数定义为：该阀值函数通常称为阶跃函数，若激活函数采用阶跃函数，则该人工神经元模型即为著名的MP模型。这时神经元的输出取1或0，反映了神经元的兴奋或抑制。此外，符号函数也常作为神经元的激活函数，即表示为：(2

30、)Sigmoid函数Sigmoid函数也称为型函数，是人工神经网络中最常用的激活函数。型函数定义为：其中是型函数的斜率参数。通过调整参数，可以获取不同斜率的型函数。(3)分线段性函数分段性函数定义为：该函数在线性区间内的放大系数是一致的。这种形式的激活函数可看作是非线性放大器的近似。 2.2 人工神经网络模型根据神经元之间连接的拓扑结构上的不同，大致可以将神经网络结构分为两种形式，即分层型和相互连接型神经网络。分层型网络是将一个神经网络中的所有神经元按功能分为若干层，一般有输入层、隐含层和输出层，各层顺序连接。按网络的拓扑结构的不同，可以将分层神经网络细分为简单的前馈型网络、具有反馈型的前馈网

31、络以及层内的互连前馈型网络。相互连接型的神经网络则是网络中任意两个神经元之间相互连接。随着人工神经网络技术的发展，人们对神经网络的认识已不断进步和完善，提出了许多神经网络模型，其研究应用广泛的神经网络模型是BP神经网络、径向基函数神经网络、自组织竞争神经网络、反馈型神经网络和概率神经网络等。2.3 神经网络学习特点人工神经网络与生物神经网络一样，必须要经过学习才具有智能功能。神经网络学习过程实际是调节权值和阀值的过程。模仿人的学习过程，人们提出了多种神经网络的学习方式，其中主要有三种形式：有监督学习、无监督学习和强化学习。学习往往是一个相对持久的变化过程，也是一个推理的过程。有监督学习是指在有

32、“导师”指导和考察的情况下进行学习的方式，所图2-2所示。神经网络学习系统根据一定的学习规则进行学习，每次学习过程完成后。“导师”都要考察学习的结果是否达到所需的要求，并以此来决定网络是否需要继续学习。无监督学习是不存在“导师”的指导和考察，是靠学习者或神经网络系统自身完成的，如图2-3所示。其实这是一种自我学习、自我组织过程。强化学习就介于有监督学习和无监督学习两种方式之间，如图2-4所示。神经网络学习系统神经网络学习系统神经网络学习系统输入p实际输出输入p实际输出输入p实际输出外部环境误差分析误差条件评价标准期望输出 图2-2有监督学习方式 图2-3无监督学习方式 图2-4强化学习方式2.

33、4 人工神经网络在模式识别问题中应用优势人工神经网络，简称神经网络，是对人脑或自然神经网络若干基本特性的抽象和模拟，是一种基于连接学说构造的智能仿生模型，是由大量神经元组成的非线性动力系统。以生物神经网络为模拟基础的人工神经网络试图在模拟推理和自动学习等方面发展，使得人工智能更接近人脑的自组织和并行处理功能，它在信息处理、模式识别、聚类分析和智能控制等领域应用广泛。神经网络的主要特点是：(1)并行协同处理信息。神经网络中每个神经元都可以根据接受到的信息进行独立的运算和处理，并输出计算结果，同一层的各个神经元的输出结果可以被同时计算出来，然后传输给下一层做进一步处理，体现了神经网络并行处理运算的

34、特点，这使得它具有很强的实时性。(2)知识的分布存储能力。在神经网络中，知识不是存储在特定的存储单元中，而是分布在整个系统中，要存储多个知识就需要更多链接。在计算机中，只要给定一个地址就可以得到一个或一组数据。人根据联想记忆可以正确识别图形，人工神经网络就采用联想记忆的办法来获得存储的知识，保证网络的正确性，提高了网络的容错性和鲁棒性。(3)对信息的处理具有自组织、自学习特点，便于联想、综合和推广。神经网络的神经元之间的连接强度用权值大小来表示，这种权值可以通过对训练样本的学习而不断变化，而且随着训练样本量的增加和反复学习，这些神经元之间的连接强度会不断增加，从而提高神经元对这些样本特征的反映

35、灵敏度。(4)模式识别能力。目前有很多神经网络模型可以善于模式识别。模式识别也是人工神经网络最重要的特征之一。它不但可以能识别静态信息，对实时处理复杂的动态信息也显示强大的作用。虽然模式识别往往是非常复杂的，里面的各个因素相互影响，呈现出复杂多变的非线性关系，但是人工神经网络技术为解决这类非线性问题提供了强有力的方法。纵观人工神经网络特点，神经网络处理模式识别问题上，相比其他传统方法，具有以下优点：首先对所处理的问题的了解要求不是很多；其次就是可以对特征空间进行更为复杂的划分；再次它适用于高速并行处理系统的实现。事物发展总是有两面的。人工神经网络也存在自身固有的弱点，如网络需要更多的训练数据，

36、无法获取特征空间中的决策面，以及在非并行处理系统中的模拟运行速度慢等缺点。3 神经网络模式识别3.1 基于BP神经网络的模式识别单层神经网络只能解决线性可分的问题，对于非线性分类问题就需要运用多层神经网络，还需要寻找训练多层神经网络的学习算法。目前，最著名的多层神经网络学习算法应该是BP算法。BP算法训练的神经网络就是BP神经网络。在众多人工神经网络模型中，大部分采用BP网络或是它的变化形式，可以说BP 神经网络是前馈型网络的核心部分，体现了人工神经网络最精华的部分。BP神经网络采用的是有监督学习方式。3.1.1BP神经网络模型简述前馈型神经网络通常含有一个或多个隐层，隐层中的神经元基本均采用

37、型传递函数，输出层的神经元采用线性传递函数。BP神经网络属于前馈型神经网络，它具有前馈型神经网络的基本结构。一个典型的BP神经网络如图3-1所示，有一个隐层，隐层神经元数目为S,隐层采用型神经元函数logsig( )，具有个输入。隐层的非线性传递函数神经元可以学习输入输出之间的线性和非线性关系，线性的输出层是为了拓宽网络输出。 输入向量 神经元图3-1 BP神经网络简单模型3.1.2BP学习算法BP神经网络学习算法解决了多层感知器的学习问题，促进了神经网络的发展。在BP网络学习过程主要在两个方面：(1)工作信号正向传播：指的是输入信号从输入层经隐层神经元，传向输出层，在输出端产生输出信号。在信

38、号的向前传递过程中的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号反向传播。 (2)误差信号反向传播：指的是网络的实际输出与期望输出之间差值即为误差信号，误差信号由输出端开始逐层向前传播。在此过程中，网络的权值由误差信号反馈进行相应地调节。通过权值的不断修正使网络的实际输出更接近期望输出。但是BP算法的存在以下主要缺点：收敛速度慢、局部极限、难以确定隐层和隐层节点个数。针对BP算法这些缺点，出现了许多改进算法。BP算法的改进主要有两种途径：一种采用启发式学习算法，另一种则是采用更有效的优化算法。所谓启发式算法就是对于表现函数梯度加以

39、分析，从而改进算法，其中包括：有动量的梯度下降法(traingdm)、有自适应lr的下降法(traingda)、有动量和自适应lr的梯度下降法(traingdx)和弹性梯度下降法法(trainrp)等。另一种优化算法则是基于数值最优化理论的训练算法，有共轭梯度法(traincgbtraincgftraingcgptrainscg)、高斯牛顿法(trainbfgtrainoss)和Levenberg-Marquardt算法(trainlm)。有动量的梯度下降法在神经网络工具箱中，traindm函数采用了有动量的梯度下降法。动量法降低了网络对于误差曲面局部细节的敏感性，所加入的动量项实际上相当于阻

40、尼项，它减少了学习过程的振荡趋势，从而改善了收敛性，提高了学习速度并增加了算法的可靠性。其训练函数调整参数，详见附录三。有自适应lr的梯度下降法在梯度下降法中，学习速率对于整个网络训练过程有很大的影响，训练成功与否跟学习速率的选取关系很大。要是在训练过程中合理地修改学习速率，可能会避开一些缺陷，从而增加稳定性，提高学习速度和精度。其训练函数调整参数详见附录三。无论是函数逼近还是模式识别，都必须对神经网络训练。训练之前首先需要样本，样本中包含输入向量以及相应的期望输出向量，训练过程中应不断调整权值和阀值，使得神经网络的表现函数达到最小。前馈型神经网络的表现函数缺省为网络输出和期望输出向量的均方差

41、mse。这样，在训练神经网络之前需要构造一个网络构架，函数newff( )就是构造神经网络的，其指令格式：net=newffnet=newff(PR,S1 S2SN,TF1 TF2TFN,BTF,BLF,PF)其中参数意义： 输入向量的取值范围； 第层的神经元个数，共层； 第层的传递函数，缺省值为tansig； 网络训练函数，缺省值为trainlm； 网络权值和阀值的学习函数，缺省值为learngdm； 性能函数，缺省值为mse。执行结果是创建一个层的BP神经网络。然后需要调整参数方式和参数值，当神经网络的权值和阀值初始化以后，我们就可以对网络进行训练并仿真。 3.1.3BP神经网络应用于字符

42、识别(1)问题描述设计一个BP网络并训练它来识别字母表中的26个字母，最后结果是对应每个字母有一个57的布尔量网格，但是实际得到的字母网络图存在一些非线性因素或者噪声干扰，因此设计出来的网络不仅要能够对理想的输入向量进行很好的分类，也要对误差的输入向量具有合理的准确度量。不妨假设，26个字母含35个元素的输入向量被定义成一个输入向量矩阵alphabet(字母表)。目标向量也可以被定义成一个变量targets(目标集)。其中每个目标向量含有26个元素。向量代表某个字母，则对应位置的元素值为1，而其他位置对应的值为0。同时网络还应具有容错能力，对输入向量，若其噪声均值为0，标准差不大于0.2，则能

43、够分辨出来。(2)设计BP网络，初始化并训练网络建立一个有两层结构的logsig网络，它的输出范围在01间，同时需要35个输入，在输出层需要26个神经元。考虑到神经元数目的选择，隐含层设计10个神经元。那么设计好训练网络后，就是要使其输出向量中正确的位置值为1，其余为0，但是有非线性因素和噪声信号的干扰，网络可能就不是那么精确输出值为1或0，这就需要在训练之后，引入有噪声的字母信号输入网络，就可以实现我们的目标值。接下来就初始化，使用newff创建一个两层BP网络%网络初始化alphabet,targets=prprob;R,Q=size(alphabet);S2,Q=size(targets

44、);S1=10;P=alphabet;net= newff(minmax(P),S1 S2,logsig logsig,traingdx);net.LW2,1=net.LW2,1*0.01;net.b2=net.b2*0.01;T=targets;其中在matlab神经网络工具箱中有prprob函数为：help prprob PRPROB Character recognition problem definition ALHABET,TARGETS = PRPROB() Returns: ALPHABET - 35x26 matrix of 5x7 bit maps for each letter. TARGETS - 26x26 target vectors.接下来，为了使得产生的网络对输入向量有一定的容错能力，可以通过使用理想的信号和带有噪声的信号对网络进行训练，这样使用20组理想信号和带有噪声的信号对网络训练，开始使用无噪声的信号训练，当训练时间达到5000个时间单位或者网络的平方和误差小于0.1时停止网络的训练。