人工神经网络应用实例分析7361.pptx

《人工神经网络应用实例分析7361.pptx》由会员分享，可在线阅读，更多相关《人工神经网络应用实例分析7361.pptx（20页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人工神经网络的研究方法及应用人工神经网络的研究方法及应用实实 例例 分分 析析2022.6.10第一页，共二十页。一、人工神经网络知识回忆一、人工神经网络知识回忆 1 1、什么是人工神经网络？、什么是人工神经网络？T.Koholen T.Koholen的定义：的定义：“人工神经网络是由具有适应性的简人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反响。神经系统对真实世界物体所作出的交互反响。第二页，共二十页。2 2、神经网络根本模型、神经网络根本模型细细胞胞体体突突触触轴轴突

2、突树树突突图图1.生生物物神神经经元元功功能能模模型型输输入入输输出出信信息息处处理理电电脉脉冲冲形形成成传传输输图图2 BP神经网络结构模型神经网络结构模型第三页，共二十页。3、人工神经网络、人工神经网络研究的局限性研究的局限性1 1ANNANN研究受到脑科学研究成果的限制。研究受到脑科学研究成果的限制。2 2ANNANN缺少一个完整、成熟的理论体系。缺少一个完整、成熟的理论体系。3 3ANNANN研究带有浓厚的策略和经验色彩。研究带有浓厚的策略和经验色彩。4 4ANNANN与传统技术的接口不成熟。与传统技术的接口不成熟。第四页，共二十页。1一般而言一般而言,ANN与经典计算方法相比并非优越

3、与经典计算方法相比并非优越,只有当常规只有当常规方法解决不了或效果不佳时方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特如故障诊断、特征提取和预测等问题征提取和预测等问题,ANN往往是最有利的工具。往往是最有利的工具。2另一方面另一方面,ANN对处理大量原始数据而不能用规那么或公式描述对处理大量原始数据而不能用规那么或公式描述的问题的问题,表现出极大的灵活性和自适应性。表现出极大的灵活性和自适应性。黑箱黑箱第五页，共二十页。二、神经网络的应用实例二、

4、神经网络的应用实例 人工神经网络以其具有自学习、自组织、较好人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力，受到众多领域的容错性和优良的非线性逼近能力，受到众多领域学者的关注。在实际应用中，学者的关注。在实际应用中，80%80%90%90%的人工神经的人工神经网络模型是采用误差反传算法或其变化形式的网络网络模型是采用误差反传算法或其变化形式的网络模型简称模型简称BPBP网络，目前主要应用于函数逼近、网络，目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。模式识别、分类和数据压缩或数据挖掘。第六页，共二十页。1.样本数据样本数据1.1 收集和整理分组收集和整理分

5、组 采用采用BP神经网络方法建模的首要和前提条件神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。是有足够多典型性好和精度高的样本。为监控训练学习过程使之不发生为监控训练学习过程使之不发生“过拟合过拟合和评价建立的网络模型的性能和泛化能力，和评价建立的网络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、检验必须将收集到的数据随机分成训练样本、检验样本样本10%以上和测试样本以上和测试样本10%以上以上3局部。局部。数据分组时还应尽可能考虑样本模式间的平数据分组时还应尽可能考虑样本模式间的平衡。衡。第七页，共二十页。1.2 输入输入/输出变量确实定及其数据的预处理输出变

6、量确实定及其数据的预处理 一般地，一般地，BP网络的输入变量即为待分析系统的内生变量影响网络的输入变量即为待分析系统的内生变量影响因子或自变量数因子或自变量数,一般根据专业知识确定。一般根据专业知识确定。假设输入变量较多，一般可通过主成份分析方法压减输入假设输入变量较多，一般可通过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统误变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。差的比值的大小来压减输入变量。输出变量即为系统待分析的外生变量系统性能指标或因变量，输出变量即为系统待分析的外生变量系统性能指标或因变量，可以是一个，也可以是多个。一

7、般将一个具有多个输出的网络模可以是一个，也可以是多个。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。便。第八页，共二十页。1.3 数据的预处理数据的预处理要对输入数据进行预处理。要对输入数据进行预处理。如果输出层节点如果输出层节点也采用也采用Sigmoid转换函数，输出变量也必须作转换函数，输出变量也必须作相应的预处理，否那么，输出变量也可以不做相应的预处理，否那么，输出变量也可以不做预处理。预处理。预处理的方法有多种多样，各文献采用的公预处理的方法有多种多样，各文献采用的公式也不尽相同。但必须

8、注意的是，预处理的数式也不尽相同。但必须注意的是，预处理的数据训练完成后，网络输出的结果要进行反变换据训练完成后，网络输出的结果要进行反变换才能得到实际值。才能得到实际值。再者，为保证建立的模型具有一定的外推再者，为保证建立的模型具有一定的外推能力，最好使数据预处理后的值在能力，最好使数据预处理后的值在0.20.8之之间。间。第九页，共二十页。2.神经网络拓扑结构确实定神经网络拓扑结构确实定2.1 隐层数的选取隐层数的选取 一般认为，增加隐层数可以降低网络误差也一般认为，增加隐层数可以降低网络误差也有文献认为不一定能有效降低，提高精度，有文献认为不一定能有效降低，提高精度，但也使网络复杂化，从

9、而增加了网络的训练时但也使网络复杂化，从而增加了网络的训练时间和出现间和出现“过拟合的倾向。过拟合的倾向。Hornik等早已证明：假设输入层和输出层采用等早已证明：假设输入层和输出层采用线性转换函数，隐层采用线性转换函数，隐层采用Sigmoid转换函数，那转换函数，那么含一个隐层的么含一个隐层的MLP网络能够以任意精度逼近网络能够以任意精度逼近任何有理函数。显然，这是一个存在性结论。任何有理函数。显然，这是一个存在性结论。在设计在设计BP网络时可参考这一点，应优先考虑网络时可参考这一点，应优先考虑3层层BP网络即有网络即有1个隐层。个隐层。一般地，靠增加隐层节点数来获得较低的误差，一般地，靠增

10、加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。其训练效果要比增加隐层数更容易实现。第十页，共二十页。2.2 隐层节点数隐层节点数 在在BP 网络中，隐层节点数的选择非常重要，它不仅对建立的网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现神经网络模型的性能影响很大，而且是训练时出现“过拟合过拟合的直接原因，但是目前理论上还没有一种科学的和普遍确实定的直接原因，但是目前理论上还没有一种科学的和普遍确实定方法。方法。目前多数文献中提出确实定隐层节点数的计算公式都是针对目前多数文献中提出确实定隐层节点数的计算公式都是针对训练样本任意多的情

11、况，而且多数是针对最不利的情况，一训练样本任意多的情况，而且多数是针对最不利的情况，一般工程实践中很难满足，不宜采用。事实上，各种计算公式般工程实践中很难满足，不宜采用。事实上，各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。得到的隐层节点数有时相差几倍甚至上百倍。为尽可能防止训练时出现为尽可能防止训练时出现“过拟合现象，保证足够高的过拟合现象，保证足够高的网络性能和泛化能力，确定隐层节点数的最根本原那么是：网络性能和泛化能力，确定隐层节点数的最根本原那么是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。研究说明，隐层

12、节点数不仅与输入能少的隐层节点数。研究说明，隐层节点数不仅与输入/输输出层的节点数有关，更与需解决的问题的复杂程度和转换出层的节点数有关，更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。函数的型式以及样本数据的特性等因素有关。第十一页，共二十页。在确定隐层节点数时必须满足以下条件：在确定隐层节点数时必须满足以下条件：隐层节点数必须小于隐层节点数必须小于N-1其中其中N为训练样本数，否那么，网络模为训练样本数，否那么，网络模型的系统误差与训练样本的特性无关而趋于零，即建立的网络模型的系统误差与训练样本的特性无关而趋于零，即建立的网络模型没有泛化能力，也没有任何实用价值。同

13、理可推得：输入层的型没有泛化能力，也没有任何实用价值。同理可推得：输入层的节点数变量数必须小于节点数变量数必须小于N-1。(2)训练样本数必须多于网络模型的连接权数，一般为训练样本数必须多于网络模型的连接权数，一般为210倍，否那么，样本倍，否那么，样本必须分成几局部并采用必须分成几局部并采用“轮流训练的方法才可能得到可靠的神经网络模轮流训练的方法才可能得到可靠的神经网络模型。型。第十二页，共二十页。p假设隐层节点数太少，网络可能根本不能训练或网络假设隐层节点数太少，网络可能根本不能训练或网络p 性能很差；假设隐层节点数太多，虽然可使网络的系性能很差；假设隐层节点数太多，虽然可使网络的系p 统

14、误差减小，但一方面使网络训练时间延长；统误差减小，但一方面使网络训练时间延长；p另一方面，训练容易陷入局部极小点而得不到最优另一方面，训练容易陷入局部极小点而得不到最优p 点，也是训练时出现点，也是训练时出现“过拟合的内在原因。过拟合的内在原因。p因此，合理隐层节点数应在综合考虑网络结构复杂因此，合理隐层节点数应在综合考虑网络结构复杂p 程度和误差大小的情况下用节点删除法和扩张法确程度和误差大小的情况下用节点删除法和扩张法确p 定。定。第十三页，共二十页。3.神经网络的训练神经网络的训练3.1 训练训练 BP网络的训练就是通过应用误差反传原理不断调整网络权值网络的训练就是通过应用误差反传原理不

15、断调整网络权值使网络模型输出值与能看出的训练样本输出值之间的误差平方和使网络模型输出值与能看出的训练样本输出值之间的误差平方和到达最小或小于某一期望值。虽然理论上早已经证明：具有到达最小或小于某一期望值。虽然理论上早已经证明：具有1个个隐层采用隐层采用Sigmoid转换函数的转换函数的BP网络可实现对任意函数的任网络可实现对任意函数的任意逼近。但遗憾的是，迄今为止还没有构造性结论，即在给定有意逼近。但遗憾的是，迄今为止还没有构造性结论，即在给定有限个训练样本的情况下，如何设计一个合理的限个训练样本的情况下，如何设计一个合理的BP网络模型并网络模型并通过向所给的有限个样本的学习训练来满意地逼近样

16、本所蕴通过向所给的有限个样本的学习训练来满意地逼近样本所蕴含的规律函数关系，不仅仅是使训练样本的误差到达很小的含的规律函数关系，不仅仅是使训练样本的误差到达很小的问题，目前在很大程度上还需要依靠经验知识和设计者的经验。问题，目前在很大程度上还需要依靠经验知识和设计者的经验。因此，通过训练样本的学习训练建立合理的因此，通过训练样本的学习训练建立合理的BP神经网络模型神经网络模型的过程，在国外被称为的过程，在国外被称为“艺术创造的过程，是一个复杂而又十艺术创造的过程，是一个复杂而又十分烦琐和困难的过程。分烦琐和困难的过程。第十四页，共二十页。由于BP网络采用误差反传算法，其实质是一个无约束的非线性

17、最优化计算过程，在网络结构较大时不仅计算时间长，而且很容易限入局部极小点而得不到最优结果。目前虽已有改进BP法、遗传算法GA和模拟退火算法等多种优化方法用于BP网络的训练(这些方法从原理上讲可通过调整某些参数求得全局极小点)，但在应用中，这些参数的调整往往因问题不同而异，较难求得全局极小点。这些方法中应用最广的是增加了冲量动量项的改进BP算法。第十五页，共二十页。3.2 训练函数的选择训练函数的选择第十六页，共二十页。第十七页，共二十页。第十八页，共二十页。3.3 学习率和冲量系数学习率和冲量系数 学习率影响系统学习过程的稳定性。大的学习率可能使学习率影响系统学习过程的稳定性。大的学习率可能使

18、网络权值每一次的修正量过大，甚至会导致权值在修正过程网络权值每一次的修正量过大，甚至会导致权值在修正过程中超出某个误差的极小值呈不规那么跳跃而不收敛；但过小中超出某个误差的极小值呈不规那么跳跃而不收敛；但过小的学习率导致学习时间过长，不过能保证收敛于某个极小值。的学习率导致学习时间过长，不过能保证收敛于某个极小值。所以，一般倾向选取较小的学习率以保证学习过程的收敛性所以，一般倾向选取较小的学习率以保证学习过程的收敛性稳定性，通常在稳定性，通常在0.010.8之间。之间。增加冲量项的目的是为了防止网络训练陷于较浅的局增加冲量项的目的是为了防止网络训练陷于较浅的局部极小点。理论上其值大小应与权值修

19、正量的大小有关，但部极小点。理论上其值大小应与权值修正量的大小有关，但实际应用中一般取常量。通常在实际应用中一般取常量。通常在01之间，而且一般比学习之间，而且一般比学习率要大。率要大。第十九页，共二十页。内容总结人工神经网络的研究方法及应用实 例 分 析2022.6.10。T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反响。预处理的方法有多种多样，各文献采用的公式也不尽相同。这些方法中应用最广的是增加了冲量动量项的改进BP算法。增加冲量项的目的是为了防止网络训练陷于较浅的局部极小点第二十页，共二十页。