神经网络在数学建模中的应用.pdf
《神经网络在数学建模中的应用.pdf》由会员分享,可在线阅读,更多相关《神经网络在数学建模中的应用.pdf(44页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、摘要神经网络(Neural Network-NN)是当今最具魅力的一个新兴学科生长点,已发展成 为现代科学技术的新热点,其迅猛发展将对整个信息科学产生巨大的影响。神经网络在数 学建模中的应用也非常的广泛。本文首先概述了人工神经网络的基础理论,接着阐述了神经网络的模型、结构、分 类、特性。然后针对应用的目的,介绍了数学建模中常用两种的神经网络。常用的神经 网络主要有两种:一种是基于误差反传算法的前馈神经网络,即露神经网络,主要用来 实现非线性映射;另一种是自组织神经网络,即网,主要用来聚类和模式识别。神经网络在数学建模中比较擅长的是联想记忆,作分类器,作预测,作参数选择,作控制器等等,这些问题都
2、可以通过神经网络进行解决。应用实例为2005年数学建模竞赛原题,使用“3P神经网络逼近法”预测算法模型,计算了观测站各时间段的预测值。“3P神经网络逼近法”为通用算法,优点是计算灵活,尤其对稳态随机过程的逼近效果较好,对精度要求比较高的问题,可以很好的解决,而 且可以作整体预测,因此是目前最流行的算法。它解决了两个实际问题,其一为函数逼 近问题,其二为预测问题,重点论述了如何结合实际应用问题来进行数据预处理、网络 建立、网络训练及结果分析,展示3尸神经网络在应用上的能力。最后,本文简要展望神经网络网络的发展前景,我们有理由相信,只要我们坚持不 懈地努力,来自神经网络理论研究的一些新理论和新方法
3、必将给21世纪科学研究带来源 源不断的动力。关键词:神经网络 数学建模 3P神经网络 自组织神经网络目录1 前言.12神经网络基本理论.12.1 什么是神经网络.12.2 人工神经网络基础.12.2.1 生物神经元模型.12.2.2 人工神经元模型.22.2.3 处理单元的激活转移函数.32.2.4 M-P 模型.52.3 神经网络模型.52.4 人工神经网络的训练.52.4.1 无导师学习.62.4.2 有导师学习.72.5 神经网络特性.83 BP神经网络.93.1 BP神经网络结构.93.2 BP网络的Matlab编程实现及讨论.113.3 学习算法讨论.124 自组织特征映射神经网络(
4、Self-Org anizing feature Map).134.1 SOM网简介.134.2 SOM网的生物学基础.134.3 SOM网的拓扑结构.144.4 SOM网的权值调整域.144.5 SOM网的学习算法.155神经网络在数学建模中的应用举例.165.1 神经网络在数学建模中解决哪类问题.165.1.1 联想记忆.165.1.2 分类和聚类.175.1.3 优化计算.175.1.4 预测.175.2 应用举例:雨量预报方法的评价(2005数学建模竞赛题目C题,见附录B).185.2.1 问题重述:.185.2.2 问题的条件和假设:.185.2.4 模型分析与求解.195.2.5
5、问题一的分析.205.2.6 预测算法设计:.205.2.7 两种算法对六小时降雨量预报方法准确性分析.245.2.8 问题二的求解算法.255.2.9 问题的结论.265.2.10 模型的评价.286神经网络的发展展望.29致 谢.31参考文献.32Abstrac t.错误!未定义书签。附 录.34本科生毕业论文成绩评定表.371前言人工神经网络的研究始于20世纪40年代。人工神经网络是从微观结构与功能上对 人脑神经系统的模拟而建立起来的一类模型,具有模拟人的部分形象思维的能力,其特 点主要是具有非线性特性、学习能力和自适应性,是模拟人的智能的一条重要途径。它 是由简单信息处理单元(人工神经
6、元,简称神经元)互联组成的网络,能接受并处理信息。网络的信息处理由单元之间的相互作用来实现,它是通过把问题表达成处理单元之间的 连接权来处理的。20世纪80年代以来。神经网络的理论和应用研究都取得了很大的成 绩.在模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等领域得到了 广泛的应用2神经网络基本理论2.1 什么是神经网络人工神经网络简称神经网络,是人脑及其活动的一个理论化的数学模型,它由大量 的处理单元通过适当的方式互联构成,是一个大规模的非线性自适应系统。1988年,Hecht-Nielsen曾给人工神经网络下了如下定义:人工神经网络是一个并行、分布处理结构,它由处理单元及称为
7、联接的无向信号通 道互联而成。这些处理单元(PE-Processing E lement)具有局部内存,并可以完成局部操 作。每个处理单元有一个单一的输出联接,这个输出可以根据需要被分支成希望个数的 许多并行联接,且这些并行联接都输出相同的信号,即相应处理单元的信号,信号的大 小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型,每个处理 单元中进行的操作必须是完全局部的。人工神经网络除了可以叫做并性分布处理系统(PDP)外,还可以叫做人工神经系 统(ANS)、神经网络(NN)、自适应系统(AdajMve Systems 自适应网(Ada1Mve Nenvo rZs)、联接模型
8、QCoimectionism)、神经计算机(Neurocomputer)等。2.2 人工神经网络基础2.2.1 生物神经元模型神经元(即神经细胞)是脑的基本组成单位,从人脑的结构来看,它由大量的神经 细胞组合而成。这些细胞相互连接,每个细胞完成某种基本功能,如兴奋和抑制,它们 并行工作,整体上完成复杂思维活动和信息处理。大多数神经元具有某些结构上的共同 特征,通常可以将其分为细胞体、树突和轴突三个区,如图1所示。1图1生物神经元结构细胞体由细胞核、细胞质和细胞膜等组成;树突是精致的管状延伸物,是细胞体向 外伸出的许多较短的分支,围绕细胞体形成灌木丛状,它们的作用是接受来自四面八方 传入的神经冲
9、击信息,相当于细胞的“输入端”,信息流从树突出发,经过细胞体,然后 由轴突传出。轴突是由细胞体向外伸出的最长的一条分支,形成一条通路,信号能经过 此通路从细胞体长距离地传送到脑神经系统的其他部分,其相当于细胞的“输出端”。人脑功能是依靠信息流经由神经元组成的复杂网络来完成的,信息是通过神经元系 统中的接合部(即突触)由一个细胞传递至另一个细胞。突触有两种类型:即兴奋型和 抑制型。当输入脉冲使细胞膜电位升高,超过动作电位的阈值时,产生正的电位的称为 兴奋型突触;当输入脉冲使细胞膜电位下降至动作电位的阈值时,产生负的电位的称为 抑制型突触。由于轴突的末端分出许多末梢,它们与其他神经元的树突(和细胞
10、体、轴突)构成 一种称为突触的结合部,树突在突触接收信号后,将它传递给细胞体,信号在那里积累,激起神经元兴奋或抑制,从而决定神经元的状态。2.2.2 人工神经元模型神经元是神经网络的基本处理单元,一般表现为一个多输入、单输出的非线性器 件.通用的结构模型如图2所示。2月re图2神经元结构模型其中,,为神经元的内部状态,q为阈值,勺为输入信号,均表示与神经元不连接的权值,号表示某一外部输入的控制信号。du.0V=/(%)=;(L2)-1,u.h乃=/(%)=%/,(1.5)1 或0,u.%,)=:)(34)”=呢=fk(netk,4)=+e_d)(3.5)式中Oj和Ok分别为中间层第j个神经元和
11、输出层第k个神经元的阈值。BP网络的训练采用基于梯度法的方学习律,其目标是使网络输出与训练样本的均方 误差最小。设训练样本为P个,其中输入向量为N;输出向量为丁,产,V;相应的教师值(样本)向量为,产,产。则第尸个样本的均方误差为:1 NK(3.6)式中,和y/分别为第k个输出神经元第p个样本的教师值和实际输出值。输出层的权值调整为:wjk(+1)=Oj+必吗(3.7)比=&-式)*碇(3.8)式中,为学习率;。为动量因子。中间层的权值调整为:%(+1)=瑜;0:+必%()(3.9)NK歹=7时)乞%吗”(3.10)k=阈值的调整与权值相类似,不再赘述。103.2 BP网络的Matlab编程实
12、现及讨论设要求逼近的函数为y=(%;+%;)/2,其中xpx2g-1,1o网络采用2-5-1结构,即输入层2个节点,隐层5个节点,输出层1个 节点。输出层的和中间层采用标准Sigmoid 函数。实现流程如图5所示,具体步骤如下。初始化。权值和阈值取随机数;确定学习率 和动量因子;设定学习误差准则。设置样本。将阳、在给定范围内均匀1。等分,产生121个训练样本。前向传播:根据式1)(3.5)计算各层输出。后向传播:根据式8)和式(3.10)计算各层误差。根据式(3.7)和式(3.9)调整权值和阈值。全部样本是否都已训练?若否,则返回步骤图5 BP网络实现流程进行下一样本训练。计算总性能指标。全部
13、样本的误差函数为纥=出判断性能指标纥是否满足要P=1求:纥?若已满足,则训练结束;否则返回步骤。经过3845次学习(=0.03,无动量项)后达到设定误差=0.1,误差曲线如图6所示。用训练好的BP网络对测试样本进行测试,测试样本为否、马在给定范围内均匀2。等分 产生441个数据。测试误差均值为-0.0027,方差为0.0012,测试数据用Matlab中的Mesh()三维画图函数得到如图7所示结果,程序见附录A。110万部t图6 BP学习误差曲线图7仿真结果3.3 学习算法讨论在实际应用中,BP算法存在着训练时间长、收敛速度慢的缺点。在BP基本算法中 增加动量项是一种常用且有效的方法,通过实验对
14、改进学习算法中学习率和动量因子对 收敛速度的影响进行仿真研究。不同学习率和动量因子时所需的学习次数如表1所示。表1不同学习率和动量因子下所需的学习次数X0.0 10.020.0 30.040.0 5120.3795040412702204516500.4681734442320175814210.5568328751941147511950.645492307156511969750.73142174211959277690.822661181843678568从表1结果中可以看出:当学习率不变时,增大动量因子,所需学习次数随之减 少。当动量因子不变时,增大学习率,所需学习次数随之减少,但学习
15、率不能过大,否则将可能导致学习算法不收敛。增加动量项后对学习速度有明显改善。如,当二0.5 时,学习次数通常只需无动量项时的50%,当=0.8时,学习次数通常只需无动量项时的 25%0在网络是一种无反馈的多层前向神经网络,有很强的函数逼近能力,应用非常广泛。通过一个二元函数逼近的实例,对BP网络的构造和程序实现进行了研究。针对在网络 存在训练时间长、收敛速度慢的缺点,采用动量项的学习算法能有效提高学习速度,不 同参数对跖网络的收敛速度有很大影响,仿真结果表明,较大的学习率和动量因子能提 高学习速度,但过大的取值则可能导致学习算法不收敛。4自组织特征映射神经网络(Self-Organizing
16、feature Map)4.1 SOM网简介1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网,简称SOM 网,又称Kohonen网。Kohonen认为:一个神经网络接受外界输入模式时,将会分为不同的对应区域,各 区域对输入模式具有不同的响应特征,而且这个过程是自动完成的。自组织特征映射正 是根据这一看法提出来的,其特点与人脑的自组织特性相类似。4.2 网的生物学基础生物学研究的事实表明,在人脑的感觉通道上,神经元的组织原理是有序排列。因 此当人脑通过感官接受外界的特定时空信息时,大脑皮层的特定区域兴奋,而且类似的 外界信息在对应区域是连续映象的。对于某一图形或某
17、一频率的特定兴奋过程,神经元的有序排列以及对外界信息的连 13续映象是自组织特征映射网中竞争机制的生物学基础。4.3 网的拓扑结构网共有两层,输入层模拟感知外界输入信息的视网膜,输出层模拟做出响应的 大脑皮层,如图8。(a)一维线阵(b)二维平面线阵图8 SOM网的拓扑结构4.4 网的权值调整域SOM网的获胜神经元对其邻近神经元的影响是由近及远,由兴奋逐渐转变为抑制,因此其学习算法中不仅获胜神经元本身要调整权向量,它周围的神经元在其影响下也要 程度不同地调整权向量。如图9,这种调整可用三种函数表示:图9权向量调整函数表示以获胜神经元为中心设定一个邻域半径,该半径圈定的范围称为优胜邻域。在SOM
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 数学 建模 中的 应用
限制150内