人工神经网络论文.doc
《人工神经网络论文.doc》由会员分享,可在线阅读,更多相关《人工神经网络论文.doc(17页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、【精品文档】如有侵权,请联系网站删除,仅供学习与交流人工神经网络论文.精品文档.人 工 神 经 网 络学 号: 080081002007 学生所在学院: 信息工程学院学 生 姓 名: 李 建 建任 课 教 师: 聂 文 滨 教师所在学院: 信息工程学院2009年12月目 录第一部分: 绪论31.1人工神经网络的定义31.2人工神经网络的基本原理31.3生物神经元31.4人工神经元模型41.5人工神经网络模型51.6.常见神经元响应函数71.7.神经网络基本学习算法81.7.1有教师学习(监督学习)81.7.2无教师学习(无监督学习)81.7.3强化学习(再励学习)8第二部分:反向传播网络92.
2、1 BP网络92.1.1BP网络主要应用:92.1.2BP网络特点92.1.3多层BP网络简介92.2三层BP网络102.2.1三层BP网络结构图102.2.2三层BP网络学习算法112.2.3三层BP网络设计需要考虑的问题11第三部分:自适应竞争神经网络123.1自组织网络123.1.1网络类型123.1.2网络学习规则133.2竞争网络133.2.1网络结构133.2.2竞争网络原理143.2.3网络工作方式143.2.4 网络训练153.2.5竞争网络的局限性15第四部分:地震预报的MATLAB实现154.1基于人工神经网络的地震预测研究背景154.2模型的建立164.3自适应竞争网络对
3、地震等级进行预测164.3.1数据处理164.3.2自适应竞争网络设计174.4BP网络对地震的大小进行预测184.4.1数据处理184.4.2BP网络的设计19第五部分:作业21第一部分: 绪论1.1人工神经网络的定义人工神经网络的定义不是统一的,T.Koholen对人工神经网络的定义:“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。”1.2人工神经网络的基本原理人工神经网络(articles neural network,ANN)结构和工作机理基本上以人脑的组织结构(大脑神经元网络)和活动规律为背景的,它反映了人脑
4、的某些基本特征,但并不是要对人脑部分的真实再现,可以说它是某种抽象、简化或模仿。1.3生物神经元神经元是大脑处理信息的基本单元,人脑大约由1011个神经元组成,神经元互相连接成神经网络。神经元以细胞体为主体,由许多向周围延伸的不规则树枝状纤维构成的神经细胞,其形状很像一棵枯树的枝干。主要由细胞体、树突、轴突和突触(Synapse,又称神经键)组成 。图1.1 生物神经元的示意图生物神经元传递信息的过程为多输入、单输出,神经元各组成部分的功能来看,信息的处理与传递主要发生在突触附近,当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度,即超过其阈值电位后,突触前膜将向突触间隙释放神经传递的化
5、学物质,突触有两种类型,兴奋性突触和抑制性突触。前者产生正突触后电位,后者产生负突触后电位。1.4人工神经元模型 1通用模型P1P2PnW1W2Wna f2求和操作3响应函数y=(s)1.5人工神经网络模型1前向网络 (a) 2从输出到输入有反馈的前向网络 (b)3用来存储某种模式序列,层内互连前向网络 (c)4限制层内同时动作的神经元;分组功能相互结合型网络 (d)1.6.常见神经元响应函数a)阈值单元(s)= (b)线性单元y=(s)=s(c)非线性单元:Sigmoid函数 (1)(2)1.7.神经网络基本学习算法1.7.1有教师学习(监督学习)神经网络(学习系统)误差分析误差信号e t期
6、望输出P输入a 期望输出1.7.2无教师学习(无监督学习)神经网络(学习系统)P输入a 期望输出1.7.3强化学习(再励学习)神经网络(学习系统)外部环境评价信息P输入a 期望输出第二部分:反向传播网络2.1 BP网络反向传播网络(Back-Propagation Network,简称BP网络)是将W-H学习规则一般化,对非线性可微分函数进行权值训练的多层网络 。权值的调整采用反向传播(Back-propagation)的学习算法,它是一种多层前向反馈神经网络,其神经元的变换函数是S型函数。输出量为0到1之间的连续量,它可实现从输入到输出的任意的非线性映射。2.1.1BP网络主要应用:(1)函
7、数逼近:用输入矢量和相应的输出矢量训练一个网络逼近一个函数(2)模式识别和分类:用一个特定的输出矢量将它与输入矢量联系起来;把输入矢量以所定义的合适方式进行分类;(3)数据压缩:减少输出矢量维数以便于传输或存储(4)具有将强泛化性能:使网络平滑地学习函数,使网络能够合理地响应被训练以外的输入 泛化性能只对被训练的输入输出对最大值范围内的数据有效,即网络具有内插值特性,不具有外插值性。超出最大训练值的输入必将产生大的输出误差2.1.2BP网络特点(1)输入和输出是并行的模拟量(2)网络的输入输出关系是各层连接的权因子决定,没有固定的算法(3)权因子通过学习信号调节。学习越多,网络越聪明(4)隐含
8、层越多,网络输出精度越高,且个别权因子的损坏不会对网络输出产生大的影响只有当希望对网络的输出进行限制,如限制在0和1之间,那么在输出层应当包含S型激活函数。在一般情况下,均是在隐含层采用S型激活函数,而输出层采用线性激活函数。2.1.3多层BP网络简介多层BP网络是一种具有三层或三层以上的多层神经网络,每一层都由若干个神经元组成,如图 2-1所示,它的左、右各层之间各个神经元实现全连接,即左层的每个神经元与右层的每个神经元都由连接,而上下神经元无连接。ri1ri2rimO1O2Om2-1多层BP网络BP网络按有教师学习方式进行训练,当一对学习模式提供给网络以后,其神经元的激活值将从输入层经中间
9、层向输出层传播,在输出层的各神经元输出对应于输入模式的网络响应。然后,按减少希望输出与实际输出误差的原则,从输出层经中间层,最后回到输入层逐层修正个连接权。由于这种修正过程是从输出到输入逐层进行的,所以称它为“误差逆传播算法”。随着这种误差逆传播训练的不断进行,网络对输入模式响应的正确率也将不断提高。由于BP网络有处于中间位置的隐含层,并有相应的学习规则可循,可训练这种网络,使其具有对非线性模式的识别能力。图 2-2用于多指标综合评价的三层BP神经网络2.2三层BP网络2.2.1三层BP网络结构图图 2-2三层BP网络结构图2.2.2三层BP网络学习算法为了使BP网络具有某种功能,完成某项任务
10、,必须调整层间连接权值和节点阈值,使所有样品的实际输出和期望输出之间的误差稳定在一个较小的值以内。在训练BP网络算法中,误差反向传播算法是最有效最常用的一种方法。BP网的学习过程主要有以下四个部分组成。1) 输入模式顺传播(输入模式由输入层经中间层向输出层传播计算)。2) 输出误差逆传播(输出的误差由输出层经中间层传向输入层)。3) 循环记忆训练(模式顺传播与误差逆传播的计算过程反复交替循环进行)。4) 学习结果判别(判定全局误差是否趋向极小值)。2.2.3三层BP网络设计需要考虑的问题在进行BP网络的设计时,应从网络的层数、每层中的神经元数、初始值及学习速率等几个方面考虑。1) 网络的层数已
11、经证明:三层BP网络可以实现多维单位立方体Rm到Rn 的映射,即能够逼近任何有理函数。这实际上给了一个设计BP网络的基本原则。增加层数可以更进一步降低误差,提高精度,但同时也使网络复杂化,从而增加网络权值的训练时间。而误差精度的提高实际上可以通过增加隐含层的神经元数目来获得,其训练结果也比增加层数更容易观察和调整。所以一般情况下,应优先考虑增加隐含层的神经元个数。2) 隐含层的神经元数网络训练精度的提高,可以通过采用一个隐含层而增加神经元数的方法来获得。这在结构的实现上要比增加更多的隐含层简单的多。在具体设计时,比较实际的做法是隐含层取输入层的两倍,然后适当地加上一点余量。评价一个网络设计的好
12、坏,首先是它的精度,再是它的训练时间。时间包含两层含义:一层是循环次数,二是每一次循环所花的时间。3) 初值权值的选取由于系统是非线性的,初始值的选取对于学习是否达到局部最小,是否能够收敛以及训练时间的长短有很大关系。初始值过大、过小都会影响学习速度,因此权值的初始值应选为均匀分布的小数经验值,一般取初始权值在(-1,1)之间的随机数,也有选取在-2.4/F, 2.4/F之间的随机数的,其中F为输入特征个数。为避免每一步权值的调整方向是同向的,应将初始值设为随机数。4) 学习速率学习速率决定每一次循环中所产生的权值变化量。快的学习速率可能导致系统的不稳定。但慢的学习速率导致较长的训练时间,可能
13、收敛很满,不过能保证网络的误差值跳出误差表面的低谷而最终趋于最小误差值。所以在一般情况下,倾向于选择较慢的学习速率以保证系统的稳定性。学习速率的选择范围在0.01-0.8之间。如同初始权值的选取过程一样,在一个神经网络的设计中,网络要经过几个不同的学习速率的训练,通过观察每一次训练后的误差平方和e2 的下降速率来判断所选定的学习速率是否合适,若e2下降很快,则说明学习速率合适,若e2出现振荡现象,则说明学习速率过快。对于每一个具体网络都存在一个合适的学习速率,但对于较复杂网络,在误差曲面的不同部位可能需要不同的学习速率。为了减少寻找学习速率的训练次数和训练时间,比较合适的方法是采用变化的自适应
14、学习速率,使网络的训练在不同的阶段自动设置不同的学习速率。一般说,学习速率越快,收敛越快,但容易振荡;而学习速率越慢,收敛越慢。5) 期望误差的选取在网络的训练过程中,期望误差值也应当通过对比训练后确定一个合适的值。所谓“合适”,是相对所需要的隐含层的节点数来确定,因为较小的期望误差要靠增加隐含层的节点以及训练时间来获得。一般情况下,作为对比,可以同时对两个不同期望误差的网络进行训练,最后通过综合因素的考虑来确定采用其中一个网络。尽管含有隐含层的神经网络能实现任意连续函数的逼近,但在训练过程中如果一些参数选取合适,可以加快神经网络的训练,缩短神经网络的训练时间和取得满意的训练结果。对训练过程影
15、响较大的是权系数的初值、学习速率等。1) 调整量与误差成正比,即误差越大,调整的幅度就越大。2) 调整量与输入值的大小成正比,由于输入值越大,在这次学习过程中就显得越活跃,所以与其相连的权值的调整幅度就应该越大。3) 调整量与学习系数成正比。通常学习系数在0.01-0.8之间,为使整个学习过程加快,又不引起振荡,可采用变学习率的方法,即在学习初期取较大的学习系数,随着学习过程的进行会逐渐减少其值。第三部分:自适应竞争神经网络3.1自组织网络自组织神经网络可以自动向环境学习,不需要教师指导;而前面所讲到的前向网络、反馈网络均需要教师指导学习与BP网络相比,这种自组织自适应的学习能力进一步拓宽了人
16、工神经网络在模式识别、分类方面的应用思想基础生物的神经网络中,如人的视网膜中,存在着一种“侧抑制”现象,即一个神经细胞兴奋后,通过它的分支会对周围其他神经细胞产生抑制借鉴上述思想,自组织网络能够对输入模式进行自组织训练和判断,并将输入模式分为不同的类型。3.1.1网络类型1.需要训练的网络(1)自组织竞争网络适用与具有典型聚类特性的大量数据的辨识(2)Kohunen网络训练学习后使网络权值分布与输入样本概率密度分布相似可以作为样本特征检测仪,在样本排序、样本分类及样本检测方面有广泛应用(3)对传网络(Counter Propagation Network)在功能上用作统计最优化和概率密度函数分
17、析可用于图像处理和统计分析(4)神经认知机2.不需要训练(1)自适应共振理论(ART)分类的类型数目可自适应增加。3.1.2网络学习规则1.格劳斯贝格(SGrossberg)提出了两种类型的神经元模型:内星与外星,用以来解释人类及动物的学习现象(1)内星可以被训练来识别矢量(2)外星可以被训练来产生矢量2.基本学习规则(1)内星学习规则可以通过内星及其学习规则可训练某一神经元节点只响应特定的输入矢量P,它借助于调节网络权矢量W近似于输入矢量P来实现的。单内星中对权值修正的格劳斯贝格内星学习规则为:内星神经元联接强度的变化w1j与输出成正比的。如果内星输出a被某一外部方式而维护高值时,通过不断反
18、复地学习,趋使w1j逐渐减少,直至最终达到w1jpj,从而使内星权矢量学习了输入矢量P,达到了用内星来识别一个矢量的目的另一方面,如果内星输出保持为低值时,网络权矢量被学习的可能性较小,甚至不能被学习(2)外星学习规则外星网络的激活函数是线性函数。它被用来学习回忆一个矢量,其网络输入P也可以是另一个神经元模型的输出。外星被训练来在一层s个线性神经元的输出端产生一个特别的矢量A对于一个外星,其学习规则为:与内星不同,外星联接强度的变化w是与输入矢量P成正比的当输入矢量被保持高值,比如接近1时,每个权值wij将趋于输出ai值,若pj1,则外星使权值产生输出矢量,当输入矢量pj为0时,网络权值得不到
19、任何学习与修正。(3)科荷伦学习规则科荷伦学习规则是由内星规则发展而来的.科荷伦规则为:wij=lr*(pj-wij),科荷伦学习规则实际上是内星学习规则的一个特例,但它比采用内星规则进行网络设计要节省更多的学习,因而常常用来替代内星学习规则。3.2竞争网络3.2.1网络结构竞争网络由单层神经元网络组成,其输入节点与输出节点之间为全互联结。因为网络在学习中的竞争特性也表现在输出层上,所以在竞争网络中把输出层又称为竞争层,而与输入节点相连的权值及其输入合称为输入层。图3-1为竞争网络的结构图。3-1竞争网络的结构图3.2.2竞争网络原理 设网络的输入矢量为:Pp1 p2 pr,T对应网络的输出矢
20、量为:Aa1 a2 asT由于竞争网络中含有两种权值,所以其激活函数的加权输入和也分为两部分:来自输入节点的加权输入和N与来自竞争层内互相抑制的加权输入和G。对于第i个神经元有来自输入节点的加权输入和为ni=来自竞争层内互相抑制的加权输入和为对于第i个输出神经元,假设竞争获胜,则有ak=1,k=i,从而ak=0,k=1,2,s,ki, 如果竞争后第i个节点“输”了,而“赢”的节点为l,则有ak=1,k=l,从而ak=0,k=1,2,s,kl, 3.2.3网络工作方式输入矢量经过网络前向传递,网络竞争,激活函数为硬限制二值函数,竞争网络的激活函数使加权输入和为最大的节点赢得输出为1,而其他神经元
21、的输出皆为0。权值调整(可以处于训练与工作期间)竞争网络在经过竞争而求得获胜节点后,则对与获胜节点相连的权值进行调整。调整权值的目的是为了使权值与其输入矢量之间的差别越来越小,从而使训练后的竞争网络的权值能够代表对应输入矢量的特征。3.2.4 网络训练竞争网络修正权值的公式为wij=lr*(pj-wij) 式中lr为学习速率,且0lr1,一般的取值范围为0.01-0.3,pj为经过归一化处理后的输入。层中每个最接近输入矢量的神经元,通过每次权值调整而使权值矢量逐渐趋于这些输入矢量。从而竞争网络通过学习而识别了在网络输入端所出现的矢量,并将其分为某一类。竞争网络的学习和训练过程,实际上是对输入矢
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工 神经网络 论文
限制150内