神经网络 (2)幻灯片.ppt
神经网络第1页，共25页，编辑于2022年，星期一一、引言oANN(Artificial Neural Networks)是模仿人脑神经网络的数学模型，是一种信息处理系统。o人脑固有特征：n并行分布处理工作模式n神经系统的可塑性和自组织性n系统性第2页，共25页，编辑于2022年，星期一二、发展史o1943 W.Mcculloch和W.Pitts首次提出了人工神经网络模型。o1957 Frank Rosenblatt发展了模型，并提出了感知器（Perceprton)模型以及两层感知器的收敛定理（1962），提出引入隐层处理元件的三层感知器这一重要的研究方向o1959 B.Widrow和M.Hoff提出了自适应线性元件（Adaline)o1969 Papert和Minsky出版了Perceptrons,对感知器的功能及其局限性从数学上作了深入的研究，提出了双层感知器的许多局限性。第3页，共25页，编辑于2022年，星期一o1982 John Hopfieldt提出具有联想记忆和优化计算的反馈网络模型（HNN模型），使人们对人工神经网络有了新的认识。o1986 D.E.Rumelhart提出BP算法。o1987 IEEE举行首次神经网络会议，国际神经网络学会成立。第4页，共25页，编辑于2022年，星期一三、神经网络的基本结构n人工神经元（接受、处理、输出信号）n连接权重（强度）n连接模式n学习算法第5页，共25页，编辑于2022年，星期一1.单个神经元的结构p1p2.prw1w2wrnba1PWA第6页，共25页，编辑于2022年，星期一2.激活函数（核心）作用1)控制输入对输出的激活作用；2)对输入、输出进行函数转换3)将可能无限于的输入变成指定的有限范围的输出第7页，共25页，编辑于2022年，星期一常用的激活函数：o阀值型（硬限制性）o线性型第8页，共25页，编辑于2022年，星期一oS型（Sigmoid)将任意输入值压缩到（0，1）的范围内。对数S型fn-b0-11第9页，共25页，编辑于2022年，星期一f-bn-110双曲正切S型第10页，共25页，编辑于2022年，星期一4.神经网络的结构三层网络的结构示意图第11页，共25页，编辑于2022年，星期一每一层的作用 o输入层从外部接受信息并将此信息传入人工神经网络，以进行处理。o隐含层接受输入层的信息，静静地对所有的信息进行处理，整个处理步骤用户是看不见的。o输出层接受人工神经网络处理后的信息，将结果送到外部接受器。o神经网络仅仅具有拓扑结构，还不能具有任何智能特性，必须有一套完整的学习、工作规则与之配合 第12页，共25页，编辑于2022年，星期一四、神经网络的分类1.拓扑结构：n前向网络n反馈网络 反馈网络结构图反馈网络结构图Chat of backfeed neural network第13页，共25页，编辑于2022年，星期一2.按学习方式分类按学习方式分类 教师示教学习方式教师示教学习方式Chat of neural with tutor第14页，共25页，编辑于2022年，星期一无教师示教学习方式无教师示教学习方式Chat of neural network without tutor第15页，共25页，编辑于2022年，星期一五、神经网络的特点1)高度的并行性2)高度的非线性全局作用3)良好的容错性与联想记忆功能4)十分强的自适应、自学习功能第16页，共25页，编辑于2022年，星期一六、神经网络的应用o模式信息处理和模式识别o最优化计算问题o信息的智能化处理o复杂控制o信号处理第17页，共25页，编辑于2022年，星期一七、BP算法 反响传播网络（Back-Propagation Network)是非线性可微分函数进行权值训练的多层网络，主要用于：o函数逼近o模式识别o分类o数据压缩第18页，共25页，编辑于2022年，星期一1.BP网络的学习过程网络的学习过程 o假设BP网络中有r个输入单元、n个隐含单元、m个输出单元，则称为rnm网络。输入节点i和隐含节点之间的连接权值为w(1)ij，作用函数f为Sigmoid函数，训练集包含M个样本模式对(xk,yk,)。第19页，共25页，编辑于2022年，星期一o对每个训练样本 Pi，于每个隐含单元的输出为Aj，则：第20页，共25页，编辑于2022年，星期一o隐含节点j和输出节点k之间的连接权重为w(2)jk,则对于输出Oj：o若对应于Pi的目标值为di,定义误差函数：第21页，共25页，编辑于2022年，星期一o可得如下权值修正公式：o式中为学习速率，w为ei的函数，为动量因子。)()1(D+=+wtwtw)()1(-+twtwah第22页，共25页，编辑于2022年，星期一第23页，共25页，编辑于2022年，星期一2.主要步骤1)初始化2)对每个样本作如下计算o前向计算输出o反向计算误差o修正权值3）输入新的样本，直到达到要求第24页，共25页，编辑于2022年，星期一3.缺点及修正1.误差梯度下降，但易陷入极小点处误差梯度下降，但易陷入极小点处n可以增加动量项，n对权重用均匀分布的随机数进行初始化，n改进激发函数n采用全局优化算法2.收敛速度慢收敛速度慢，n可采用“批处理”算法n使各种神经元的学习速度差不多n自适应学习效率3.隐含层神经元数数目难以确定隐含层神经元数数目难以确定n采用逐步增长或逐步修剪的方法第25页，共25页，编辑于2022年，星期一
