人工神经网络PPT讲稿.ppt

人工神经网络第1页，共38页，编辑于2022年，星期四什么是人工神经网络(ANN)？n 利用计算机模拟人脑的工作方式n 感知机是最简单的ANNn 不严格定义（1987年，Simpson给出）ANN是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。第2页，共38页，编辑于2022年，星期四7.1 历史回顾（五个时期）n萌芽期 从人类开始研究自身智能1949年 来源于神经解剖学和神经生理学。萌芽期两大标志（1）1943年，心理学家McCulloch和数学家Pitts建立了阈值加权和模型，MP模型。（2）1949年，心理学家D.O.Hebb提出神经元突触联系可变假说。Hebb学习律是ANN学习训练算法起点（里程碑）。第3页，共38页，编辑于2022年，星期四7.1 历史回顾（五个时期）n 第一高潮期（19501968）重要成果：单级感知机及电子线路模拟 代表人物：Marvin Minsky、Frank Rosenblatt、Bernard Widrow第4页，共38页，编辑于2022年，星期四7.1 历史回顾（五个时期）n反思期（19691982）标志：1969年，MIT出版社发表感知机一书，无情否定。反思期中曾有人提出了BP反传算法，但未受重视。第5页，共38页，编辑于2022年，星期四7.1 历史回顾（五个时期）n 第二高潮期（198290年代初）标志：美国加州理工学院生物物理学家J.Hopfield于1982、1984年在美国科学院院刊上发表两篇重要论文。代表作：（1）1982年，Hopfield提出循环网络，将Lyapunov函数引入人工神经网络。（2）1984年，Hopfield研制出被称为Hopfield网的电路。（3）1985年，美国加州圣地亚哥分校（UCSD）的并行处理小组（PDP）在Hopfield网络中引入随机机制。（4）1986年，PDP小组的Rumehart等重新独立提出了BP算法。第6页，共38页，编辑于2022年，星期四7.1 历史回顾（五个时期）n 第二高潮期（198290年代初）国内首届神经网络大会于1990年12月在北京举行。90年，863高技术研究计划批准了ANN的三项课题，自然科学基金与国防科技预研基金也把NN列入选题指南。第7页，共38页，编辑于2022年，星期四7.1 历史回顾（五个时期）n 再认识与应用研究期 进入20世纪90年代后，发现还有很多问题，还无法对ANN工作机制严格解释。目前研究：（1）开发现有模型应用，改造算法，提高速度和准确度。（2）希望理论上的突破，建立新的专用/通用模型和算法。（3）进一步对生物神经系统进行研究，不断丰富对人脑的认识。第8页，共38页，编辑于2022年，星期四7.2 人工神经元生物神经元树突输入细胞体轴突突触输出等效模型第9页，共38页，编辑于2022年，星期四7.2 人工神经元树突输入细胞体轴突突触输出神经元细胞体生存（信息处理）树突接收其它神经元信号，与其它神经末稍互联形成突触轴突信息传输管道神经元状态兴奋，阈值约40mV，有输出抑制，无输出第10页，共38页，编辑于2022年，星期四7.2 人工神经元激励函数为阈值函数情况激励函数为S函数情况第11页，共38页，编辑于2022年，星期四7.2 人工神经元n f 函数的选取Sigmoid函数，双极，无限可微Sigmoid函数，单极，无限可微阈值函数第12页，共38页，编辑于2022年，星期四7.2 人工神经元n神经元的学习算法 Hebb学习规则基本思想：如果一神经元接收来自另一神经元的输出，则当这两个神经元同时兴奋时，其连接权值得到加强。第13页，共38页，编辑于2022年，星期四7.3 感知器n前馈神经网络有些文献不将输入层作为一层第14页，共38页，编辑于2022年，星期四7.3 感知器n感知器网络结构双层神经网络，只能解决线性可分问题。输出类别指示输入样本第15页，共38页，编辑于2022年，星期四神经网络特点n分布式存储信息，用神经网络间连接权值的分布来表示特定的信息，当局部网络受损，仍能恢复原来的信息。n对信息的处理具有并行性。每个神经元都可以根据接收到的信息作独立的运算和处理，然后将结果传输出去，体现了并行处理的概念。n对信息的处理具有自组织、自学习的特点。通过改变连接权值适应周围环境变化，称为神经元学习过程。第16页，共38页，编辑于2022年，星期四7.4 反向传播算法（BP法）n 一般为三层前馈神经网络n 激励函数为Sigmoid函数基本思想：根据样本希望输出与实际输出之间的平方误差最小，利用梯度下降法，从输出层开始，逐层修正权系数。修正周期分两个阶段前向传播阶段反向传播阶段第17页，共38页，编辑于2022年，星期四7.4 反向传播算法（BP法）3层前馈神经网络单个神经元节点前向传播阶段第18页，共38页，编辑于2022年，星期四7.4 反向传播算法（BP法）反向传播阶段梯度下降法令误差函数最小第19页，共38页，编辑于2022年，星期四7.4 反向传播算法（BP法）反向一层传播学习速率，搜索步长第20页，共38页，编辑于2022年，星期四7.4 反向传播算法（BP法）反向二层传播某一隐层节点受所有输出层节点影响第21页，共38页，编辑于2022年，星期四BP算法若干问题讨论n BP采用S函数，输出不宜设为1或0，可设为0.9或0.1。n 权系数初始化 不应将初始值设为相同，否则在学习过程中始终不变，可设为随机值。n 步长的选择 应设为可变步长，以防止震荡。n 局部最小问题 BP算法是非线性优化算法，初始值设置不当，可能陷入局部极小。n 前馈网络结构 输入节点数为模式维数，输出节点数一般为类别数，隐层节点数尚无明确方法，实验确定。第22页，共38页，编辑于2022年，星期四BP算法若干问题讨论n前馈网络结构问题 Lippman1987认为，两层隐层可构成任意复杂判别函数。线性分类与操作或操作第23页，共38页，编辑于2022年，星期四BP算法若干问题讨论n前馈网络结构问题隐节点过多过拟和，减弱泛化能力过少欠拟和过拟和也有人认为一层隐层即可逼近任意函数，至于隐节点数，无理论指导，需靠实验。第24页，共38页，编辑于2022年，星期四BP算法若干问题讨论n前馈网络隐层节点数经验公式 分类数特征向量维数+1/2分类数（特征向量维数2+特征向量维数）-1隐层节点数=分类数+特征向量维数第25页，共38页，编辑于2022年，星期四网络学习技巧n重新初始化权值分类结果不满意时n给权值加扰动有助于脱离局部极小 如-55加10%扰动，即-0.50.5随机数n在训练样本中适当加入噪声提高抗噪能力n学习可有允许误差加快学习速度n选择合适的网络规模 层数多靠近输入层传播误差不可靠 节点多影响泛化能力，学习时间太长第26页，共38页，编辑于2022年，星期四遥感图像的BP神经网络分类1、学习样本的获取2、网络系统的确定3、网络的训练4、图像的分类5、分类算法及结果第27页，共38页，编辑于2022年，星期四遥感图像的BP神经网络分类n学习样本的获取 类别：森林、峡谷、河流 学习样本：每个类别人工选取64个 特征向量：第28页，共38页，编辑于2022年，星期四遥感图像的BP神经网络分类n网络系统的确定 网络层数：一般取为3层 输入节点：与特征个数相同，取3 隐节点数量：根据经验公式取为5 输出节点：分为3类，取3第29页，共38页，编辑于2022年，星期四遥感图像的BP神经网络分类n隐层节点数的计算 分类数特征向量维数+1/2分类数（特征向量维数2+特征向量维数）-1隐层节点数=分类数+特征向量维数向上取整，保证分类性能！第30页，共38页，编辑于2022年，星期四n网络的训练遥感图像的BP神经网络分类BP采用S函数，输出不宜设为1或0，可设为0.9或0.1。第31页，共38页，编辑于2022年，星期四遥感图像的BP神经网络分类n网络的训练注意：不应将初始值设为相同，否则在学习过程中始终不变，可设为随机值。第32页，共38页，编辑于2022年，星期四遥感图像的BP神经网络分类n网络的训练第33页，共38页，编辑于2022年，星期四遥感图像的BP神经网络分类n网络的训练第34页，共38页，编辑于2022年，星期四遥感图像的BP神经网络分类n网络的训练第35页，共38页，编辑于2022年，星期四遥感图像的BP神经网络分类第36页，共38页，编辑于2022年，星期四遥感图像的BP神经网络分类图像信息图像变换与特征提取特征数据规格化分类判决图像分类结果神经网络图像分类过程经过训练的神经网络第37页，共38页，编辑于2022年，星期四遥感图像的BP神经网络分类神经网络分类结果贝叶斯分类结果样本集偏离假设的类条件概率密度情况下，神经网络分类结果好于贝叶斯分类第38页，共38页，编辑于2022年，星期四