人工神经网络理论基础 .ppt

神经网络理论基础神经网络理论基础n人工神经网络是近年来得到迅速发展的一个前人工神经网络是近年来得到迅速发展的一个前沿课题。神经网络由于其大规模并行处理、容沿课题。神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特错性、自组织和自适应能力和联想功能强等特点，已成为解决很多问题的有力工具。本节首点，已成为解决很多问题的有力工具。本节首先对神经网络作简单介绍，然后介绍几种常用先对神经网络作简单介绍，然后介绍几种常用的神经网络，包括感知器（前向神经网络）、的神经网络，包括感知器（前向神经网络）、BPN（反向传播神经网络）和（反向传播神经网络）和 Hopfield网络。网络。1 生物神经元2 人工神经网络发展简史3 人工神经网络结构4 神经网络基本学习算法内容安排1 人工神经网络发展简史人工神经网络发展简史n最早的研究可以追溯到20世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型。这一模型一般被简称M-P神经网络模型，至今仍在应用，可以说，人工神经网络的研究时代，就由此开始了。n1949年，心理学家Hebb提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为Hebb规则，许多人工神经网络的学习还遵循这一规则。n1957年，F.Rosenblatt提出“感知器”(Perceptron)模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。n20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。n1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。n1986年，Rumelhart和Meclelland提出多层网络的误差反传(back propagation)学习算法，简称BP算法。BP算法是目前最为重要、应用最广的人工神经网络算法之一。n自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。2 生物神经元生物神经元n 生物神经元n 突触信息处理n 信息传递功能与特点一、生物神经元n神经元是大脑处理信息的基本单元n人脑约由101l-1012个神经元组成，其中，每个神经元约与104-105个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络n神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干n主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成 生物神经元网络结构生物神经元网络结构 树突是树状的神经纤维接收网络，它将电信号传送到细胞体树突是树状的神经纤维接收网络，它将电信号传送到细胞体细胞体对这些输入信号进行整合并进行阈值处理细胞体对这些输入信号进行整合并进行阈值处理轴突是单根长纤维，它把细胞体的输出信号导向其他神经元轴突是单根长纤维，它把细胞体的输出信号导向其他神经元一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触 神经元的排列和突触的强度神经元的排列和突触的强度(由复杂的化学过程决定由复杂的化学过程决定)确立了神经网络确立了神经网络的功能。的功能。生物学研究表明一些神经结构是与生俱来的，而其他部分则是在学习的过程中形成的。在学习的过程中，可能会产生一些新的连接，也可能会使以前的一些连接消失。这个过程在生命早期最为显著。二、突触的信息处理二、突触的信息处理n生物神经元传递信息的过程为多输入、单输出；n神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近；n当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质；n突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。三、信息传递功能与特点三、信息传递功能与特点 具有时空整合能力具有时空整合能力不可逆性，脉冲只从突触前传到突触后，不逆向传递不可逆性，脉冲只从突触前传到突触后，不逆向传递 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1150m1150ms s之间之间 信息传递时延和不应期信息传递时延和不应期，一般为一般为0.30.3lmslms可塑性，突触传递信息的强度是可变的，即具有学习功能可塑性，突触传递信息的强度是可变的，即具有学习功能 存在学习、遗忘或疲劳（饱和）效应存在学习、遗忘或疲劳（饱和）效应q对应突触传递作用增强、减弱和饱和对应突触传递作用增强、减弱和饱和2、生物神经系统的六个基本特征：、生物神经系统的六个基本特征：1）神经元及其联接神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用的，也可以是起抑制作用的；）信号可以是起刺激作用的，也可以是起抑制作用的；5）一一个个神神经经元元接接受受的的信信号号的的累累积积效效果果决决定定该该神神经经元元的的状态；状态；6)每个神经元可以有一个每个神经元可以有一个“阈值阈值”。3 人工神经网络结构人工神经网络结构n人工神经网络人工神经网络n人工神经元模型人工神经元模型n常见的神经元激发函数常见的神经元激发函数n人工神经网络典型结构人工神经网络典型结构 1.人工神经网络（人工神经网络（Artificial Neural Network-ANN）常常简称为神经网络（）常常简称为神经网络（NN），是以计），是以计算机网络系统模拟生物神经网络的智能计算系算机网络系统模拟生物神经网络的智能计算系统，统，是对人脑或自然神经网络的若干基本特是对人脑或自然神经网络的若干基本特性的抽象和模拟。性的抽象和模拟。一、人工神经网络一、人工神经网络n直观理解直观理解 q神经网络是一个并行和分布式的信息处理网络结构神经网络是一个并行和分布式的信息处理网络结构q它一般由大量神经元组成它一般由大量神经元组成n每个神经元只有一个输出，可以连接到很多其他的神经元每个神经元只有一个输出，可以连接到很多其他的神经元n每个神经元输入有多个连接通道，每个连接通道对应于一每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数个连接权系数 n2.人工神经网络的基本特征人工神经网络的基本特征(1)结构特征并行处理、分步式存储与容错性(2)能力特征自学习、自组织与自适应性 自适应性自适应性是指一个系统能改变自身的性能以适应环境变化的能力。神经网络的自学习自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于结定输入能产 生期望的输出，训练是神经网络学刁的途径，因此经常将学习与训练两 个词混用。神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络，这一构建过程称为网络的自组织自组织(或称重构)。联想记忆联想记忆非线性映射非线性映射许多系统的输入与输出之间存在复杂的非线性关系，设计合理的神经网络通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射。神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型分类与识别分类与识别对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。客观世界中许多事物在样本空间上的区域分割曲面是十分复杂的，神经网络可以很好地解决对非线性曲面的逼近，因此具有很好的分类与识别能力优化计算优化计算知识处理知识处理3.神经网络的基本功能神经网络的基本功能 1943，神神经经生生理理学学家家 McCulloch 和和数数学学家家 Pitts 基基于于早早期期神神经经元元学学说说，归归纳纳总总结结了了生生物物神神经经元元的的基基本本特特性性，建建立立了了具具有有逻逻辑辑演演算算功功能能的的神神经经元元模模型型以以及及这这些些人人工工神神经经元元互互联联形形成成的的人人工工神神经经网网络络，即所谓的即所谓的 McCulloch-Pitts 模型。模型。McCulloch-Pitts 模模型型（MP模模型型）是是世世界界上上第第一个神经计算模型，即人工神经系统。一个神经计算模型，即人工神经系统。二、人工神经元模型二、人工神经元模型 MP模型：模型：称为作用函数或激发函数称为作用函数或激发函数n MP模型模型n 作用函数作用函数n 求和操作求和操作n MP模型模型 f(x)是作用函数是作用函数(Activation Function)，也称激发函数。，也称激发函数。MP神经元模型中的作用函数为单位阶跃函数：神经元模型中的作用函数为单位阶跃函数：其表达式为：其表达式为：激发函数的基本作用激发函数的基本作用控制输入对输出的激活作用控制输入对输出的激活作用对输入、输出进行函数转换对输入、输出进行函数转换将可能无限域的输入变换成指定的有限范围内的输出将可能无限域的输入变换成指定的有限范围内的输出 可知当神经元可知当神经元i i的输入信号加权和超过阈值时，输出为的输入信号加权和超过阈值时，输出为“1”1”，即，即“兴奋兴奋”状态；反之输出为状态；反之输出为“0”0”，是，是“抑制抑制”状态。状态。n MP模型模型例例、实现逻辑函数“与门”（AND gate）运算。1 真，0假三、常见的神经元激发函数三、常见的神经元激发函数 MP 神经元模型是人工神经元模型的基础，也是神经神经元模型是人工神经元模型的基础，也是神经网络理论的基础。在神经元模型中，作用函数除了单位阶网络理论的基础。在神经元模型中，作用函数除了单位阶跃函数之外，还有其它形式。不同的作用函数，可构成不跃函数之外，还有其它形式。不同的作用函数，可构成不同的神经元模型。同的神经元模型。1、对称型、对称型Sigmoid函数函数 或或2、非对称型、非对称型Sigmoid函数函数或或3、对称型阶跃函数函数、对称型阶跃函数函数采用阶跃作用函数的神经元，称为阈值逻辑单元。采用阶跃作用函数的神经元，称为阈值逻辑单元。4、线性函数、线性函数（1 1）线性作用函数：输出等于输入，即）线性作用函数：输出等于输入，即 （2 2）饱和线性作用函数）饱和线性作用函数 （3 3）对称饱和线性作用函数）对称饱和线性作用函数 5、高斯函数、高斯函数 反映出高斯函数的宽度反映出高斯函数的宽度 n众所周知，神经网络强大的计算功能是通过神经元的互众所周知，神经网络强大的计算功能是通过神经元的互连而达到的。根据神经元的拓扑结构形式不同，神经网络连而达到的。根据神经元的拓扑结构形式不同，神经网络可分成以下两大类：可分成以下两大类：四、人工神经网络的典型结构四、人工神经网络的典型结构n目前，神经网络模型的种类比较多，已有近目前，神经网络模型的种类比较多，已有近4040余种神经余种神经网络模型，其中典型的有网络模型，其中典型的有BPBP网络、网络、HopfieldHopfield网络、网络、CMACCMAC小小脑模型、脑模型、ARTART自适应共振理论和自适应共振理论和BlotzmanBlotzman机网络等机网络等1 1、层次型神经网络、层次型神经网络（1 1）前向神经网络）前向神经网络 神经元分层排列，顺序连接。由输神经元分层排列，顺序连接。由输入层施加输入信息，通过中间各层，加权后传递到输出入层施加输入信息，通过中间各层，加权后传递到输出层后输出。每层的神经元只接受前一层神经元的输入，层后输出。每层的神经元只接受前一层神经元的输入，各神经元之间不存在反馈。各神经元之间不存在反馈。感知器感知器(PerceptronPerceptron)、BPBP神经网络和径向基函数神经网络和径向基函数(RBF-(RBF-Redial Basis Function)Redial Basis Function)神经网络都属于这种类型。神经网络都属于这种类型。（2 2）层内有互联的前向神经网络）层内有互联的前向神经网络 在前向神经网络中有在前向神经网络中有的在同一层中的各神经元相互有连接的在同一层中的各神经元相互有连接,通过层内神经元的通过层内神经元的相互结合，可以实现同一层内神经元之间的横向抑制或兴相互结合，可以实现同一层内神经元之间的横向抑制或兴奋机制，这样可以限制每层内能同时动作的神经元数，或奋机制，这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来者把每层内的神经元分为若干组，让每组作为一个整体来动作。动作。（3 3）有反馈的前向神经网络）有反馈的前向神经网络 在层次网络结构中，只在在层次网络结构中，只在输出层到输入层存在反馈，即每一个输入节点都有可能接输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种模式可受来自外部的输入和来自输出神经元的反馈。这种模式可用来存储某种模式序列，如神经认知机即属于此类，也可用来存储某种模式序列，如神经认知机即属于此类，也可以用于动态时间序列过程的神经网络建模。以用于动态时间序列过程的神经网络建模。2 2、互联型神经网络、互联型神经网络 在互连网络模型中，任意两个神经元之间都可能有相在互连网络模型中，任意两个神经元之间都可能有相互连接的关系。其中，有的神经元之间是双向的，有的是互连接的关系。其中，有的神经元之间是双向的，有的是单向的。单向的。HopfieldHopfield网络、网络、BoltzmanBoltzman机网络属于这一类。机网络属于这一类。在无反馈的前向网络中，信号一旦通过某个神经元，过程就结在无反馈的前向网络中，信号一旦通过某个神经元，过程就结束了。而在互连网络中，信号要在神经元之间反复往返传递，束了。而在互连网络中，信号要在神经元之间反复往返传递，神经网络处在一种不断改变状态的动态之中。从某个初始状态神经网络处在一种不断改变状态的动态之中。从某个初始状态开始，经过若干次的变化，才会到达某种平衡状态，根据神经开始，经过若干次的变化，才会到达某种平衡状态，根据神经网络的结构和神经元的特性，还有可能进入周期振荡或其它如网络的结构和神经元的特性，还有可能进入周期振荡或其它如浑沌等平衡状态。浑沌等平衡状态。二、神经网络的学习规则二、神经网络的学习规则n联想式学习联想式学习 Hebb学习规则学习规则n误差纠正式学习误差纠正式学习Delta()学习规则学习规则 3 神经网络的神经网络的基本学习方式和学习规则基本学习方式和学习规则一、神经网络的学习方式一、神经网络的学习方式n有监督（误差校正）学习方式有监督（误差校正）学习方式n无监督学习方式无监督学习方式n人工神经网络连接权的确定通常有两种方法q根据具体要求，直接计算，如Hopfield网络作优化计算q通过学习得到的。大多数人工神经网络都采用这种方法 n学习是改变各神经元连接权值的有效方法，也是体现人工神经网络智能特性最主要的标志。离开了学习，神经网络就失去了诱人的自适应、自组织能力学习方法是人工神经网络研究中的核心问题学习方法是人工神经网络研究中的核心问题1 1、有监督学习方式、有监督学习方式特点：特点：不能保证得到全局最优解不能保证得到全局最优解要求大量训练样本，收敛速度慢要求大量训练样本，收敛速度慢对样本地表示次序变化比较敏感对样本地表示次序变化比较敏感 神经网络根据实际输出与期望输出的偏差，按照一定的神经网络根据实际输出与期望输出的偏差，按照一定的准则调整各神经元连接的权系数，见下图。期望输出又称准则调整各神经元连接的权系数，见下图。期望输出又称为导师信号，是评价学习的标准，故这种学习方式又称为为导师信号，是评价学习的标准，故这种学习方式又称为有导师学习。有导师学习。一、神经网络的学习方式一、神经网络的学习方式 无导师信号提供给网络，神经网络仅仅根据其输入无导师信号提供给网络，神经网络仅仅根据其输入调整连接权系数和阈值，此时，网络的学习评价标准隐调整连接权系数和阈值，此时，网络的学习评价标准隐含于内部。其结构见下图。这种学习方式主要完成聚类含于内部。其结构见下图。这种学习方式主要完成聚类操作。操作。2 2、无监督学习方式、无监督学习方式一、神经网络的学习方式一、神经网络的学习方式nDonall Hebb根据生理学中的条件反射机理，于根据生理学中的条件反射机理，于1949年提年提出的神经元连接强度变化的规则：出的神经元连接强度变化的规则：q如果两个神经元同时兴奋如果两个神经元同时兴奋(即同时被激活即同时被激活)，则它们之，则它们之间的突触连接加强间的突触连接加强 q 为学习速率，为学习速率，oi、oj为神经元为神经元 i 和和 j 的输出的输出1 1、联想式学习、联想式学习 HebbHebb学习规则学习规则Hebb学习规则是人工神经网络学习的基本规则，几乎所学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作有神经网络的学习规则都可以看作Hebb学习规则的变形学习规则的变形二、神经网络的学习规则二、神经网络的学习规则2 2、纠错式学习、纠错式学习 Delta(Delta()学习规则学习规则 二、神经网络的学习规则二、神经网络的学习规则 首先我们考虑一个简单的情况：设某神经网络的输首先我们考虑一个简单的情况：设某神经网络的输出层中只有一个神经元出层中只有一个神经元i，给该神经网络加上输入，这样，给该神经网络加上输入，这样就产生了输出就产生了输出yi(n)，称该输出为实际输出。，称该输出为实际输出。对于所加上的输入，我们期望该神经网络的输出为对于所加上的输入，我们期望该神经网络的输出为d(n),称为期望输出或目标输出（样本对里面包含输入和称为期望输出或目标输出（样本对里面包含输入和期望输出）。实际输出与期望输出之间存在着误差，用期望输出）。实际输出与期望输出之间存在着误差，用e(n)表示：表示：现在要调整权值，是误差信号现在要调整权值，是误差信号e(n)减小到一个范围。减小到一个范围。为此，可设定代价函数或性能指数为此，可设定代价函数或性能指数E(n)：反复调整突触权值使代价函数达到最小或者使系统达反复调整突触权值使代价函数达到最小或者使系统达到一个稳定状态（及突触权值稳定不变），就完成了该学到一个稳定状态（及突触权值稳定不变），就完成了该学习过程。习过程。该学习过程成为纠错学习，或该学习过程成为纠错学习，或Delta学习规则。学习规则。wij 表示神经元表示神经元xj到到xj学的突触权值，在学习步骤为学的突触权值，在学习步骤为n时时对突触权值的调整为：对突触权值的调整为：学习速学习速率参数率参数则则人工神经网络的仿真人工神经网络的仿真网络的运行一般分为训练和仿真训练和仿真两个阶段。训练的目的是为了从训练数据中提取隐含的知识和规律，并存储于网络中供仿真工作阶段使用神经网络的仿真过程神经网络的仿真过程实质上是神经网络根据网络输入数据，通过数值计算得出相应网络输出的过程通过仿真，我们可以及时了解当前神经网络的性能从而决定是否对网络进行进一步的训练典型的神经网络模型：典型的神经网络模型：感知器、线性神经网络、BP网络、径向基函数网络、竞争学习网络 反馈神经网络等感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。感知器特别适合于简单的模式分类问题，也可用于基于模式分类的学习控制和多模态控制中 感知器神经网络采用阈值函数作为神经元的传递函数传递函数是感知器神经元的典型特征感知器神经网络的学习规则学习规则函数1earnp是在感知器神经网络学习过程中计算网络权值和阈值修正量最基本的规则函数p为输入矢量，学习误差e为目标矢量t和网络实际输出矢量a之间的差值感知器神经网络的训练感知器神经网络的训练 感知器的训练主要是反复对感知器神经网络进行仿真和学习，最终得到最优的网络阀值和权值 1）确定我们所解决的问题的输入向量P、目标向量t，并确定 各向量的维数，以及网络结构大小、神经元数目。2）初始化：权值向量w和阀值向量b分别赋予1,+1之间的 随机值，并且给出训练的最大次数。3）根据输入向量P、最新权值向量w和阀值向量b，计算网络 输出向量a。4）检查感知器输出向量与目标向量是否一致，或者是否达到 了最大的训练次数，如果是则结束训练，否则转入（5）。5）根据感知器学习规则调查权向量，并返回3）。感知器神经网络应用举例感知器神经网络应用举例 两种蠓虫Af和Apf已由生物学家W.L.Grogan与w.w.Wirth(1981)根据它们触角长度和翼长中以区分。见下表中9Af蠓和6只Apf蠓的数据。根据给出的触角长度和翼长可识别出一只标本是Af还是Apf。1给定一只Af或者Apf族的蒙，你如何正确地区分它属于哪一族？2将你的方法用于触角长和翼中分别为（1.24,1.80）、（1.28,1.84）、(1.40,2.04)的三个标本 Af触重长1.241.361.381.3781.381.401.481.541.56翼 长1.721.741.641.821.901.701.701.822.08Apf触角长1.141.181.201.261.281.30翼 长1.781.961.862.002.001.96输入向量为：p=1.24 1.36 1.38 1.378 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.30;1.72 1.74 1.64 1.82 1.90 1.70 1.70 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96 目标向量为：t=1 1 1 1 1 1 1 1 1 0 0 0 0 0 0图形显示，目标值1对应的用“+”、目标值0对应的用“o”来表示：plotpv(p，t)为解决该问题，利用函数newp构造输入量在0，2.5之间的感知器神经网络模型：net=newp(0 2.5；0 2.5，1)初始化网络：net=init(net)利用函数adapt调整网络的权值和阀值，直到误差为0时训练结束：net,y,e=adapt(net,p,t)训练结束后可得如左图的分类方式，可见感知器网络将样本正确地分成两类Neural Network Toolbox感知器网络训练结束后，可以利用函数sim进行仿真，解决实际的分类问题：p1=1.24;1.80 a1=sim(net,p1)p2=1.28;1.84 a2=sim(net,p2)p3=1.40;2.04 a3=sim(net,p3)网络仿真结果为：a1=0 a2=0 a3=0 线性神经网络线性神经网络：线性神经网络的主要用途主要用途是线性逼近一个函数表达式，具有联想功能。另外，它还适用于信号处理滤波、预测、模式识别和控制等方面。R维输入的单层(包含S个神经元)线性神经网络模型线性神经网络权值和阐值的学习规则学习规则采用的是基于最小二乘原理的Widrow-Hoff学习算法BP神经网络神经网络：主要用于函数逼近、模式识别、分类以及数据压缩等方面 具有单隐层的BP神经网络模型输入维数为2，隐层含有4个神经元径向基函数网络径向基函数网络：模型中采用高斯函数radbas作为径向基神经元的传递函数传递函数；学习算法学习算法常用的有两种：一种是无导师学习，另一种便是有导师学习 竞争学习网络竞争学习网络：Kohoneo学习规则学习规则模块c表示竞争传递传递函数函数，其输出矢量由竞争层各神经元的输出组成，除在竞争中获胜的神经元外，其余神经元的输出都为零。竞争传递函数输入矢量n中的最大元素所对应的神经元是竞争中的获胜者，其输出固定为1E1man反馈网络反馈网络：主要用于信号检测和预测等方面,网络在训练时采用基于误差反向传播算法的学习函数学习函数，如trainlm、trainbfg、trainrp、traingd等模块D表示时延环节HopfieId反馈网络反馈网络：主要用于联想记忆、聚类和优化计算等方面，神经元传递函数传递函数为对称饱和线性函数satlins模块 表示时延环节D