人工神经网络及其应用课件.ppt

《人工神经网络及其应用课件.ppt》由会员分享，可在线阅读，更多相关《人工神经网络及其应用课件.ppt（55页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Artificial Intelligence人人 工工 智智 能能第第3章人工神经网络及其应用章人工神经网络及其应用 3.1神经生理学基础神经生理学基础 3.2人工神经网络的基本原理人工神经网络的基本原理 3.3几种典型的模型及其应用几种典型的模型及其应用 Hopfield网络模型网络模型反向传播反向传播BP模型模型 自适应共振理论自适应共振理论ART模型模型3.4 几个实例几个实例本章重要概念（简述）神经元的结构（画出示意图）神经元的结构（画出示意图）神经元的模型（画出示意图）神经元的模型（画出示意图）神经元的数学模型神经元的数学模型人工神经网络的主要特征人工神经网络的主要特征三种典型的人

2、工神经网络模型三种典型的人工神经网络模型3.1神经生理学基础神经生理学基础 人类的智能到底起源于何处，这是自古以来人们追求的一个目标。古代人们认为心是智慧的源泉，直到现在，很多汉语词汇仍然保留着历史的踪迹，如“心智”、“心理”等等。现代医学及生理学告诉我们，人脑特别是大脑，是人类高级智慧的核心，而其中的神经元又是人类智能活动的基础。神经元的结构神经元的结构神经元的结构神经元的结构神经元胞体内含有细胞核、核糖体、原生质网状结构等，它是神经元新陈代谢等各种生化过程的活动场所，是神经元的能量提供者。树突是胞体外一些枝状延伸物，主要接收别的神经元传送的神经信号，一般为电信号或化学信号。轴突是细胞体外伸

3、的一个管状纤维，轴突最长可达1m以上。轴突的功能是把神经元的神经信号传到其神经末梢。神经末梢是在轴突端部一些细小的枝状物，它接收来自轴突的神经信号，并与下一个神经元接触。神经元信号传递神经元信号传递我我们们可可以以看看到到，人人脑脑中中神神经经信信号号的的传传送送就就是是一一个个神神经经元元的的神神经经末末梢梢与与下下一一个个神神经经元元的的树树突突发发生生信信号号传传递递的的过过程程，神神经经元元末末梢梢与与一一个个神神经经元元的的树树突突接接触触区区域域称称为为突突触触，这这个个区区域域可可以以用用下下图图来表示。来表示。大脑神经元的基本运行状态大脑神经元的基本运行状态在神经信号的驱动下，

4、神经末梢会释放囊泡中的神经传递介质，下一个神经元的树突有一个受体接收到这个传递介质，并引起神经元胞体内的电位上升，一旦下一个神经元从众多的树突中接收到足够多的神经刺激，它就会被激活，从而沿轴突将神经信号传送到它的神经末梢，引起下一批神经元被激励。3.2人工神经网络的基本原理人工神经网络的基本原理19431943年，美国科学家年，美国科学家PittsPitts和和McCullochMcCulloch首首次提出了神经元的次提出了神经元的M-PM-P数学模型，为人工神数学模型，为人工神经网络的研究开辟了道路。经网络的研究开辟了道路。19491949年年HebbHebb提出了著名的提出了著名的Hebb

5、Hebb学习定律，学习定律，认为如果两个神经元处于激励状态，则它认为如果两个神经元处于激励状态，则它们之间的连接（以权重为衡量标准）得到们之间的连接（以权重为衡量标准）得到加强，如果两个神经元处于抑制状态，它加强，如果两个神经元处于抑制状态，它们之间的连接就被减弱，们之间的连接就被减弱，HebbHebb定律为人工定律为人工神经网络的学习机制研究指明了方向。神经网络的学习机制研究指明了方向。感知机模型感知机模型19611961年，年，RosenblattRosenblatt第一次提出了感知机第一次提出了感知机模型（模型（Perceptron)Perceptron)，系统地研究了人工神，系统地研究

6、了人工神经网络作为一种智能模型的功能及作用，经网络作为一种智能模型的功能及作用，感知机模型的出现极大地鼓舞了智能技术感知机模型的出现极大地鼓舞了智能技术的研究者，使人觉得一个新的智能应用时的研究者，使人觉得一个新的智能应用时代的到来。代的到来。陷入低潮低潮但人工智能的先驱者但人工智能的先驱者MinskyMinsky等仔细分析了等仔细分析了以感知器为代表的神经网络系统的功能及以感知器为代表的神经网络系统的功能及局限后，于局限后，于19691969年出版了年出版了PerceptronPerceptron一书，指出感知器不能解决高阶谓词问题。一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响

7、了人工神经网络的他们的论点极大地影响了人工神经网络的研究，加之当时串行计算机和人工智能所研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。神经网络的研究处于低潮。Hopfield神经网络模型神经网络模型在此期间，一些人工神经网络的研究者仍在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论然致力于这一研究，提出了适应谐振理论（ARTART网）、自组织映射、认知机网络，同网）、自组织映射、认知机网络，同时进行了神经网络数学理

8、论的研究。以上时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。研究为神经网络的研究和发展奠定了基础。19821982年，美国加州理工学院物理学家年，美国加州理工学院物理学家HopfieldHopfield提出了提出了HopfieldHopfield神经网络模型，神经网络模型，引入了引入了“计算能量计算能量”概念，给出了网络稳概念，给出了网络稳定性判断。定性判断。19841984年，他又提出了连续时间年，他又提出了连续时间HopfieldHopfield神神经网络模型，为神经计算机的研究做了开经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于拓性的工作，

9、开创了神经网络用于联想记联想记忆和优化计算忆和优化计算的新途径，有力地推动了神的新途径，有力地推动了神经网络的研究。经网络的研究。19861986年年RumelhartRumelhart、McClellandMcClelland等研究者发等研究者发表文章表文章*，系统地描述了人工神经网络的理，系统地描述了人工神经网络的理论基础，特别是针对论基础，特别是针对MinskyMinsky提出的感知机提出的感知机的缺陷，提出了利用的缺陷，提出了利用隐节点隐节点来克服感知机来克服感知机仅限于线性可分的局限，从而引起新的一仅限于线性可分的局限，从而引起新的一轮人工神经网络的研究热潮。轮人工神经网络的研究热潮

10、。*Parallel Distributed Processing:Explorations in the Micro-Parallel Distributed Processing:Explorations in the Micro-structure of Cognitionstructure of Cognition，人工神经网络的核心神经元的模型 神经元的数学模型 输输入入X=x1,x2，xnT 模模拟拟其其他他神神经经元元对对本本神神经经元元的的影影响响，权权重重W=w1,w2，wn模模拟拟输输入入对对神神经经元元的的传传递递效效率率，为为使使本本神神经经元元处处于于激激活活状状态态

11、所所需需的的阐阐值值，f(u)为为一一旦旦神神经经元元被被激激活活后后输输出出值值的的变变化化，数学模型为：数学模型为：f(u）的三种模型 阶跃型阶跃型 S S 型型 线性连续型线性连续型 f(u)=kuf(u)=kuf(u)=1/(1+e-u)f(u)=1/(1+e-u)说明不不同同的的神神经经元元模模型型代代表表了了人人工工神神经经网网络络一一些些基基本本特特征征，但但这这不不是是研研究究的的全全部部，更更重重要要的的是是如如何何利利用这些基本组件来构造人工神经元系统。用这些基本组件来构造人工神经元系统。这这些些系系统统可可能能基基本本元元件件一一样样，但但由由于于结结构构、连连接接方式的

12、不同，产生的系统行为会有重大的区别。方式的不同，产生的系统行为会有重大的区别。用用一一个个形形象象的的比比喻喻，我我们们知知道道碳碳是是地地球球上上的的一一个个重重要要化化学学元元素素，虽虽然然同同是是C12原原子子，但但由由于于分分子子结结构构不不同同，它它可可以以形形成成非非常常坚坚硬硬的的金金刚刚石石，能能够够阻阻挡挡放放射射线线的的石石墨墨和和我我们们日日常常生生活活中中容容易易燃燃烧烧的的木木炭。炭。高度非线性动力学大量的形式相同的神经元连结在一起就组成了神经网络。神经网络是一个高度非线性动力学系统。虽然每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的。因此，用神

13、经网络可以模拟、表达实际物理世界的各种现象，解决一些其他领域难以解决的问题。人工神经网络的主要特征(1)并行分布性处理并行分布性处理(2)可学习性可学习性(3)鲁棒性和容错性鲁棒性和容错性(4)泛化能力泛化能力(1）并行分布性处理）并行分布性处理并行性并行性来自于人工神经网络中的神经元排来自于人工神经网络中的神经元排列并不是杂乱无章的，往往是分层或以一列并不是杂乱无章的，往往是分层或以一种有规律的序列排列，信号可以同时到达种有规律的序列排列，信号可以同时到达一批神经元的输人端，这种结构非常适合一批神经元的输人端，这种结构非常适合并行计算。并行计算。同时如果将每一个神经元看作是一个小的同时如果将

14、每一个神经元看作是一个小的处理单元，则整个系统可以是一个分布式处理单元，则整个系统可以是一个分布式计算系统。计算系统。(2)可学习性可学习性一般人工神经网络模型都有自己的学习算一般人工神经网络模型都有自己的学习算法，或者利用样本指导系统模拟现实环境法，或者利用样本指导系统模拟现实环境（称为有教师学习），或者对输人进行自（称为有教师学习），或者对输人进行自适应（称为无教师学习）。适应（称为无教师学习）。(3)鲁棒性和容错性鲁棒性和容错性由于采用大量的神经元及其相互连接，由于采用大量的神经元及其相互连接，人工神经网络中少量的神经元发生失人工神经网络中少量的神经元发生失效或错误，不会对系统整体功能带

15、来效或错误，不会对系统整体功能带来严重的影响。严重的影响。(4)泛化能力泛化能力如果输入发生较小变化，其输出能够与原如果输入发生较小变化，其输出能够与原输人产生的输出保持相当小的差距。输人产生的输出保持相当小的差距。3.3几种典型的模型及其应用3.3.1 Hopfield网络模型网络模型3.3.2反向传播反向传播BP模型模型3.3.3自适应共振理论自适应共振理论ART模型模型3.3.1 Hopfield网络模型网络模型Hopfield于1982年提出了用于联想记忆的人工神经网络模型，它是一种带有反馈（输出作为输人的一部分）的网络。Hopfield模型 Hopfield 是带有自反馈的神经网络模

16、型。是带有自反馈的神经网络模型。模型分为两层：模型分为两层：第第 0 层为引入反馈而设计，它是退化了的层为引入反馈而设计，它是退化了的神经元层，神经元的输出等于输入；神经元层，神经元的输出等于输入；第第 1 层是标准的神经元模型，它的数学模层是标准的神经元模型，它的数学模型如下。第型如下。第 1 层第层第 j 个神经元的输入前部个神经元的输入前部（对神经元的刺激）（对神经元的刺激）:如果选择阶跃型函数作为神经元的激励函如果选择阶跃型函数作为神经元的激励函数时，有数时，有稳定性分析 Hopfield网网络络由由于于其其输输出出端端有有反反馈馈到到其其输输入入端端，在在输输入入的的激激励励下下，其

17、其状状态态发发生生变变化化，这这个个变变化化反反馈馈到到输输入入，从从而而产产生生新新的的输输出出，引起一系列的状态转移。引起一系列的状态转移。如如果果这这种种状状态态转转移移经经过过一一定定的的时时间间稳稳定定下下来来，t+1 时时刻刻与与t 时时刻刻状状态态相相同同，则则我我们们称称系统到达了系统到达了稳定平衡稳定平衡状态。状态。网络稳定的充分条件网络稳定的充分条件并并不不是是所所有有的的Hopfield网网络络都都是是稳稳定定的的，那那么么，什什么么样样的的网网络络是是稳稳定定的的呢呢？目目前前没没有有通通常常的的方方法法，cohen和和Grossberg在在1953年年给给出出了了关关

18、于于Hopfield网网络络稳稳定定的的充充分分条条件件：如如果果Hopfield网网络络的的权权系系数数矩矩阵阵W是是一一个个对对称称矩矩阵阵，并并且且W的的对对角角线线元元素素为为0，则则这这个个网网络络是是稳稳定定的的，即即是是说说在权系数矩阵在权系数矩阵W中，如果中，如果 则则Hopfield网络是稳定的。网络是稳定的。网络退化成没有自反馈的Hopfield 网络 所谓充分条件是指只要满足以上条件的所谓充分条件是指只要满足以上条件的Hopfield网络，系网络，系统经过一定的迭代循环，统经过一定的迭代循环，肯定肯定能够达到稳定的状态。但这能够达到稳定的状态。但这并不代表不满足以上条件的

19、并不代表不满足以上条件的Hopfield网络就绝对不稳定。网络就绝对不稳定。离散Hopfield网络的工作方式 串行方式串行方式 在时刻在时刻 t t 时，只有某一个神经元时，只有某一个神经元 j j 的状态发生的状态发生变化，而其他变化，而其他 n-1n-1个神经元的状态不变。个神经元的状态不变。并行方式并行方式 在任一时刻在任一时刻 t t，所有的神经元的状态都产生了变，所有的神经元的状态都产生了变化，则称化，则称并行工作方式并行工作方式。从从Hopfield Hopfield 网络可以看出，它是一种多输入的二值非线性动网络可以看出，它是一种多输入的二值非线性动力系统。在动力系统中，平衡稳

20、定状态可以理解为系统的某种力系统。在动力系统中，平衡稳定状态可以理解为系统的某种形式的能量函数在系统运动过程中，其能量值不断减小，最后形式的能量函数在系统运动过程中，其能量值不断减小，最后处于最小值。处于最小值。结论联想存储器 令令Hopfield网网络络是是一一个个具具有有m个个输输入入节节点点的的网络，学习开始时具有网络，学习开始时具有m个样本，它们为个样本，它们为其权值变化为其权值变化为当联想检索时，令输入为当联想检索时，令输入为初始输出初始输出利用如下的迭代公式利用如下的迭代公式其中其中f(.)一般为非线性函数，常用阶跃型函一般为非线性函数，常用阶跃型函数。数。y(t+1)与与 y(t

21、)经过一定次数的迭代经过一定次数的迭代后，系统输出不再变化，达到稳定。后，系统输出不再变化，达到稳定。Hopfield网络用它做联想记忆时，如果输网络用它做联想记忆时，如果输入向量与训练的样本不完全一样或有部分入向量与训练的样本不完全一样或有部分不正确的数据，但是网络仍能够产生所记不正确的数据，但是网络仍能够产生所记忆的信息的完整输出。忆的信息的完整输出。以以上上讨讨论论的的Hopfield网网络络是是离离散散型型的的，Hopfield在在离离散散型型网网络络基基础础上上发发展展了了连连续续型型神神经经网网络络。连连续续型型Hopfield网网络络的的结结构构与与离离散散型型网网络络一一样样，

22、只只是是输输人人变变换换函函数数f（）一一般取般取sigmoid函数，即函数，即可可以以证证明明如如果果连连续续型型Hopfield网网络络的的权权重重矩矩阵阵满满足足对对角角线线元元素素wii=0，并并且且wij=wji，则该网络是稳定的则该网络是稳定的。3.3.2反向传播BP模型Rosenblatt 于 1961 年提出了感知机模型Perceptron，它利用神经元模型模拟人类的逻辑思维取得了很大的成功，但 MIT 的著名人工智能学者Minsky分析了Perceptron的结构与特征，提出了它的致命缺陷，无法实现像XOR（异或）这样简单的非线性逻辑运算。异或运算真值表令+为异或算子，Z=X

23、+Y，则 Z 的取值可以从下表中得到：+XYZ0000l1l01110异或运算平面图因为Perceptron是线性分类器，因此如图中虚线所表达的，无论如何切割，总是无法将黑球与白球分开。所以Perceptron无法面对像XOR这样的逻辑问题。引入隐节点1986年，Rumelhart 等研究者提出了引入隐节点，采用非线性神经元的新型神经模型，由于它的学习算法是基于误差反向传播（error Back-Propagation)，于是被称为BP模型，或反向传播模型。下面将两个模型加以对照：结构比较（以三个输入节点，两个输出节点为例）映射函数比较解决方案由于 BP 模型采用了非线性的映射函数，在解决 X

24、OR 这样非线性分类问题时可能进行图中的划分。能量最小原理 初始化权重，一般取接近零的随机数；将样本的输入作为BP 模型的输入，逐级计算出神经网络的输出；将样本的输出与神经网络的输出进行比较（均方差，即能量），产生学习误差；以该误差作为修改各层神经元输出的依据，从顶层（输出层）到底层（输入层）修改连接每一个神经元的权重，即所谓误差的反向传播。结论研究人员已经证明：只要有足够多的隐节点和足够的学习时间，BP模型可以模拟任意复杂的非线性曲线。正是BP模型具有这么强大的学习能力，它目前在人工神经网络中得到广泛的应用。DEMO3.3.3自适应共振理论ART模型 1976年美国 Boston 大学的 S

25、.Grossberg 和 A.Carpenet 提出了自适应共振理论 ART(Adaptive Resonance Theory）模型。它试图利用数学方法描述人类心理与认知活动，如短期记忆（STM）、长期记忆（LTM）、注意力聚焦等等。ART 是一种自组织神经网络模型，其学习方法属于无教师的自适应过程。当在神经网络和环境有交互作用时，神经网络自动对环境信息进行编码，即对神经网络的权重进行自组织活动。ART 模型的结构 ART模型连接图 ART工作原理 输入层F1接收来自系统的输入，它经过输入层神经元的加工，只有较强刺激的输入才能激活输入层神经元。所谓较强刺激，即一个称为“2/3规则”的控制。“

26、2/3”规则告诉我们，三个输入中当有两个输入为正（刺激）时 STM-F1 中的神经元才处于激活状态。（看结构图）这里，STM-F1，通常称为比较层，STM-F2称为识别层，它们之间的通道（权重矩阵）称为LTM（长期记忆）。STM-F2状态的变化表示对注意力转移过程，而由于模式不匹配而引起的状态转移信号就称为定向子系统。我们可以从结构图中看到，短期记忆STM-Fl有三个输入，分别对应系统输入、增益控制1输入及从STM-F2来的自上而下的输入，“2/3”规则告诉我们，三个输入中当有两个输入为正（刺激）时STM-Fl 中的神经元才处于激活状态。STM-F1的输出经过变换（称为自适应滤波，实际是权重矩

27、阵变换）到达STM-F2，在STM-F2中神经元及来自系统输入部分的作用下，STM-F2形成关于目前输入的特征模式，这个特征模式一方面作为刺激直接作用STM-F1，另一方面通过反馈通道与输入模式进行匹配返回给STM-F1，如果匹配结果比较差，就有可能产生信号（STM重置波），这个信号使得STM-F2放弃目前的特征模式，同时在系统输入的作用下调整神经网络的权重，形成新的特征模式，从而继续循环下去，直到找到合适的特征模式。这就是自适应共振模型的基本运行思路。应用由于ART模型在刻画人类认知心理过程中的独到之处，常常被用来进行机器人算法设计、人脸识别、聚类分析等等许多领域，取得了良好的效果。3.4

28、几个实例几个实例神经网络实际运行过程 导入规则导入规则就是在使用神经网络过程中将符号表达解就是在使用神经网络过程中将符号表达解释成神经网络所需的数值表达的方法。释成神经网络所需的数值表达的方法。导出规则导出规则是是在神经网络运行结束后，将神经网络的输出结果解在神经网络运行结束后，将神经网络的输出结果解释成符号，以便于进行符号推理的方法。释成符号，以便于进行符号推理的方法。Q&A课堂讨论与习题（简述）神经元的结构（画出示意图）神经元的结构（画出示意图）神经元的模型（画出示意图）神经元的模型（画出示意图）神经元的数学模型神经元的数学模型人工神经网络的主要特征人工神经网络的主要特征三种典型的人工神经网络模型三种典型的人工神经网络模型谢谢Prof.Dong Hongye董鸿晔董鸿晔 教授教授