第三讲人工神经网络优秀课件.ppt

第三讲人工神经网络第1页，本讲稿共27页第三讲第三讲 神经网络的学习规则和感知器神经网络的学习规则和感知器主讲内容主讲内容 3.1 3.1 机器学习与神经网络学习机器学习与神经网络学习 3.2 3.2 几种神经网络学习规则几种神经网络学习规则 3.3 3.3 感知器学习规则、算法以及收敛性感知器学习规则、算法以及收敛性 定理定理 3.4 3.4 本讲问题本讲问题本章目的：本章目的：介绍各种学习算法的数学原理、分析学习性质；说明算法的使用。（不讲有关的算法的生理学、生物学原理）第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第2页，本讲稿共27页3.1 3.1 机器学习与神经网络学习机器学习与神经网络学习3.1.1 3.1.1 机器学习机器学习3 3.1.2.1.2 神经网络学习及其分类神经网络学习及其分类第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第3页，本讲稿共27页3.1.1 3.1.1 机器学习机器学习 机器学习机器学习AIAI的一个分支学科的一个分支学科 3.1 3.1 机器学习与神经网络学习机器学习与神经网络学习 人类学习行为（客观世界）研究归纳、类比等基本方法获取各种知识和技能。机器学习了解人类的各种学习过程建立各种学习模型赋予机器的学习能力。有了学习能力，才能不断自我完善，自我校正，自动获取和发现新的知识 没有机器学习的系统不会是一个真正的智能系统。没有机器学习的系统不会是一个真正的智能系统。没有机器学习的系统不会是一个真正的智能系统。没有机器学习的系统不会是一个真正的智能系统。机器学习目前已经有：事例学习、遗传学习、类比学习 第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第4页，本讲稿共27页3.1 3.1 机器学习与神经网络学习机器学习与神经网络学习机器学习的发展历史：20世纪50年代中期 研究没有任何初始知识的通用学习系统，尤其是神经网络系统。主要特点：数值表示和参数调整，比如感知机、生物进化过程模拟等。AI：符号表示和启发式方法，即偏于模式识别 20世纪60年代初期 概念学习和语言获取。主要特点：符号表示（已成为AI主要方法）20世纪70年代中后期专家系统和知识工程形成，对知识尤为关注，兴盛时期。20世纪80年代中后期 源于神经网络的重新兴起，使非符号的神经网络研究和符号学习得以深入开展。第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第5页，本讲稿共27页3.1 3.1 机器学习与神经网络学习机器学习与神经网络学习机器学习的发展历史：20世纪90年代 有限样本统计理论线性空间表示,Vapnik：SVM（1991）;弱学习定理（1990）;Freund：AdaBoost（1996）21世纪近10年-流形学习研究热 局部线性嵌入(LLE)等距映射(Isomap)拉普拉斯特征映射(Laplacian Eigenmap)第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第6页，本讲稿共27页17对象的层次性流形（HML）构造高维特征空间的层次性流形学习流形学习降维研究目标高维特征低维嵌套的非线性映射，提供目标特性低维表达的有效方式 LLE、ISOMap、Laplacian Eigenmap、Hessian Eigenmap等多子流形多类别高分影像对象广泛存在大类、小类等层次性结构单一结构的流形难以更准确进行非线性映射层次性流形（HML）不同类别、不同层次的多个子流形父流形与子流形间关系，通过自下而上“共共 享特征享特征”实现层次性邻及矩阵第7页，本讲稿共27页18流形学习降维广义回归神经网络GRNN 解决out-of-sample通过层次性流形（HML）降维，解译精度比单一流 形性能显著提高高维特征空间的层次性流形学习该该方法得到了国方法得到了国际际同行同行评评价价“This is a completely valid approach from a pragmatic perspective,and can even lead to better results”第8页，本讲稿共27页3.1 3.1 机器学习与神经网络学习机器学习与神经网络学习3.1.2 3.1.2 神经网络学习及其分类神经网络学习及其分类人工神经网络的主要学习算法：3.1.2.1 有无导师的学习方式 与机器学习类似：事例学习、无导师学习、死记式学习。主要分为：监督学习（有导师学习）依据期望值与实际网络输出值之差来调整连接权，因此需要有导师来提供期望值。将训练样本的数据加入到网络输入端，由期望输出与网络输出得到误差信号，由此控制连接权的调整，多次训练使得连接权收敛到某个确定值。反传网络、感知器、LVQ算法、广义 规则第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第9页，本讲稿共27页3.1 3.1 机器学习与神经网络学习机器学习与神经网络学习 非监督学习（无导师学习）神经元仅根据I/O来修正连接权。直接将网络置于环境中，学习阶段与工作阶段于一体，具有自适应性。比如：Hebb学习规则（简单），竞争学习（复杂）、ART、自组织映射 强化学习 （有导师学习的特例）采用“评论员”来评价与给定输入相对应的神经网络输出的优度（质量因子）。典型例子：遗传算法（Gas）。3.1.2.2 来自环境刺激模式的多少分类 联想式学习 非联想式学习第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第10页，本讲稿共27页3.1 3.1 机器学习与神经网络学习机器学习与神经网络学习3.1.2.3 网络连接方式来分 阶层 相互连接 一旦神经网络的拓扑结构确定后，学习就是连接权的修正。学习模型：第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第11页，本讲稿共27页3.2 3.2 几种神经网络学习规则几种神经网络学习规则3.2.1 Hebb3.2.1 Hebb学习规则学习规则3 3.2.2.2.2 剃度下降算法与剃度下降算法与 学习规则学习规则3.2.3.2.其它几种学习规则其它几种学习规则第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第12页，本讲稿共27页3.2 3.2 几种神经网络学习规则几种神经网络学习规则3.2.1 Hebb3.2.1 Hebb学习规则学习规则 Hebb（美国心理学家）1949年提出假说（Organization of Behavior）：“如果两个神经元A和B有一个共同的突触S，那么当两个神经元同时兴奋时，突触的强度增强。”规则：当第i个和第j个神经元同时处于兴奋状态时，其连接权加强。（最简单的非监督学习）学习速率参数（训练速率参数）、输入 输出权的初始化：在0附近取很小的随机值。第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第13页，本讲稿共27页3.2 3.2 几种神经网络学习规则几种神经网络学习规则3.2.2 3.2.2 剃度下降算法与剃度下降算法与 学习规则学习规则 剃度下降算法的一般形式 其中E为误差函数。误差反传训练算法（BP）就是由梯队算法推导出来的，收敛速度慢。学习训练算法（最小均方规则）学习规则：用神经元的输出值与期望值之间的最小平方误差来调整连接权。第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第14页，本讲稿共27页3.2 3.2 几种神经网络学习规则几种神经网络学习规则 剃度向量 标量 令 标量可以推广于多层网络。学习训练算法为剃度下降算法的一个特例。第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第15页，本讲稿共27页3.2 3.2 几种神经网络学习规则几种神经网络学习规则3.2.3 3.2.3 其它几种学习规则其它几种学习规则 内外星学习规则 Grossberg 1974年提出来的，由信号的流向确定是内星还是外星。内星：节点通过连接权接受一组输入信号。连接权的学习规则：第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第16页，本讲稿共27页3.2 3.2 几种神经网络学习规则几种神经网络学习规则 外星：节点通过连接权输出一组信号。连接权的学习规则：Winner-Take-All（胜者为王）学习规则(无)随机训练算法(概率/能量)模拟退火算法 Widrow-Hoff学习规则第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛第17页，本讲稿共27页3.3 3.3 感知器学习规则、算法以及收敛性定理感知器学习规则、算法以及收敛性定理第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛3.3.1 感知器学习规则及算法感知器学习规则及算法3.2.2 简单感知器的局限性简单感知器的局限性3.2.感知器的收敛性感知器的收敛性第18页，本讲稿共27页The conceptual scheme for learning in this context is a machine with an input channel for figures,a pair of YES and NO output indicators,and a reinforcement or reward button that the machines operator can use to indicate his approval or disapproval of the machines behavior.”M.L.Minsky and S.A.Papert,“Perceptron”(1988)3.3 3.3 感知器学习规则、算法以及收敛性定理感知器学习规则、算法以及收敛性定理第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛3.3.1 感知器学习规则及算法感知器学习规则及算法 感知器（perceptron）是1957年美国Rosenblatt提出的单层计算单元的网络，相当于一个神经元。也称线性阈值单元（LTU）。第19页，本讲稿共27页3.3 3.3 感知器学习规则、算法以及收敛性定理感知器学习规则、算法以及收敛性定理第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛 在感知器中，连接权是可以改变的，即可以学习训练的。Rosenblatt已证明如果两类模式是线性可区分的，则算法一定会收敛，即连接权一定会存在，否则在分类边界产生震荡，使连接权不收敛。学习规则：学习信号（或导师信号）：期望值d与实际输出值之差。连接权的调整形式：学习速率参数常常 ，有助于训练规则朝正确解收敛，太小，将产生慢收敛，太大，将可能引起震荡。第20页，本讲稿共27页3.3 3.3 感知器学习规则、算法以及收敛性定理感知器学习规则、算法以及收敛性定理第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛 迭代算法过程：确定初始值，包括连接权 较小的非零随机值（包括阈值）；输入不同的训练样本 和导师信号d或者期望的输出；计算实际输出 修正连接权 转入步，重复的步骤，直到连接权向量收敛，停止迭代训练过程。ANN的学习过程就是训练过程，在将训练样本集输入到网络的过程中，按的学习过程就是训练过程，在将训练样本集输入到网络的过程中，按照一定的方式来调整神经元之间的联结权重值，使得网络能够将训练样本照一定的方式来调整神经元之间的联结权重值，使得网络能够将训练样本集的内涵以联结权重矩阵的方式存储起来，从而使得网络在接受输入时，集的内涵以联结权重矩阵的方式存储起来，从而使得网络在接受输入时，能够给出适当的输出。能够给出适当的输出。第21页，本讲稿共27页3.3 3.3 感知器学习规则、算法以及收敛性定理感知器学习规则、算法以及收敛性定理第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛3.3.2 简单感知器的局限性简单感知器的局限性 仅能进行简单的线性分类和解决一阶谓词逻辑。W/|W|二维的广义线性可分离方程：二维的广义线性可分离方程：n维的广义线性可分离方程：维的广义线性可分离方程：第22页，本讲稿共27页3.3 3.3 感知器学习规则、算法以及收敛性定理感知器学习规则、算法以及收敛性定理第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛3.3.2 简单感知器的局限性简单感知器的局限性 “线性不可分线性不可分”问题的困境及其解决问题的困境及其解决1969年，年，Minsky和和Papert在在“Perceptron”一书中从理论上证明单层感知器一书中从理论上证明单层感知器无法解决许多简单的问题，包括无法解决许多简单的问题，包括“异或异或(XOR)”问题。使得问题。使得ANN理论的发展理论的发展在在197080年代处于低潮。导致政府和企业资助减少，研究人员撤退年代处于低潮。导致政府和企业资助减少，研究人员撤退Marvin MinskyMarvin MinskyMIT Media LabMIT Media Lab and and MIT AI LabMIT AI LabToshiba Professor of Media Arts and SciencesToshiba Professor of Media Arts and SciencesProfessor of E.E.and C.S.,M.I.TProfessor of E.E.and C.S.,M.I.T第23页，本讲稿共27页3.3 3.3 感知器学习规则、算法以及收敛性定理感知器学习规则、算法以及收敛性定理第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛对异或（Exclusive-OR-XOR）问题，无法求解。XORy01x001110XOR是一个双输入、单输出问题。对应的单层感知器为：xyabzax+by=xy无论如何选择参数无论如何选择参数a，b，都无法满足划分。这种由单，都无法满足划分。这种由单层感知器不能表达的问题称为层感知器不能表达的问题称为线性不可分问题线性不可分问题。尽管简单感知器学习算法有局限性，但是它还是给出了单个神经元的自组织、自学习的算法，对神经网络研究有其重要意义。第24页，本讲稿共27页3.3 3.3 感知器学习规则、算法以及收敛性定理感知器学习规则、算法以及收敛性定理第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛3.3.3 感知器的收敛性感知器的收敛性 收敛定理：（1958年Rosenblatt 里程碑式的进展）假设函数线性可分，那么经过感知器学习算法有限次迭代后，可以收敛到正确的权值或者权向量。假定 训练样本为单位向量 ；依据函数的线性可区分性，将所有小于0的输出 都归化为大于0的输出 ，即 则以 替换 ，则有 只需证明：如果存在 使得 则 下列迭代中第4步仅需有限次数。第25页，本讲稿共27页3.3 3.3 感知器学习规则、算法以及收敛性定理感知器学习规则、算法以及收敛性定理第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛证明 假设 与 夹角余玄可以证明第26页，本讲稿共27页3.4 3.4 本讲问题本讲问题第第三三讲讲 神神经经网网络络的的学学习习规规则则和和感感知知器器主主讲讲人人方方涛涛(1)什么样的学习训练算法将提供最佳的学习？(2)如何解决“异或”问题？一个单层网络可以将空间划分成两部分，用多个单层网络组合一个单层网络可以将空间划分成两部分，用多个单层网络组合在一起，并用其中的一个去综合其它单层网络的结果，构成一在一起，并用其中的一个去综合其它单层网络的结果，构成一个二层网络，即可用来在空间划分出一个封闭或开放的凸域个二层网络，即可用来在空间划分出一个封闭或开放的凸域（子空间）。（子空间）。x1z0 xnz1zn多层网络多层网络多层网络多层网络第27页，本讲稿共27页