人工智能与应用优秀课件.ppt

《人工智能与应用优秀课件.ppt》由会员分享，可在线阅读，更多相关《人工智能与应用优秀课件.ppt（70页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人工智能与应用第1 页，本讲稿共70 页主要内容n 概述n 机器学习的基本系统结构n 神经网络学习2第2 页，本讲稿共70 页第六章 机器学习n 概述n 机器学习的基本系统结构n 神经网络学习3第3 页，本讲稿共70 页机器学习 概述n 目前为止的大多数人工智能系统还完全没有或仅有很有限的学习能力q 现有的大多数人工智能系统是演绎的，没有归纳推理，因而不能自动获取和生成知识n 未来的计算机将有自动获取知识的能力q 它们直接由书本学习，通过与人谈话学习，通过观察环境学习q 它们通过实践自我完善，克服人的局限性q 有必要对这一前景给以关注 4第4 页，本讲稿共70 页机器学习 概述n 争论：机器的

2、能力是否能超过人的能力？q 否定意见：机器是人造的，其性能和动作完全是由设计者来规定的，因此无论如何其能力也不会超过设计者本人q 肯定意见：对具备学习能力的机器而言，它的能力在应用中不断地提高，过一段时间以后，设计者本人也不知他的能力到了何种水平这就是机器学习的不可预测问题5第5 页，本讲稿共70 页机器学习 概述n 学习结果的不确定性带来的新的问题：q 学习系统产生的知识可能是系统设计者都无法预测，如果用这种系统解决重要问题，就可能产生意外的困难或危险q 必须设计新的有自适应能力的系统：n 用于安排测试过程来审查学习系统产生的知识n 这个系统必须具有与被监测的系统相当的学习能力，才能够跟随系

3、统知识的变化，完成实时的检测q 这个监测系统本身的变化又如何了解、控制呢？6第6 页，本讲稿共70 页Three laws of Robotics(1)n 科幻小说家艾萨克 阿西莫夫在他的机器人相关作品和其他机器人相关小说中为机器人设定的行为准则q 第一法则：机器人不得伤害人类，或袖手旁观坐视人类受到伤害q 第二法则：除非违背第一法则，机器人必须服从人类的命令q 第三法则：在不违背第一及第二法则下，机器人必须保护自己7第7 页，本讲稿共70 页Three laws of Robotics(2)n 1985 年，机器人与帝国这本书中，阿西莫夫将三大法则扩张为四大法则：q 第零法则：机器人不得伤害

4、人类整体，或袖手旁观坐视人类整体受到伤害q 第一法则：除非违背第零法则，机器人不得伤害人类，或袖手旁观坐视人类受到伤害q 第二法则：除非违背第零或第一法则，机器人必须服从人类的命令q 第三法则：在不违背第零至第二法则下，机器人必须保护自己8第8 页，本讲稿共70 页Three laws of Robotics(3)n 三定律在科幻小说中大放光彩，一些其他作者的科幻小说中的机器人也遵守这三条定律n 三定律也具有一定的现实意义，在三定律基础上建立新兴学科“机械伦理学”旨在研究人类和机械之间的关系n 截至2006 年，三定律在现实机器人工业中没有应用，但目前很多人工智能和机器人领域的技术专家也认同这

5、个准则9第9 页，本讲稿共70 页Three laws of Robotics(4)n 罗杰 克拉克添加了以下的定律：q 元定律：机器人可以什么也不做，除非它的行动符合机器人学定律。此定律置于第零、第一、第二、第三定律之前q 第四定律：机器人必须履行内置程序所赋予的责任，除非这与其他高阶的定律冲突q 繁殖定律：机器人不得参与机器人的设计和制造，除非新的机器人的行动服从机器人学定律 10第10 页，本讲稿共70 页机器学习 概述n 什么是学习？什么是机器学习？没有被广泛认可的准确定义q Simon（1983）：学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或

6、相类似的任务时，会比现在做得更好或效率更高q Minsky(1985)：学习是在我们头脑中（心里内部）进行有用的变化q 学习是一种具有多侧面的现象。学习基本形式有知识获取和技能求精11第11 页，本讲稿共70 页机器学习 概述n 知识获取学习的本质q 例如科学知识的学习q 是 一 个 自 觉 的 过 程，其 结 果 是 产 生 新 的 符 号 知 识 结构和智力模型n 技 能 求 精通 过 教 育 或 实 践 改 进 机 制 和 认 知 能力q 借 助 观 察 和 实 验 发 现 新 的 事 实 和 新 的 理 论。例 如 学 习骑自行车q 是下意识地借助于反复地实践来实现的12第12 页，本

7、讲稿共70 页机器学习 概述n 机器学习的任务主要包括以下两个方面：q 获得对于输入的数据进行分类能力：n 如医疗诊断，信用卡业务或交易，投资，DNA 序列，口语，手写字，天文图象等等q 获得解决问题，行为计划和行为控制等的能力n 如解决微分问题，下跳棋，象棋，平衡杠杆，驾车等等13第13 页，本讲稿共70 页机器学习 概述n 对系统学习性能进行评价的指标：q 分类精度：是否能够对输入的数据进行正确、精确的分类q 解答的正确性和质量：n 对用于分类和解决问题的系统都有解答正确性问题；同时正确性不一定保证有好的质量n 好的质量包括：可读性、稳定性等多方面的因素q 学习的速度：n 它不仅仅影响系统

8、的设计，还影响系统的实现14第14 页，本讲稿共70 页机器学习 概述n 机器学习一直是AI 研究的瓶颈之一，表现在：q 预 测 难：学 习 后 知 识 库 发 生 了 什 么 变 化，系 统 功能的变化的预测q 归纳推理：n 现有的归纳推理只保证假，不保证真。演绎推理保真n 而 且，归 纳 的 结 论 是 无 限 多 的，其 中 相 当 多 是 假 的，给生成的知识带来不可靠性q 机器目前很难观察什么重要、什么有意义15第15 页，本讲稿共70 页机器学习 概述n 发展历史：大体上可分为两个时期n 早期机器学习的发展经历了下面三个发展阶段q 神经系统模型阶段 n 开 始 于20 世 纪50

9、年 代，所 研 究 的 内 容 是 没 有 知 识 的 学习n 主要研究目标是各种自组织系统和自适应系统n 主要理论基础是神经网络模型n 代表工作q F.Rosenblatt 提出的感知器模型q 机 器 学 习 的 决 策 理 论 方 法 也 应 运 而 生。Samuel 的 跳 棋程序是最著名的成功的学习系统之一16第16 页，本讲稿共70 页机器学习 概述q 符号概念获取研究阶段n 1975年左右提出n 这 类 学 习 过 程 通 过 分 析 一 些 概 念 的 正 例 和 反 例 构造出这些概念的符号表示n 表 示 的 形 式 一 般 是 逻 辑 表 达 式、决 策 树、产生式规则或语义

10、网络n 代表有Winston 的ARCHn 由 于 这 类 学 习 只 能 学 习 单 个 概 念，未 能 投 入 实际应用17第17 页，本讲稿共70 页机器学习 概述q 知识加强和论域专用学习阶段n 此 方 法 是70 年 代 中 期 开 始，沿 着 符 号 主 义 路线 进 行 的。在 原 有 基 础 上 逐 步 加 强、重 于 专 业的专用性n 强 调 使 用 面 向 任 务 的 知 识 和 它 对 学 习 过 程 的 引导 作 用。系 统 包 括 预 先 确 定 的 概 念、知 识 结 构、论 域 约 束、启 发 式 规 则 和 论 域 有 关 的 变 换。系统 在 开 始 并 不

11、具 有 所 有 的 属 性 或 概 念，在 学 习过程中系统应得到一些新的属性或概念 18第18 页，本讲稿共70 页机器学习 概述n 机器学习进入新阶段的重要表现：n 机 器 学 习 已 成 为 新 的 边 缘 科 学 并 在 高 校 形 成 一 门课程n 结 合 各 种 学 习 方 法，取 长 补 短 的 多 种 形 式 的 集 成学习系统的研究正在兴起n 机 器 学 习 与 人 工 智 能 各 种 基 础 问 题 的 统 一 性 观点正在形成n 各 种 学 习 方 法 的 应 用 范 围 不 断 扩 大，一 部 分 已 形成商品n 与机器学习有关的学术活动空前活跃19第19 页，本讲稿共

12、70 页机器学习 概述n 机器学习的分类：q 方法种类不少，很难系统分类。根据强调侧面的不同可以有多种分法n 按学习风格分类，机器学习可以分为：q 记忆学习、演绎学习、归纳学习、类比学习、分析学习、发现学习、遗传学习、连接学习等等20第20 页，本讲稿共70 页机器学习 概述n 机械式学习（记忆学习），即向机器直接输入新知识q 不需要进行任何推理或知识转换，将知识直接装进机器中。有多少写多少，系统本身没有学习过程，对知识不做任何修改，只有使用n 通过类推学习（演绎学习）q 系统找出现有知识中所要产生的新概念或技能十分类似的部分。将它们转换或扩大成适合新情况的形式，从而取得新的事实或技能。该种学

13、习方法是大量知识的总结、推广21第21 页，本讲稿共70 页机器学习 概述n 从例子中学习（归纳学习）q 给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述n 类比学习q 通过目标对象与源对象的相似性，运用源对象的求解方法解决目标对象的问题n 连接学习q 主要是指神经网络学习，实质上就是神经网络的建立过程22第22 页，本讲稿共70 页机器学习 概述n 按照实现途径分类，机器学习可以分为：q 符号学习q 连接学习n 按学习方法分类，机器学习可分为q 有教师指导学习，也称从样本学习q 无教师指导学习，也称从环境中学习、强化学习23第23 页，本讲稿共70 页第六章 机器学习n 概

14、述n 机器学习的基本系统结构n 神经网络学习24第24 页，本讲稿共70 页第六章 机器学习n 概述n 机器学习的基本系统结构n 神经网络学习25第25 页，本讲稿共70 页机器学习 机器学习的基本系统结构n 机器学习的系统结构模型q 西蒙认为：学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或相类似的任务时，会比现在做得更好或效率更高q 以西蒙的学习定义作为出发点，建立起下图所示的简单的学习系统结构模型26第26 页，本讲稿共70 页机器学习 机器学习的基本系统结构n 环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成

15、任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分27第27 页，本讲稿共70 页机器学习 机器学习的基本系统结构n 环境q 可以是系统的工作对象，也可以包括工作对象和外界条件q 对环境提供给系统的信息评价包含以下两个方面n 信息水平：信息的一般性程度，即适用范围的广泛性n 信息的质量：信息的正确性、是否是适当的选择和合理的组织q 环境中信息的水平和质量是影响学习系统设计的第一个因素，而影响学习系统效率的另一个重要因素是知识库的形式和内容28第28 页，本讲稿共70 页机器学习 机器学习的基本系统结构n 知识库：q 知识库的形式即知识表示的形式是否适宜非常重要q 知识库的内

16、容是指知识库在初始阶段要有相当的初始知识，并且在学习过程中不断修正和增加新的知识。知识库内的知识大多是以概念的形式存储的29第29 页，本讲稿共70 页机器学习 机器学习的基本系统结构n 知识库的形式q 常用的知识表示方法有：特征向量、谓词演算、产生式规则、过程、LISP 函数、数字多项式、语义网络和框架n 选择知识表示方法要考虑n 可表达性：表达方式要能描述缺乏内在结构的事物n 推理难度：表示的不同，推理当然有的容易，有的难n 可修改性：知识是否可修改。不能修改的知识不能更新n 可扩充性：系统学习通过增加词典条目和表示结构来扩大表示能力，使得系统能够学习并表示更复杂的知识30第30 页，本讲

17、稿共70 页机器学习 机器学习的基本系统结构n 学习环节q 是核心模块，是和外部交互的接口q 学习部分对环境提供的信息整理、分析、归纳或类比，生成新的知识元或利用这些信息修改知识库，以增进系统执行部分完成任务的效能q 学习环节从执行环节得到执行结果的反馈信号，进行学习修正，进一步改善执行环节的行为q 执行环节的复杂性、反馈和透明度都对学习环节有影响。复杂的任务需要更多的知识31第31 页，本讲稿共70 页机器学习 机器学习的基本系统结构n 执行环节 q 根据知识库执行一系列任务，同时把执行结果或执行过程中获得的信息反馈给学习部分，完成对新知识库的评价，指导进一步的工作q 任务的复杂性由执行任务

18、所需的是单个概念还是多个概念，执行任务采用的方式是单步还是多步来决定32第32 页，本讲稿共70 页第六章 机器学习n 概述n 机器学习的基本系统结构n 神经网络学习33第33 页，本讲稿共70 页第六章 机器学习n 概述n 机器学习的基本系统结构n 神经网络学习34第34 页，本讲稿共70 页机器学习 神经网络学习n 神经网络基础q 发展史q 生物神经元基本模型q 神经网络基本模型q 神经网络特性n 前馈型人工神经元网络q 线性阈值单元q 感知器及其学习算法q BP 算法35第35 页，本讲稿共70 页神经网络基础n 发展史q 1890年，美国生物学家W.James 出版了Physiolog

19、y（生理学）一书。首次阐明了有关人脑结构及其功能，以及相关学习、联想、记忆的基本规律q 1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P 模型n 描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的n 总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法36第36 页，本讲稿共70 页神经网络基础 发展史q 1957年Frank Rosenblatt 定义了一个神经网络结构，称为感知器(Perceptron)n 第一次把神经网络研究从纯理论的探讨推向工程实现。掀起了神经网络研究高潮n 通过在IBM704 计算机上的模拟，证明了

20、该模型有能力通过调整权的学习达到正确分类的结果 q 1969M.Minsky 和S.Papert 发表了Perceptrons 的论著：n 指出感知器仅能解决一阶谓词逻辑，只能做线性划分n 对于非线性或其他分类会遇到很大困难。一个简单的XOR 问题的例子就证明了这一点n 神经网络研究一度达到低潮37第37 页，本讲稿共70 页神经网络基础 发展史q 使神经网络研究一度达到低潮原因还有，计算机不够发达、VLSI 还没出现、而人工智能和专家系统正处于发展高潮q 七十年代,据说全球只有几十个人在研究，但还是成功的。如：n 日本Fukusima 的Neocognitron（新认知机）n 芬兰Kohon

21、en 的自组织神经网络SOM(Self-Organizing feature map)n Stephen Crossberg 的共振自适应理论ART 网络等(Adaptive Resonance Theory)38第38 页，本讲稿共70 页神经网络基础 发展史q 1982年John J.Hopfield（物理学家）提出了全联接网络全新的具有完整理论基础的神经网络模型。年后AT&T 等做出了半导体芯片。神经网络复兴时期开始q 1986年美国的一个并行计算研究小组提出了前向反馈神经网络的Back Propagation（BP）学习算法。成为当今应用最广泛的方法之一。该方法克服了感知器非线性不可分

22、类问题，给神经网络研究带来了新的希望 39第39 页，本讲稿共70 页神经网络基础 发展史n 运用BP 学习算法进行学习的神经网络模型与“多层感知器”模型在原理上是完全相同的n 感知器也同样具有与多层前馈网络相同的分类能力，只是由于当时没有理论支撑的设计算法，也就是学习算法，因而失去了实际应用的意义 40第40 页，本讲稿共70 页神经网络基础 发展史q 1987年在美国召开了第一届世界神经网络大会，1000人参加q IJCNN 等大会q Neural Computing,IEEE Neural Network 等期刊41第41 页，本讲稿共70 页神经网络基础符号主义与连接主义n 共同之处：

23、研究怎样用计算机来模仿人脑工作过程。最终目的是希望机器能够做到学习-实践-再学习-再实践，最终获得智能 n 不同之处：q 符号主义研究人脑的推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题q 连接主义企图阐明人脑结构及其功能，以及一些相关学习、联想记忆的基本规则（联想、概括、并行搜索、学习和灵活性）42第42 页，本讲稿共70 页神经网络基础符号主义与连接主义n 例如：q 符号主义建立的专家系统是制造一个专家，几十年难以培养的专家q 连接主义的神经网络是制造一个婴儿，一个幼儿，一个可以学习，不断完善，从一些自然知识中汲取智慧的生命成长过程n 同样是模仿人脑，但所考虑的角度不同

24、q 成年人和婴儿。学习过程不一样。一个是总结出常人都不懂得规律；一个是没完没了向他出示、重复一样东西，就象教一个小孩子说话43第43 页，本讲稿共70 页神经网络基础符号主义与连接主义44第44 页，本讲稿共70 页神经网络基础生物神经元基本模型n 神经元是脑组织的基本单元，人脑是由大约1011（一百亿）个神经元组成的系统。神经元的生物结构如下图所示 45第45 页，本讲稿共70 页神经网络基础生物神经元基本模型n 神经元具有一下结构特性：q 细胞体：由细胞核、细胞质与细胞膜等组成q 轴突：由细胞体向外伸出的最长的一条分支，称为轴突，即神经纤维。轴突相当于细胞的输出电缆，其端部的许多神经末梢为

25、信号输出端子，用于传出神经冲动q 树突：由细胞体向外伸出的其它许多较短的分支，称为树突。它相当于细胞的输入端，接受来自四面八方的传入神经冲动46第46 页，本讲稿共70 页神经网络基础生物神经元基本模型q 突触：细胞与细胞之间（即神经元之间）通过轴突与树突相互连接，其接口称为突触。每个细胞约有103104个突触。突触有两种类型：兴奋型与抑制型q 膜电位：细胞膜内外之间有电位差，约为20 100mV，称为膜电位。膜外为正，膜内为负q 结构可塑性：由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化，其传递作用可增强或减弱，所以，细胞之间的连接是柔性的，故称为结构可塑性47第47 页，本讲稿

26、共70 页神经网络基础生物神经元基本模型n 神经元q 神 经 网 络 的 基 本 处 理 单 元，科 学 研 究 过 程 中 一 般 是一 个 多 输 入/单 输 出 的 非 线 性 器 件 来 模 拟 生 物 神 经 细胞的，其结构模型如图所示 48第48 页，本讲稿共70 页神经网络基础生物神经元基本模型n yi表示神经元的输出；u表示神经元的输入总和，它相当于生物神经细胞的膜电位,si表示外部输入信号（在某些情况下，它可以控制神经元u，使它保持在某一状态）n 函数y=f(u)称为特性函数（也称作用函数或传递函数），特性函数可看作是神经元的数学模型49第49 页，本讲稿共70 页神经网络基

27、础生物神经元基本模型n 常见的特性函数有以下几种：q 阈值型：如q S 状：这类函数的输入输出特性多采用指数、对数或双曲正切等S 型函数表示。例如：sigmoid 函数 q 分段线性型：神经元的输入输出特性满足一定的区间线性关系，其特性函数表达为：50第50 页，本讲稿共70 页神经网络基础生物神经元基本模型n 以上三种特性函数的图像依次如图中的(a)、(b)、(c)所示51第51 页，本讲稿共70 页神经网络基础神经网络的基本模型n 人脑神经网络：q 人脑中约有140亿个神经细胞q 根 据Stubbz 的 估 计 这 些 细 胞 被 安 排 在 约1000个 主要模块内q 每个模块上有上百个

28、神经网络q 每个网络约有十万个神经细胞n 人 工 神 经 网 络 是 由 大 量 处 理 单 元 广 泛 互 连 而 成 的 网络，反映了人脑功能的基本特性52第52 页，本讲稿共70 页神经网络基础神经网络的基本模型n 前馈网络：q 信号由输入层到输出层单向传输q 每层的神经元仅与前层的神经元相连接q 每一层的神经元之间没有横向的信息传输q 每一个神经元受到前层全部神经元的控制53第53 页，本讲稿共70 页神经网络基础神经网络的基本模型n 输入输出有反馈的前馈网络：q 输出层上存在一个反馈回路，将信号反馈到输入层q 网络本身还是前馈型的q 输出反馈信号可以是原始输出信号，也可以是经过转化的

29、输出信号。可以是本时刻的也可以是经过一定延迟的q 经常用于系统控制、实时信号处理等，需要根据系统当前状态进行调节的场合54第54 页，本讲稿共70 页神经网络基础神经网络的基本模型n 前馈内层互联网络：q 外部看还是一个前向网络q 内部有很多自组织网络在层内互联着55第55 页，本讲稿共70 页神经网络基础神经网络的基本模型n 反馈型全互联网络：所有计算单元之间都有联接。如：Hopfield 网络 56第56 页，本讲稿共70 页神经网络基础神经网络的属性n 基本属性：q 非线性：大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制两种不同的状态。这种行为在数学上表现为一种非线性 q 非局域

30、性：人脑的非局域性非常显著。例如，人脑的（小范围）局部损伤通常不影响整个脑组织的正常工作。神经网络通过单元之间的大量联接模拟大脑的非局域性。联想记忆是非局域性的典型例子57第57 页，本讲稿共70 页神经网络基础神经网络的属性q 非定常性：非定常性是人脑发育的一个重要特征。人类脑神经细胞、神经网络是在不停地变化以适应外界环境的变化。人工神经网络也同样具有这种功能，可以通过样本提示来模拟环境变换，使得系统能够学习、自适应、自组织q 非凸性：一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定

31、的平衡态，这将导致系统演化的多样性 58第58 页，本讲稿共70 页神经网络基础优缺点n 评价q 优点：并行性；分布存储；容错性；学习能力 q 缺点：不适合高精度计算；学习问题没有根本解决，慢；目前没有完整的设计方法，经验参数太多59第59 页，本讲稿共70 页神经网络学习前馈型人工神经网络n 在前馈网络中的神经单元输入与输出的关系，可采用线性阈值传递函数或单调上升的非线性传递函数n 线性阈值传递函数60第60 页，本讲稿共70 页神经网络学习前馈型人工神经网络n 感知器 Rosenblatt，1957q 是一个由线性阈值元件组成的单层（或多层）神经元的神经网络q 当输入的加权和大于或等于阈值

32、时，输出为1，否则为0q 模型假定神经元中间的耦合程度（即加权系数W）可变，这样，该模型可以学习61第61 页，本讲稿共70 页神经网络学习前馈型人工神经网络n 当感知器用于两类模式的分类时:q 相当于在高维样本空间中，用一个超平面将两类样本分开n Rosenblatt 给出了相应的学习算法q 神经网络的学习过程就是神经网络参数的设定过程q 一个神经元网络结构确定之后，需要对一系列参数（权重、阈值等）进行有效的设定。这个过程叫做学习或训练过程，此时的方法叫学习算法62第62 页，本讲稿共70 页神经网络学习前馈型人工神经网络n 感知器具体学习算法如下：1.给定初始值：赋给wi(0)各一个较小的

33、随机非零值，这里wi(t)为t 时刻第i 个输入上的权值(1 in)，w0(t)为t 时刻的阈值；2.输入一样本X=(-1，x1,x2,xn,)和它的希望输出D;3.计算实际输出4.修正权值5.转到直到W 对一切样本均稳定不变为止。63第63 页，本讲稿共70 页神经网络学习前馈型人工神经网络n 前馈神经网络及反向传播学习算法 q 可以将前馈神经网络看作是一个多层的感知器q 由于该种网络多采用BP 学习算法进行训练，有时也被称为BP 网络64第64 页，本讲稿共70 页神经网络学习前馈型人工神经网络n 前馈神经网络模型的输入输出关系与单层感知器完全相同n 前一层的输出是下一层的输入n 该种网络

34、多采用BP 学习算法进行训练，BP 学习算法要求神经元模型的传递函数为有界连续可微函数如sigmoid 函数n 理论上，多层前馈网络可以模拟任意的输出函数。即可以完成任意复杂的分类任务65第65 页，本讲稿共70 页神经网络学习前馈型人工神经网络n BP 网络不仅有输入层节点、输出层节点，而且还有隐层节点（可以是一层或多层）n 对于输入信号，要先向前传播到隐节点，经过转移函数后，再把隐节点的输出信息传播到输出节点，最后给出输出结果n 节点的转移函数通常选取S 型函数，如66第66 页，本讲稿共70 页神经网络学习前馈型人工神经网络n 算法的学习过程，由正向传播和反向传播组成q 在正向传播过程中

35、，输入信息从输入层经隐节点单元逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态q 如果在输出层不能得到期望的输出，则转入反向传播过程，将误差信号沿原来的连接通路返回，通过修改各层神经元的连接权值，使得误差信号递减至最小67第67 页，本讲稿共70 页神经网络学习前馈型人工神经网络n BP 算法的流程图 68第68 页，本讲稿共70 页神经网络学习前馈型人工神经网络n BP 算法存在的问题：q 从数学的角度，神经网络学习是一个非线性优化问题，这就不可避免的存在有局部极小问题q 学习算法收敛的速度较慢，尤其是当网络规模达到一定规模之后q 网络训练结束，正常运行时，采用的是单向传播的方式，没有反馈机制可提供在线学习q 训练样本的顺序有可能影响学习速度和精度，新加入的样本会影响到已经学完的样本69第69 页，本讲稿共70 页The End.70第70 页，本讲稿共70 页