人工神经网络与机器学习精.ppt

《人工神经网络与机器学习精.ppt》由会员分享，可在线阅读，更多相关《人工神经网络与机器学习精.ppt（31页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人工神经网络与机器学习第1页，本讲稿共31页人工神经网络 西班牙解剖学家Cajal于十九世纪末创立了神经元学说。20世纪60年代后期“神经科学”细胞与分子水平的研究 20世纪90年代开始，脑科学研究中整合性 第2页，本讲稿共31页神经网络与人工神经网络 神经元的结构 第3页，本讲稿共31页神经网络与人工神经网络 神经元具有以下的特性与功能 信息传递的方向性：在每一个神经元中，信息都是以预知的确定方向传递，即从信息接受部分（树突）传到轴突的起始部分，再传到突触，最后传给另一神经元。这称为神经元的动态激化原则。时空整合：神经元的细胞体能对不同时间由同一突触传入的神经冲动进行整合（称时间整合）和对同

2、一时间由不同突触传入的神经冲动进行整合（称空间整合）。兴奋与抑制：神经元传入冲动的时空整合使细胞膜的电位升高，并超过阈值时产生神经冲动并由轴突输出（称神经元处于兴奋状态）。当传入冲动的时空整合使细胞膜的电位下降，并低于阈值时将不产生神经冲动且无输出（称神经元处于抑制状态）。延时和不应期：神经元在相邻两次神经冲动之间有时间间隔，该间隔称为神经元的不应期。在此期间，神经元不响应、不处理、不传递神经冲动，神经元出现延时。结构可塑性：突触传递信息的特性是可变的。随着神经冲动传递方式的变化，其传递作用可强可弱，所以神经元间的连接是柔性的，这称为结构的可塑性。学习、遗忘和疲劳：由于结构可塑性，突触的传递作

3、用有增强、减弱和饱和，对应于神经元具有学习、遗忘和疲劳功能。神经元经突触与树突连接起来便形成了神经网络。神经元经突触与树突连接起来便形成了神经网络。第4页，本讲稿共31页神经网络与人工神经网络 人工神经网络是利用人工的方式对生物神经网络的模拟。神经元的M-P模型 y输出eeii兴奋性输入抑制性输入第5页，本讲稿共31页神经网络与人工神经网络 人工神经元结构模型人工神经元的工作过程是：从输入端接收输入信号xi根据连接权值i，求出所有输入的加权和用某一非线性特征函数f进行转换，获得输出y yx1x212xnns第6页，本讲稿共31页神经网络与人工神经网络 神经元互连基本形式 前向网络反馈网络层内互

4、连网络互连网络输入层输出层隐层输入层输出层隐层输入层输出层隐层输入层输出层隐层第7页，本讲稿共31页神经网络与人工神经网络 人工神经网络在以下方面体现了人脑的基本特性：人工神经网络为广泛连接的巨型系统，它更适合于形象思维的模拟。人工神经网络基于大规模并行协同处理机制，这使得人工神经网络可以较好地模拟人脑神经系统的处理能力。人工神经网络具有和人脑一样的容错和联想能力。人工神经网络具有自学习、自组织、自适应功能。在人工神经网络中，可以通过改变神经元之间的连接权值来有效地模拟人类的学习过程。理论研究表明，选择合适的神经元之间的连接权值可以使人工神经网络以任意小的误差逼近任何连续函数。这意味着神经网络

5、具有很强的自学习能力、自组织能力和自适应能力。第8页，本讲稿共31页神经网络计算机的特点 神经计算机又称为第六代计算机，它的研制开始于20世纪80年代后期。美国、欧共体和日本都把它作为一项国家计划项目开发研究，并作为21世纪的关键技术。1988年，美国国防部制定了8年计划，投资4亿美元用于神经网络计算机的研究和开发；1990年，又提出了神经网络的“风暴计划”，计划为期两年，主要研究神经计算机在军事领域的应用。日本，神经计算机作为“新信息处理技术开发计划”中的一项基础技术被高度重视。从1992年起，计划为期10年，投资1000亿日元研究和开发神经计算机。日本在1992年就已成功研制出一部“通用神

6、经网络计算机”。欧共体，作为欧洲信息技术研究开发战略的一环，广泛开展了神经网络计算机研发。第9页，本讲稿共31页神经网络计算机的特点神经网络计算机有下列特征：具有快速、准确的信息处理能力具有自学习、自适应和自组织能力具有近似人脑的信息处理能力适合于智能信息处理第10页，本讲稿共31页神经网络计算机的实现方式 神经网络计算机分类 神经网络计算机通用神经网络计算机专用神经网络计算机全神经网络计算机前后端神经网络计算机第11页，本讲稿共31页神经网络计算机的实现方式 通用神经网络计算机通用神经网络计算机并行广播总线总线接口系统状态物理处理器虚拟处理器互连及连接权值存储器总线接口系统状态物理处理器虚拟

7、处理器互连及连接权值存储器总线接口系统状态物理处理器虚拟处理器互连及连接权值存储器系统控制单元物理处理器12n第12页，本讲稿共31页神经网络计算机的实现方式 前后端神经网络计算机前后端神经网络计算机视觉模型(模式识别)听觉模型(语音分析)语音模型(语音合成)运动模型触角模型数值运算文字处理推理指令认知模型(判断、联想)数据压缩图像采集设备图像显示设备语音采集设备语音输出设备机器人前端神经网络计算机冯诺依曼体系结构计算机后端神经网络计算机第13页，本讲稿共31页神经网络计算机的实现方式 中科院预言神1号神经网络处理机硬件结构 第14页，本讲稿共31页神经网络计算机的实现方式 全神经网络计算机全

8、神经网络计算机全神经网络计算机由全硬件实现。该类计算机物理上的处理单元及通讯通道与具体的神经网络模型中的神经元及其连接一一对应，每一神经元及连接都有与之对应的物理器件。近些年来，神经计算机的研究发展很快，已有产品进入市场。将光技术应用于神经网络计算机从而开发出光神经计算机也成为一种趋势。光神经计算机的特征：光具有并行性，它与神经计算吻合；光波的传播无交叉失真,传播容量大；可能实现超高速运算。第15页，本讲稿共31页神经网络计算机的实现方式 重要的神经网络模型 书P.172第16页，本讲稿共31页BP网路第17页，本讲稿共31页BP网络机制学习建立网络模型通过样本数据进行学习将学习获得的知识保存

9、在神经元间的连接权中计算（工作）应用保存在神经元间连接权中的知识进行计算第18页，本讲稿共31页BP网络学习通过样本数据（I，T）训练神经网络，以建立输入与输出的关系，这种关系保存在神经元之间的连接权之中。符号一个隐层输入层单元 i的输入为 Ii，输入层单元 i 到隐层单元 j 的权为 Wij隐层单元 j 到输出的输出为Hj隐层单元 j 到输出层单元 k 的权为 W”jk输出层单元 k 的输出为Ok激活函数为f(x)第19页，本讲稿共31页BP网络学习学习过程隐层学习输出层学习第20页，本讲稿共31页BP网络学习权值修正：输出O与教师信号T的的误差记为：E=|O-T|按最速下降法求出对W“和W

10、的修正量jk，ij，可得：W”jk=Wjk+jk Wij=Wij+ij学习结束的条件为：对所有的样本（I，T）均有：E 激活函数f可取如下形式：第21页，本讲稿共31页BP网络计算利用学习获得的权值及函数f，计算：Hj=f(Wil*Ii)Ok=f(W”jk*Hj)输出为数组O=(O1,O2,Op)第22页，本讲稿共31页BP网路学习的分析定理：对于任意的连续函数g，可以构造BP网路任意逼近它。学习过程可能存在的问题算法的解不一定是最优算法中隐层神经元的数目确定困难第23页，本讲稿共31页机器学习学习与机器学习学习过程：一个具有特定目标的知识获取过程内在行为：获取知识、积累经验、发现规律外在表现

11、：改进性能、适应环境、自我完善机器学习使计算机或智能系统模拟人类的学习行为，自动获取知识和技能，不断改善系统性能，实现系统自我完善基本问题：用于获取、表示、修改和应用知识或技能的形式与方法主要研究方向学习机理研究：研究人类学习的机制和如何在智能系统中实现学习方法研究：研究人类学习过程、方法和如何在智能系统中实现学习系统研究：面向特定的任务或问题，如何建立学习系统第24页，本讲稿共31页学习系统概念学习系统是一个能够通过与其所处环境的相互作用获得有关信息，并将这些信息用于提高自身性能的智能系统构成学习环境：向系统提供有关的外部信息外部信息源学习机构：从环境中提取信息知识库：存放由学习获得的知识执

12、行与评价机构执行：应用所学到的知识解决问题的过程评价：验证和评判所学知识的应用效果所学知识的正确性自动评价：系统通过内部的评价指标体系自动完成评价人工评价：人工完成评价第25页，本讲稿共31页具备的条件和能力适当的学习环境一定的学习能力应用学到知识求解问题提高系统性能第26页，本讲稿共31页机器学习方法按学习方法分类：机械式学习、指导式学习、示例学习、类比学习、解释学习按推理方法分类：演绎学习、归纳学习按综合属性分类：归纳学习、分析学习、连接学习、遗传学习、分类器学习第27页，本讲稿共31页The Apriori AlgorithmCk:Candidate itemset of size k.

13、Lk:frequent itemset of size k.L1=frequent items;for(k=1;Lk!=;k+)do begin Ck+1=New candidates generated from Lk;foreach transaction t in database do increment the count of all candidates in Ck+1 that are contained in t Lk+1 =candidates in Ck+1 with min.support endreturn k Lk;第28页，本讲稿共31页Apriori Candi

14、date GenerationMonotonicity Property:All subset of a frequent set are frequentGiven Lk,Ck+1 can be generated in two steps:Join:Join Lk with Lk,with the join condition that the first k-1 items should be the samePrune:delete all candidates whose support is lower then the minimum support specified第29页，本讲稿共31页Mining Association Rules-ExampleFor rule A C:support=support(A,C)=50%confidence=support(A,C)/support(A)=66.6%Min.support 50%Min.confidence 50%第30页，本讲稿共31页The Apriori Algorithm-ExampleDatabase DScan DC1L1L2C2C2Scan DC3L3Scan D第31页，本讲稿共31页