人工神经网络基础精选PPT.ppt

《人工神经网络基础精选PPT.ppt》由会员分享，可在线阅读，更多相关《人工神经网络基础精选PPT.ppt（34页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人工神经网络基础1 1第1页，此课件共34页哦第第4.14.1节节 引引 言言4.1.1人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史4.1.2人工神经网络的特性人工神经网络的特性人工神经网络的特性人工神经网络的特性4.1.3人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容2第2页，此课件共34页哦第第4.14.1节节 引引 言言4.1.4.1.1 1人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史4.4.1.1.2人工神经网络的特性人工神经网络的特性人工神经网络的特性人工

2、神经网络的特性4.4.1.1.3 3人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容3第3页，此课件共34页哦4.1 4.1 人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史1943年年1943-1969初创期初创期初创期初创期 心理学家心理学家McCulloch和数学家和数学家Pitts提出形式神经元数学提出形式神经元数学模型（模型（MP模型），揭开神经科学理论的新时代。模型），揭开神经科学理论的新时代。Hebb Hebb提出改变神经元连接强度的提出改变神经元连接强度的提出改变神经元连接强度的提出改变神经

3、元连接强度的HebbHebb规则。规则。规则。规则。Rosenblatt提出感知器概念，由阈值型神经元组提出感知器概念，由阈值型神经元组成，试图模拟人的感知、学习能力。成，试图模拟人的感知、学习能力。MinskyMinsky与与与与PapertPapert发表发表发表发表PerceptronsPerceptrons。1944年年1957年年1969年年4第4页，此课件共34页哦4.1.1 4.1.1 人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史1982年年1970-1986过渡期过渡期过渡期过渡期Hopfield提出了提出了HNN模型，引入模型，引入“计算能

4、量函数计算能量函数”概念，给概念，给出网络稳定性判据。出网络稳定性判据。BoltzmannBoltzmann机提出，设计、研制电子电路，为工程实现机提出，设计、研制电子电路，为工程实现机提出，设计、研制电子电路，为工程实现机提出，设计、研制电子电路，为工程实现指明方向。指明方向。指明方向。指明方向。Rumelhart等等PDP（并行分布式处理）研究小组提出了多（并行分布式处理）研究小组提出了多层前向传播网络的层前向传播网络的BP算法，开辟了算法，开辟了NN的应用新途径。的应用新途径。1985年年1986年年5第5页，此课件共34页哦4.1.1 4.1.1 人工神经网络发展简史人工神经网络发展简

5、史人工神经网络发展简史人工神经网络发展简史1987年年1987-现在现在发展期发展期发展期发展期美国圣地亚哥第一届世界神经网络会议。美国圣地亚哥第一届世界神经网络会议。美国国防部高等研究工程局美国国防部高等研究工程局:发展发展NN及应用研究的及应用研究的8年计划。年计划。NN NN的国际会议增多。的国际会议增多。的国际会议增多。的国际会议增多。IEEE Trans.on NNIEEE Trans.on NN创刊。创刊。创刊。创刊。NN NN的模型有几百个。基础理论、模型与算法的研究。的模型有几百个。基础理论、模型与算法的研究。的模型有几百个。基础理论、模型与算法的研究。的模型有几百个。基础理论

6、、模型与算法的研究。1989年，广东第一届神经网络年，广东第一届神经网络-信号处理会议。信号处理会议。1990年开始，神经网络学术会议，年会。年开始，神经网络学术会议，年会。90年代后年代后国内情况国内情况6第6页，此课件共34页哦第第4.14.1节节 引引 言言4.1.1人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史4.1.2人工神经网络的特性人工神经网络的特性人工神经网络的特性人工神经网络的特性4.1.3人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容7第7页，此课件共34页哦4.1.2 人工神经网络

7、的特性人工神经网络的特性非线性映射非线性映射近似任意非线性映射，适用于非线性辨识与控制。近似任意非线性映射，适用于非线性辨识与控制。通过训练具有归纳数据的能力，更适用于非模型描述的控制。通过训练具有归纳数据的能力，更适用于非模型描述的控制。通过训练具有归纳数据的能力，更适用于非模型描述的控制。通过训练具有归纳数据的能力，更适用于非模型描述的控制。可在线运行和信息融合，适用于复杂、大规模和多变量可在线运行和信息融合，适用于复杂、大规模和多变量系统的控制。系统的控制。硬件实现，神经网络成为具有快速和大规模处理能力硬件实现，神经网络成为具有快速和大规模处理能力硬件实现，神经网络成为具有快速和大规模处

8、理能力硬件实现，神经网络成为具有快速和大规模处理能力的实现网络。的实现网络。的实现网络。的实现网络。可学习可学习适应与集成适应与集成硬件实现硬件实现具有高度的并行结构和并行实现能力，适用于在线控制具有高度的并行结构和并行实现能力，适用于在线控制。并行性并行性8第8页，此课件共34页哦第第4.14.1节节 引引 言言4.1.14.1.1人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史4.1.2人工神经网络的特性人工神经网络的特性人工神经网络的特性人工神经网络的特性4.1.3人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研

9、究的基本内容9第9页，此课件共34页哦4.1.3 4.1.3 人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容理论研究理论研究应用研究应用研究实现研究实现研究单神经元数学模型单神经元数学模型单神经元数学模型单神经元数学模型神经网络拓扑结构神经网络拓扑结构神经网络拓扑结构神经网络拓扑结构神经网络学习算法神经网络学习算法神经网络学习算法神经网络学习算法神经网络泛化能力神经网络泛化能力神经网络泛化能力神经网络泛化能力神经网络动力学神经网络动力学神经网络动力学神经网络动力学图像处理与识别图像处理与识别图像处理与识别图像处理与识别语音信号处理与识别

10、语音信号处理与识别语音信号处理与识别语音信号处理与识别 数据的存储与记忆数据的存储与记忆数据的存储与记忆数据的存储与记忆 组合优化组合优化组合优化组合优化 复杂系统控制复杂系统控制复杂系统控制复杂系统控制硬件实现电路硬件实现电路硬件实现电路硬件实现电路NNNN模型的通用硬模型的通用硬模型的通用硬模型的通用硬件系统（神经网件系统（神经网件系统（神经网件系统（神经网络计算机）络计算机）络计算机）络计算机）MatlabMatlab神经网络神经网络神经网络神经网络工具箱工具箱工具箱工具箱10第10页，此课件共34页哦4.2.1生物神经元的结构生物神经元的结构生物神经元的结构生物神经元的结构4.2.2生

11、物神经元的信息处理机制生物神经元的信息处理机制生物神经元的信息处理机制生物神经元的信息处理机制第第4.24.2节节 生物神经元生物神经元11第11页，此课件共34页哦来自其来自其它细胞它细胞轴突的轴突的神经末神经末稍稍轴突轴突树突树突细胞膜细胞膜神经末稍神经末稍来自其来自其它细胞它细胞轴突的轴突的神经末神经末稍稍轴突轴突树突树突突触突触细胞膜细胞膜神经末稍神经末稍细胞体细胞体细胞核细胞核细胞体细胞体细胞核细胞核细胞质细胞质细胞膜细胞膜树突：树突：胞体上短而多分支的突起，相当胞体上短而多分支的突起，相当于神经元的输入端，于神经元的输入端，接收接收传入的神经冲传入的神经冲动。动。轴突（神经纤维）：

12、轴突（神经纤维）：胞体上最长枝的胞体上最长枝的突起，端部有很多神经末梢，突起，端部有很多神经末梢，传出传出神经神经冲动。冲动。细胞膜电位：细胞膜电位：神经细胞在受到电的、神经细胞在受到电的、化学的、机械的刺激后能产生兴奋，化学的、机械的刺激后能产生兴奋，此时细胞膜内外有电位差，称为膜电此时细胞膜内外有电位差，称为膜电位，其电位膜内为正，膜外为负。位，其电位膜内为正，膜外为负。4.2.1 生物神经元的结构生物神经元的结构12第12页，此课件共34页哦来自其来自其它细胞它细胞轴突的轴突的神经末神经末稍稍轴突轴突树突树突细胞膜细胞膜神经末稍神经末稍来自其来自其它细胞它细胞轴突的轴突的神经末神经末稍稍

13、轴突轴突树突树突突触突触细胞膜细胞膜神经末稍神经末稍细胞体细胞体细胞核细胞核突触：突触：是神经元之间的连接接口。是神经元之间的连接接口。一个神经元，通过其轴突的神经末一个神经元，通过其轴突的神经末梢，经梢，经突触突触与另一个神经元的树与另一个神经元的树突连接，以实现信息的传递。突连接，以实现信息的传递。由于突触的信息传递特性是可由于突触的信息传递特性是可变的，随着神经冲动传递方式变的，随着神经冲动传递方式的变化，传递作用强弱不同，的变化，传递作用强弱不同，形成了神经元之间连接的柔性，形成了神经元之间连接的柔性，称为称为结构的可塑性结构的可塑性。4.2.1 4.2.1 生物神经元的结构生物神经元

14、的结构生物神经元的结构生物神经元的结构13第13页，此课件共34页哦来自其来自其它细胞它细胞轴突的轴突的神经末神经末稍稍轴突轴突树突树突细胞膜细胞膜神经末稍神经末稍来自其来自其它细胞它细胞轴突的轴突的神经末神经末稍稍轴突轴突树突树突突触突触细胞膜细胞膜神经末稍神经末稍细胞体细胞体细胞核细胞核兴奋与抑制：兴奋与抑制：若传入神经元的冲动经整若传入神经元的冲动经整合后使细胞膜电位升高，超过动作电位合后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出；由轴突经神经末梢传出；若传入神经若传入神经元的冲动经整合后使细胞膜电位降元的冲

15、动经整合后使细胞膜电位降低，低于阈值时即为抑制状态，不低，低于阈值时即为抑制状态，不产生神经冲动。产生神经冲动。学习与遗忘：学习与遗忘：由于神经元结构的可塑性，由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此神经突触的传递作用可增强与减弱，因此神经元具有学习与遗忘的功能。元具有学习与遗忘的功能。4.2.1 4.2.1 生物神经元的结构生物神经元的结构生物神经元的结构生物神经元的结构14第14页，此课件共34页哦4.2.2 生物神经元的信息处理机制生物神经元的信息处理机制神经元形式化结构神经元形式化结构 神经元具有的特征神经元具有的特征1.1.时空整合时空整合空间整合空间整合时间整合时间

16、整合时空整合时空整合输入信号的影响会短时间地持续，和后到达的输入信号的影响同输入信号的影响会短时间地持续，和后到达的输入信号的影响同时起作用，也就是说，神经元时起作用，也就是说，神经元对于不同时间通过同一突触的输对于不同时间通过同一突触的输入信号具有时间整合的功能入信号具有时间整合的功能。15第15页，此课件共34页哦神经元具有的特征神经元具有的特征2.2.阈值特性阈值特性神经元输入和输出是非神经元输入和输出是非线性的关系线性的关系3.3.不应期不应期无输出信号。无输出信号。上升为无穷大。上升为无穷大。4.4.疲劳疲劳阈值慢慢增加时，神经元很难兴奋阈值慢慢增加时，神经元很难兴奋5.5.突触的可

17、塑性突触的可塑性突触的结合强度会随着输入信号和输突触的结合强度会随着输入信号和输出信号发生变化，使得神经细胞具出信号发生变化，使得神经细胞具有学习和记忆的能力有学习和记忆的能力6.6.输出信号的种类输出信号的种类离散的（脉冲信号）；连续信号离散的（脉冲信号）；连续信号4.2.2 4.2.2 生物神经元的信息处理机制生物神经元的信息处理机制生物神经元的信息处理机制生物神经元的信息处理机制16第16页，此课件共34页哦第第4.34.3节节 人工神经元人工神经元4.3.1人工神经元的数学模型人工神经元的数学模型人工神经元的数学模型人工神经元的数学模型4.3.2人工神经元的激励函数人工神经元的激励函数

18、人工神经元的激励函数人工神经元的激励函数17第17页，此课件共34页哦出发点：出发点：模拟生物神经元的结构和功能，从数学角度抽象出来一个基本模拟生物神经元的结构和功能，从数学角度抽象出来一个基本单元。单元。神经元模型：神经元模型：是生物神经元的是生物神经元的抽象抽象和和模拟模拟；是人工神经网络的是人工神经网络的最基本组成部分最基本组成部分；是一是一多输入单输出的非线性处理单元多输入单输出的非线性处理单元。神经网络直观理解：神经网络直观理解：神经网络是一个并行和分布式的信息处理网络结构，它一般由神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以

19、连接到许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其它的神经元，每个神经元输入有多个连接通道，每个连很多其它的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。接通道对应于一个连接权系数。引言引言引言引言18第18页，此课件共34页哦 结构结构数学描述数学描述输入：输入：状态：状态：输出：输出：通常有：通常有：则：则：:阈值；阈值；:输入信号，可理解为其它神经元的输出；输入信号，可理解为其它神经元的输出；:从从ui到到xj的连接权值的连接权值（注意其下标与方向）（注意其下标与方向）；:外部输入信号；外部输入信号；:神经元的输出神经元的输出4.3.1 4.3.

20、1 4.3.1 4.3.1 人工神经元的数学模型人工神经元的数学模型人工神经元的数学模型人工神经元的数学模型19第19页，此课件共34页哦f阈值型阈值型分段线性型分段线性型4.3.2 4.3.2 4.3.2 4.3.2 人工神经元的激励函数人工神经元的激励函数人工神经元的激励函数人工神经元的激励函数20第20页，此课件共34页哦TanTan函数型函数型T T：比例因子，调整函数的上升坡度。：比例因子，调整函数的上升坡度。T T越大，越大，f f上升越慢；上升越慢；T T越小，越小，f f上升越快，很快饱和。上升越快，很快饱和。SigmoidSigmoid函数型函数型4.3.2 4.3.2 4.

21、3.2 4.3.2 人工神经元的激励函数人工神经元的激励函数人工神经元的激励函数人工神经元的激励函数21第21页，此课件共34页哦控制输入对输出的激活作用；控制输入对输出的激活作用；对输入、输出进行函数转换；对输入、输出进行函数转换；将可能无限域的输入变换成指定的有限范围内的输出。将可能无限域的输入变换成指定的有限范围内的输出。激励函数的作用：激励函数的作用：4.3.2 4.3.2 4.3.2 4.3.2 人工神经元的激励函数人工神经元的激励函数人工神经元的激励函数人工神经元的激励函数22第22页，此课件共34页哦第第4.44.4节节 人工神经元网络的模型分类人工神经元网络的模型分类4.4.1

22、根据组织和抽象层次分类根据组织和抽象层次分类根据组织和抽象层次分类根据组织和抽象层次分类4.4.2根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类23第23页，此课件共34页哦神经元层次模型：神经元层次模型：仅研究单一神经元的动态和自适应特性，探索仅研究单一神经元的动态和自适应特性，探索神经元对输入信息的处理和存储能力。神经元对输入信息的处理和存储能力。组合式模型：组合式模型：由多个不同神经元组成，功能比单一神经元强大。由多个不同神经元组成，功能比单一神经元强大。网络层次模型：网络层次模型：由多个相同神经元组成的网络结构，网络的整体性由多

23、个相同神经元组成的网络结构，网络的整体性能为研究重点。能为研究重点。神经系统层次模型（多种网络）：神经系统层次模型（多种网络）：由多个不同性质的神经网由多个不同性质的神经网络构成，以模拟生物神经系统更复杂，更抽象的特性。络构成，以模拟生物神经系统更复杂，更抽象的特性。4.4.1 4.4.1 4.4.1 4.4.1 根据组织和抽象层次分类根据组织和抽象层次分类根据组织和抽象层次分类根据组织和抽象层次分类24第24页，此课件共34页哦前向网络前向网络特点特点 神经元分层排列，组成输入层、隐含神经元分层排列，组成输入层、隐含层（可以有若干层）和输出层；层（可以有若干层）和输出层；每一层的神经元只接收

24、前一层神经元每一层的神经元只接收前一层神经元的输入；的输入；各神经元之间不存在反馈，信号在各层各神经元之间不存在反馈，信号在各层中顺序传播。中顺序传播。典型网络典型网络BPBP网络，感知器网络，感知器4.4.2 4.4.2 4.4.2 4.4.2 根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类25第25页，此课件共34页哦特点特点仅在输出层到输入层存在反馈，即仅在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反外部的输入和来自输出神经元的反馈，故可用来存储某种模式序列。

25、馈，故可用来存储某种模式序列。应用应用神经认知机，动态时间序列过程的神经认知机，动态时间序列过程的神经网络建模神经网络建模反馈网络反馈网络4.4.2 4.4.2 4.4.2 4.4.2 根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类26第26页，此课件共34页哦特点特点网状结构；任两个神经元之间都有网状结构；任两个神经元之间都有可能存在连接（反馈）。可能存在连接（反馈）。典型网络典型网络HopfieldHopfield网络，网络，BoltzmannBoltzmann机网络机网络注：注：在无反馈的前向网络中，信号一旦通过某个神经在无反馈的

26、前向网络中，信号一旦通过某个神经元，过程就结束了。而在相互结合网络中，信号元，过程就结束了。而在相互结合网络中，信号在神经元之间反复往返传递，网络处在一种不断在神经元之间反复往返传递，网络处在一种不断改变状态的动态之中。改变状态的动态之中。相互结合型网络（全互连）相互结合型网络（全互连）4.4.2 4.4.2 根据连接方式和信息流向分类根据连接方式和信息流向分类27第27页，此课件共34页哦特点特点 前两者的混合；前两者的混合；同层内神经元相互连接；同层内神经元相互连接；可以实现同一层内神经元之间的横向抑制可以实现同一层内神经元之间的横向抑制或兴奋机制。这样可以限制每层内能同时动或兴奋机制。这

27、样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。若干组，让每组作为一个整体来动作。典型网络典型网络回归神经网络（回归神经网络（RNNRNN）混合型网络（层内混合型网络（层内互连）互连）4.4.2 4.4.2 4.4.2 4.4.2 根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类28第28页，此课件共34页哦连接权的确定方法：连接权的确定方法：（1 1）根据具体要求，直接计算出来，如）根据具体要求，直接计算出来，如HopfieldHopfield网络作优

28、化计算时网络作优化计算时就属于这种情况。就属于这种情况。（2 2）通过学习得到的，大多数人工神经网络都用这种方法。）通过学习得到的，大多数人工神经网络都用这种方法。学习实质：学习实质：针针对对一一组组给给定定输输入入Xp (p=1,2,N )，通通过过学学习习使使网网络络动动态态改改变变权权值，从而使其产生相应的期望输出值，从而使其产生相应的期望输出Yd的过程。的过程。学习算法分类：学习算法分类：有导师学习、无导师学习、强化学习有导师学习、无导师学习、强化学习第第4.54.5节节 人工神经网络的学习人工神经网络的学习29第29页，此课件共34页哦偏差偏差e e注：注：在训练过程中，存在一个期望

29、的网络输出。它是基于误差来在训练过程中，存在一个期望的网络输出。它是基于误差来调整网络权值的。调整网络权值的。应用：应用：感知器网络感知器网络;多层前向传播网络多层前向传播网络;oltzmann机网络。机网络。有导师学习有导师学习学习算法学习算法学习算法学习算法30第30页，此课件共34页哦注：注：网络不存在一个期望的输出，通过建立一个间接评价函数，网络不存在一个期望的输出，通过建立一个间接评价函数，对网络的某种行为趋向作出评价，改变神经网络数值。对网络的某种行为趋向作出评价，改变神经网络数值。应用：应用：ARTART网络；网络；KohonenKohonen自组织网络。自组织网络。无导师学习无

30、导师学习学习算法学习算法学习算法学习算法31第31页，此课件共34页哦强化强化学习把学习看做试探性评价（奖或惩）过程。学习把学习看做试探性评价（奖或惩）过程。学习机选择一种动作作用于环境之后，使环境的状态改变，并产生学习机选择一种动作作用于环境之后，使环境的状态改变，并产生强化强化信信号（奖或惩）反馈至学习机。号（奖或惩）反馈至学习机。学习机依据学习机依据强化强化信号与环境当前的状态，再选择下一动作作用于环信号与环境当前的状态，再选择下一动作作用于环境，选择的原则是使受到奖励的可能性最大。境，选择的原则是使受到奖励的可能性最大。可见，强化信号是环境对学习机学习结果的一个评价。可见，强化信号是环

31、境对学习机学习结果的一个评价。再励学习再励学习学习算法学习算法学习算法学习算法32第32页，此课件共34页哦相关学习：相关学习：仅根据连接间的激活水平改变权系数。仅根据连接间的激活水平改变权系数。HebbHebb学习规则：学习规则：纠错学习：纠错学习：根据输出节点的外部反馈改变权系数。根据输出节点的外部反馈改变权系数。学习规则：学习规则：无导师学习：无导师学习：学习表现为自动实现输入空间的检测和分类。学习表现为自动实现输入空间的检测和分类。关键关键不在于实际节点的输出怎样与外部的期望输出相一致，不在于实际节点的输出怎样与外部的期望输出相一致，而在于调整参数以反映所观察事件的分布。而在于调整参数以反映所观察事件的分布。学习规则学习规则学习规则学习规则33第33页，此课件共34页哦Neural Networks（国际神经网络协会会刊国际神经网络协会会刊）IEEE Transactions on Neural NetworksIEEE Transactions on Parallel Distributed SystemConnections ScienceNeurocomputingNeural ComputationInternational Journal of Neural Systems相关国际杂志相关国际杂志34第34页，此课件共34页哦