人工神经网络基础PPT讲稿.ppt

《人工神经网络基础PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《人工神经网络基础PPT讲稿.ppt（34页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人工神经网络基础1 1第1页，共34页，编辑于2022年，星期四第第4.14.1节节 引引 言言4.1.1人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史4.1.2人工神经网络的特性人工神经网络的特性人工神经网络的特性人工神经网络的特性4.1.3人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容2第2页，共34页，编辑于2022年，星期四第第4.14.1节节 引引 言言4.1.4.1.1 1人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史4.4.1.1.2 2人工神经网络的特性

2、人工神经网络的特性人工神经网络的特性人工神经网络的特性4.4.1.1.3 3人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容3第3页，共34页，编辑于2022年，星期四4.1 4.1 人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史1943年年1943-1969初创期初创期初创期初创期 心理学家心理学家McCulloch和数学家和数学家Pitts提出形式神经元数学模型（提出形式神经元数学模型（MP模型），揭开神经科学理论的新时代。模型），揭开神经科学理论的新时代。Hebb Hebb提出改变神经元连接强度的提

3、出改变神经元连接强度的提出改变神经元连接强度的提出改变神经元连接强度的HebbHebb规则。规则。规则。规则。Rosenblatt提出感知器概念，由阈值型神经元组提出感知器概念，由阈值型神经元组成，试图模拟人的感知、学习能力。成，试图模拟人的感知、学习能力。MinskyMinsky与与与与PapertPapert发表发表发表发表PerceptronsPerceptrons。1944年年1957年年1969年年4第4页，共34页，编辑于2022年，星期四4.1.1 4.1.1 人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史1982年年1970-1986过渡期过渡

4、期过渡期过渡期Hopfield提出了提出了HNN模型，引入模型，引入“计算能量函数计算能量函数”概念，给出网络概念，给出网络稳定性判据。稳定性判据。BoltzmannBoltzmann机提出，设计、研制电子电路，为工程实机提出，设计、研制电子电路，为工程实机提出，设计、研制电子电路，为工程实机提出，设计、研制电子电路，为工程实现指明方向。现指明方向。现指明方向。现指明方向。Rumelhart等等PDP（并行分布式处理）研究小组提出了多层前（并行分布式处理）研究小组提出了多层前向传播网络的向传播网络的BP算法，开辟了算法，开辟了NN的应用新途径。的应用新途径。1985年年1986年年5第5页，共

5、34页，编辑于2022年，星期四4.1.1 4.1.1 人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史1987年年1987-现在现在发展期发展期发展期发展期美国圣地亚哥第一届世界神经网络会议。美国圣地亚哥第一届世界神经网络会议。美国国防部高等研究工程局美国国防部高等研究工程局:发展发展NN及应用研究的及应用研究的8年计划。年计划。NN NN的国际会议增多。的国际会议增多。的国际会议增多。的国际会议增多。IEEE Trans.on NNIEEE Trans.on NN创刊。创刊。创刊。创刊。NN NN的模型有几百个。基础理论、模型与算法的研究。的模型有几百个。基

6、础理论、模型与算法的研究。的模型有几百个。基础理论、模型与算法的研究。的模型有几百个。基础理论、模型与算法的研究。1989年，广东第一届神经网络年，广东第一届神经网络-信号处理会议。信号处理会议。1990年开始，神经网络学术会议，年会。年开始，神经网络学术会议，年会。90年代后年代后国内情况国内情况6第6页，共34页，编辑于2022年，星期四第第4.14.1节节 引引 言言4.1.14.1.1人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史人工神经网络发展简史4.1.2人工神经网络的特性人工神经网络的特性人工神经网络的特性人工神经网络的特性4.1.34.1.3人工神经网络研究的基本

7、内容人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容7第7页，共34页，编辑于2022年，星期四4.1.2 4.1.2 人工神经网络的特性人工神经网络的特性人工神经网络的特性人工神经网络的特性非线性映射非线性映射近似任意非线性映射，适用于非线性辨识与控制。近似任意非线性映射，适用于非线性辨识与控制。通过训练具有归纳数据的能力，更适用于非模型描述的控制。通过训练具有归纳数据的能力，更适用于非模型描述的控制。通过训练具有归纳数据的能力，更适用于非模型描述的控制。通过训练具有归纳数据的能力，更适用于非模型描述的控制。可在线运行和信息融合，适用于复杂、大规模和多变量可在线

8、运行和信息融合，适用于复杂、大规模和多变量系统的控制。系统的控制。硬件实现，神经网络成为具有快速和大规模处理能力的硬件实现，神经网络成为具有快速和大规模处理能力的硬件实现，神经网络成为具有快速和大规模处理能力的硬件实现，神经网络成为具有快速和大规模处理能力的实现网络。实现网络。实现网络。实现网络。可学习可学习适应与集成适应与集成硬件实现硬件实现具有高度的并行结构和并行实现能力，适用于在线控制具有高度的并行结构和并行实现能力，适用于在线控制。并行性并行性8第8页，共34页，编辑于2022年，星期四第第4.14.1节节 引引 言言4.1.14.1.1人工神经网络发展简史人工神经网络发展简史人工神经

9、网络发展简史人工神经网络发展简史4.1.24.1.2人工神经网络的特性人工神经网络的特性人工神经网络的特性人工神经网络的特性4.1.3人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容9第9页，共34页，编辑于2022年，星期四4.1.3 4.1.3 人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容人工神经网络研究的基本内容理论研究理论研究应用研究应用研究实现研究实现研究单神经元数学模型单神经元数学模型单神经元数学模型单神经元数学模型神经网络拓扑结构神经网络拓扑结构神经网络拓扑结构神经网络拓扑结构神经网络学习算

10、法神经网络学习算法神经网络学习算法神经网络学习算法神经网络泛化能力神经网络泛化能力神经网络泛化能力神经网络泛化能力神经网络动力学神经网络动力学神经网络动力学神经网络动力学图像处理与识别图像处理与识别图像处理与识别图像处理与识别语音信号处理与识别语音信号处理与识别语音信号处理与识别语音信号处理与识别 数据的存储与记忆数据的存储与记忆数据的存储与记忆数据的存储与记忆 组合优化组合优化组合优化组合优化 复杂系统控制复杂系统控制复杂系统控制复杂系统控制硬件实现电路硬件实现电路硬件实现电路硬件实现电路NNNN模型的通用硬模型的通用硬模型的通用硬模型的通用硬件系统（神经网件系统（神经网件系统（神经网件系统

11、（神经网络计算机）络计算机）络计算机）络计算机）MatlabMatlab神经网络神经网络神经网络神经网络工具箱工具箱工具箱工具箱10第10页，共34页，编辑于2022年，星期四4.2.1生物神经元的结构生物神经元的结构生物神经元的结构生物神经元的结构4.2.2生物神经元的信息处理机制生物神经元的信息处理机制生物神经元的信息处理机制生物神经元的信息处理机制第第4.24.2节节 生物神经元生物神经元11第11页，共34页，编辑于2022年，星期四来自其来自其它细胞它细胞轴突的轴突的神经末神经末稍稍轴轴突突树树突突细胞膜细胞膜神经末稍神经末稍来自其来自其它细胞它细胞轴突的轴突的神经末神经末稍稍轴轴突

12、突树树突突突触突触细胞膜细胞膜神经末稍神经末稍细胞体细胞体细胞核细胞核细胞体细胞体细胞核细胞核细胞质细胞质细胞膜细胞膜树突：树突：胞体上短而多分支的突起，相胞体上短而多分支的突起，相当于神经元的输入端，当于神经元的输入端，接收接收传入的传入的神经冲动。神经冲动。轴突（神经纤维）：轴突（神经纤维）：胞体上最长枝胞体上最长枝的突起，端部有很多神经末梢，的突起，端部有很多神经末梢，传传出出神经冲动。神经冲动。细胞膜电位：细胞膜电位：神经细胞在受到电的、神经细胞在受到电的、化学的、机械的刺激后能产生兴奋，化学的、机械的刺激后能产生兴奋，此时细胞膜内外有电位差，称为膜此时细胞膜内外有电位差，称为膜电位，

13、其电位膜内为正，膜外为负。电位，其电位膜内为正，膜外为负。4.2.1 4.2.1 生物神经元的结构生物神经元的结构生物神经元的结构生物神经元的结构12第12页，共34页，编辑于2022年，星期四来自其来自其它细胞它细胞轴突的轴突的神经末神经末稍稍轴轴突突树树突突细胞膜细胞膜神经末稍神经末稍来自其来自其它细胞它细胞轴突的轴突的神经末神经末稍稍轴轴突突树树突突突触突触细胞膜细胞膜神经末稍神经末稍细胞体细胞体细胞核细胞核突触：突触：是神经元之间的连接接口。是神经元之间的连接接口。一个神经元，通过其轴突的神经末一个神经元，通过其轴突的神经末梢，经梢，经突触突触与另一个神经元的树与另一个神经元的树突连接

14、，以实现信息的传递。突连接，以实现信息的传递。由于突触的信息传递特性是可变的，由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化，传随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之递作用强弱不同，形成了神经元之间连接的柔性，称为间连接的柔性，称为结构的可塑性结构的可塑性。4.2.1 4.2.1 生物神经元的结构生物神经元的结构生物神经元的结构生物神经元的结构13第13页，共34页，编辑于2022年，星期四来自其来自其它细胞它细胞轴突的轴突的神经末神经末稍稍轴轴突突树树突突细胞膜细胞膜神经末稍神经末稍来自其来自其它细胞它细胞轴突的轴突的神经末神经末稍稍轴轴突突树树突突突触突触

15、细胞膜细胞膜神经末稍神经末稍细胞体细胞体细胞核细胞核兴奋与抑制：兴奋与抑制：若传入神经元的冲动经若传入神经元的冲动经整合后使细胞膜电位升高，超过动整合后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传生神经冲动，由轴突经神经末梢传出；出；若传入神经元的冲动经整合后使若传入神经元的冲动经整合后使细胞膜电位降低，低于阈值时即为抑细胞膜电位降低，低于阈值时即为抑制状态，不产生神经冲动。制状态，不产生神经冲动。学习与遗忘：学习与遗忘：由于神经元结构的可塑由于神经元结构的可塑性，突触的传递作用可增强与减弱，性，突触的传递作用可增强与减弱，

16、因此神经元具有学习与遗忘的功能。因此神经元具有学习与遗忘的功能。4.2.1 4.2.1 生物神经元的结构生物神经元的结构生物神经元的结构生物神经元的结构14第14页，共34页，编辑于2022年，星期四4.2.2 4.2.2 生物神经元的信息处理机制生物神经元的信息处理机制生物神经元的信息处理机制生物神经元的信息处理机制神经元形式化结构神经元形式化结构 神经元具有的特征神经元具有的特征1.1.时空整合时空整合空间整合空间整合时间整合时间整合时空整合时空整合输入信号的影响会短时间地持续，和后到达的输入信号的影响同输入信号的影响会短时间地持续，和后到达的输入信号的影响同时起作用，也就是说，神经元时起

17、作用，也就是说，神经元对于不同时间通过同一突触的输对于不同时间通过同一突触的输入信号具有时间整合的功能入信号具有时间整合的功能。15第15页，共34页，编辑于2022年，星期四神经元具有的特征神经元具有的特征2.2.阈值特性阈值特性神经元输入和输出是非神经元输入和输出是非线性的关系线性的关系3.3.不应期不应期无输出信号。无输出信号。上升为无穷大。上升为无穷大。4.4.疲劳疲劳阈值慢慢增加时，神经元很难兴奋阈值慢慢增加时，神经元很难兴奋5.5.突触的可塑性突触的可塑性突触的结合强度会随着输入信号和输突触的结合强度会随着输入信号和输出信号发生变化，使得神经细胞具出信号发生变化，使得神经细胞具有学

18、习和记忆的能力有学习和记忆的能力6.6.输出信号的种类输出信号的种类离散的（脉冲信号）；连续信号离散的（脉冲信号）；连续信号4.2.2 4.2.2 生物神经元的信息处理机制生物神经元的信息处理机制生物神经元的信息处理机制生物神经元的信息处理机制16第16页，共34页，编辑于2022年，星期四第第4.34.3节节 人工神经元人工神经元4.3.1人工神经元的数学模型人工神经元的数学模型人工神经元的数学模型人工神经元的数学模型4.3.2人工神经元的激励函数人工神经元的激励函数人工神经元的激励函数人工神经元的激励函数17第17页，共34页，编辑于2022年，星期四出发点：出发点：模拟生物神经元的结构和

19、功能，从数学角度抽象出来一个模拟生物神经元的结构和功能，从数学角度抽象出来一个基本单元。基本单元。神经元模型：神经元模型：是生物神经元的是生物神经元的抽象抽象和和模拟模拟；是人工神经网络的是人工神经网络的最基本组成部分最基本组成部分；是一是一多输入单输出的非线性处理单元多输入单输出的非线性处理单元。神经网络直观理解：神经网络直观理解：神经网络是一个并行和分布式的信息处理网络结构，它一神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其它的神经元，每个神经元输入有多个连接以连接到很多其

20、它的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。通道，每个连接通道对应于一个连接权系数。引言引言引言引言18第18页，共34页，编辑于2022年，星期四 结构结构数学描述数学描述输入：输入：状态：状态：输出：输出：通常有：通常有：则：则：:阈值；阈值；:输入信号，可理解为其它神经元的输出；输入信号，可理解为其它神经元的输出；:从从ui到到xj的连接权值的连接权值（注意其下标与方向）（注意其下标与方向）；:外部输入信号；外部输入信号；:神经元的输出神经元的输出4.3.1 4.3.1 4.3.1 4.3.1 人工神经元的数学模型人工神经元的数学模型人工神经元的数学模型人

21、工神经元的数学模型19第19页，共34页，编辑于2022年，星期四f阈值型阈值型分段线性型分段线性型4.3.2 4.3.2 4.3.2 4.3.2 人工神经元的激励函数人工神经元的激励函数人工神经元的激励函数人工神经元的激励函数20第20页，共34页，编辑于2022年，星期四TanTan函数型函数型T T：比例因子，调整函数的上升坡度。：比例因子，调整函数的上升坡度。T T越越大，大，f f上升越慢；上升越慢；T T越小，越小，f f上升越快，很快饱和。上升越快，很快饱和。SigmoidSigmoid函数型函数型4.3.2 4.3.2 4.3.2 4.3.2 人工神经元的激励函数人工神经元的激

22、励函数人工神经元的激励函数人工神经元的激励函数21第21页，共34页，编辑于2022年，星期四控制输入对输出的激活作用；控制输入对输出的激活作用；对输入、输出进行函数转换；对输入、输出进行函数转换；将可能无限域的输入变换成指定的有限范围内的输出。将可能无限域的输入变换成指定的有限范围内的输出。激励函数的作用：激励函数的作用：4.3.2 4.3.2 4.3.2 4.3.2 人工神经元的激励函数人工神经元的激励函数人工神经元的激励函数人工神经元的激励函数22第22页，共34页，编辑于2022年，星期四第第4.44.4节节 人工神经元网络的模型分类人工神经元网络的模型分类4.4.1根据组织和抽象层次

23、分类根据组织和抽象层次分类根据组织和抽象层次分类根据组织和抽象层次分类4.4.2根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类23第23页，共34页，编辑于2022年，星期四神经元层次模型：神经元层次模型：仅研究单一神经元的动态和自适应特性，探索神仅研究单一神经元的动态和自适应特性，探索神经元对输入信息的处理和存储能力。经元对输入信息的处理和存储能力。组合式模型：组合式模型：由多个不同神经元组成，功能比单一神经元强由多个不同神经元组成，功能比单一神经元强大。大。网络层次模型：网络层次模型：由多个相同神经元组成的网络结构，网络的整体性由多

24、个相同神经元组成的网络结构，网络的整体性能为研究重点。能为研究重点。神经系统层次模型（多种网络）：神经系统层次模型（多种网络）：由多个不同性质的神经网络由多个不同性质的神经网络构成，以模拟生物神经系统更复杂，更抽象的特性。构成，以模拟生物神经系统更复杂，更抽象的特性。4.4.1 4.4.1 4.4.1 4.4.1 根据组织和抽象层次分类根据组织和抽象层次分类根据组织和抽象层次分类根据组织和抽象层次分类24第24页，共34页，编辑于2022年，星期四前向网络前向网络特点特点 神经元分层排列，组成输入层、隐含神经元分层排列，组成输入层、隐含层（可以有若干层）和输出层；层（可以有若干层）和输出层；每

25、一层的神经元只接收前一层神经元的每一层的神经元只接收前一层神经元的输入；输入；各神经元之间不存在反馈，信号在各各神经元之间不存在反馈，信号在各层中顺序传播。层中顺序传播。典型网络典型网络BPBP网络，感知器网络，感知器4.4.2 4.4.2 4.4.2 4.4.2 根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类25第25页，共34页，编辑于2022年，星期四特点特点仅在输出层到输入层存在反馈，即仅在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反外部的输入和来自输出神经

26、元的反馈，故可用来存储某种模式序列。馈，故可用来存储某种模式序列。应用应用神经认知机，动态时间序列过程神经认知机，动态时间序列过程的神经网络建模的神经网络建模反馈网络反馈网络4.4.2 4.4.2 4.4.2 4.4.2 根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类26第26页，共34页，编辑于2022年，星期四特点特点网状结构；任两个神经元之间都有可网状结构；任两个神经元之间都有可能存在连接（反馈）。能存在连接（反馈）。典型网络典型网络HopfieldHopfield网络，网络，BoltzmannBoltzmann机网络机网络注：注

27、：在无反馈的前向网络中，信号一旦通过某个在无反馈的前向网络中，信号一旦通过某个神经元，过程就结束了。而在相互结合网络神经元，过程就结束了。而在相互结合网络中，信号在神经元之间反复往返传递，网络中，信号在神经元之间反复往返传递，网络处在一种不断改变状态的动态之中。处在一种不断改变状态的动态之中。相互结合型网络（全互连）相互结合型网络（全互连）4.4.2 4.4.2 4.4.2 4.4.2 根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类27第27页，共34页，编辑于2022年，星期四特点特点 前两者的混合；前两者的混合；同层内神经元相互连接

28、；同层内神经元相互连接；可以实现同一层内神经元之间的横向抑可以实现同一层内神经元之间的横向抑制或兴奋机制。这样可以限制每层内能制或兴奋机制。这样可以限制每层内能同时动作的神经元数，或者把每层内的同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整神经元分为若干组，让每组作为一个整体来动作。体来动作。典型网络典型网络回归神经网络（回归神经网络（RNNRNN）混合型网络（层内互混合型网络（层内互连）连）4.4.2 4.4.2 4.4.2 4.4.2 根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类根据连接方式和信息流向分类28第28页，共34页，编辑于

29、2022年，星期四连接权的确定方法：连接权的确定方法：（1 1）根据具体要求，直接计算出来，如）根据具体要求，直接计算出来，如HopfieldHopfield网络作优化计算时网络作优化计算时就属于这种情况。就属于这种情况。（2 2）通过学习得到的，大多数人工神经网络都用这种方法。）通过学习得到的，大多数人工神经网络都用这种方法。学习实质：学习实质：针针对对一一组组给给定定输输入入Xp (p=1,2,N )，通通过过学学习习使使网网络络动动态态改改变变权权值值，从而使其产生相应的期望输出从而使其产生相应的期望输出Yd的过程。的过程。学习算法分类：学习算法分类：有导师学习、无导师学习、强化学习有导

30、师学习、无导师学习、强化学习第第4.54.5节节 人工神经网络的学习人工神经网络的学习29第29页，共34页，编辑于2022年，星期四偏差偏差e e注：注：在训练过程中，存在一个期望的网络输出。它是基于误差来调在训练过程中，存在一个期望的网络输出。它是基于误差来调整网络权值的。整网络权值的。应用：应用：感知器网络感知器网络;多层前向传播网络多层前向传播网络;oltzmann机网络。机网络。有导师学习有导师学习学习算法学习算法学习算法学习算法30第30页，共34页，编辑于2022年，星期四注：注：网络不存在一个期望的输出，通过建立一个间接评价网络不存在一个期望的输出，通过建立一个间接评价函数，对

31、网络的某种行为趋向作出评价，改变神经网络数函数，对网络的某种行为趋向作出评价，改变神经网络数值。值。应用：应用：ARTART网络；网络；KohonenKohonen自组织网络。自组织网络。无导师学习无导师学习学习算法学习算法学习算法学习算法31第31页，共34页，编辑于2022年，星期四强化强化学习把学习看做试探性评价（奖或惩）过程。学习把学习看做试探性评价（奖或惩）过程。学习机选择一种动作作用于环境之后，使环境的状态改变，并产生学习机选择一种动作作用于环境之后，使环境的状态改变，并产生强化强化信号（奖或惩）反馈至学习机。信号（奖或惩）反馈至学习机。学习机依据学习机依据强化强化信号与环境当前的

32、状态，再选择下一动作作用于环境，信号与环境当前的状态，再选择下一动作作用于环境，选择的原则是使受到奖励的可能性最大。选择的原则是使受到奖励的可能性最大。可见，强化信号是环境对学习机学习结果的一个评价。可见，强化信号是环境对学习机学习结果的一个评价。再励学习再励学习学习算法学习算法学习算法学习算法32第32页，共34页，编辑于2022年，星期四相关学习：相关学习：仅根据连接间的激活水平改变权系数。仅根据连接间的激活水平改变权系数。HebbHebb学习规则：学习规则：纠错学习：纠错学习：根据输出节点的外部反馈改变权系数。根据输出节点的外部反馈改变权系数。学习规则：学习规则：无导师学习：无导师学习：

33、学习表现为自动实现输入空间的检测和分类。学习表现为自动实现输入空间的检测和分类。关键关键不在于实际节点的输出怎样与外部的期望输出相一致，不在于实际节点的输出怎样与外部的期望输出相一致，而在于调整参数以反映所观察事件的分布。而在于调整参数以反映所观察事件的分布。学习规则学习规则学习规则学习规则33第33页，共34页，编辑于2022年，星期四Neural Networks（国际神经网络协会会刊国际神经网络协会会刊）IEEE Transactions on Neural NetworksIEEE Transactions on Parallel Distributed SystemConnections ScienceNeurocomputingNeural ComputationInternational Journal of Neural Systems相关国际杂志相关国际杂志34第34页，共34页，编辑于2022年，星期四