神经网络讲义精品文稿.ppt

神经网络讲义第1页，本讲稿共17页5/14/2023内容安排一、生物神经元结构二、人工神经网络结构第2页，本讲稿共17页5/14/2023一 生物神经元结构Whatyouseeinthepicture?第3页，本讲稿共17页5/14/2023 生物神经元示意图 一 生物神经元第4页，本讲稿共17页5/14/2023神经元的相互连接第5页，本讲稿共17页5/14/2023生物神经网络的模型化生物神经网络的模型化人工神经网络人工神经网络 什么是什么是人工神经网络人工神经网络？T.Koholen的定义：的定义：“人工神经网络人工神经网络是由具有适应是由具有适应性的简单单元组成的广泛并行互连的网络，它的性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作组织能够模拟生物神经系统对真实世界物体所作出的交互反应。出的交互反应。”第6页，本讲稿共17页5/14/2023二、人工神经网络结构人工神经元模型常见响应函数人工神经网络典型结构第7页，本讲稿共17页5/14/2023通用模型求和操作响应函数 人工神经元模型 第8页，本讲稿共17页5/14/2023人工神经元模型 响应函数的基本作用控制输入对输出的激活作用对输入、输出进行函数转换将可能无限域的输入变换成指定的有限范围内的输出 第9页，本讲稿共17页5/14/2023(a)阈值单元(b)线性单元(c)(d)非线性单元：Sigmoid函数 常见神经元响应函数第10页，本讲稿共17页5/14/2023常见神经元响应函数人工神经元的响应函数 第11页，本讲稿共17页5/14/2023人工神经网络的典型结构 大脑神经网络系统之所以具有思维认识等高级功能，大脑神经网络系统之所以具有思维认识等高级功能，是由于它是由无数个神经元相互连接而构成的一个是由于它是由无数个神经元相互连接而构成的一个极为庞大而复杂的神经网络系统。人工神经网络也极为庞大而复杂的神经网络系统。人工神经网络也是一样，单个神经元的功能是很有限的，只有用许是一样，单个神经元的功能是很有限的，只有用许多神经元按一定规则连接构成的神经网络才具有强多神经元按一定规则连接构成的神经网络才具有强大的功能。大的功能。神经元的模型确定之后，一个神经网络的特性及神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。能力主要取决于网络的拓扑结构及学习方法。第12页，本讲稿共17页5/14/20231 1前向网络前向网络 网络的结构如图网络的结构如图a a所示。网络中的所示。网络中的神经元是分层排列的，每个神经元只与前一层的神神经元是分层排列的，每个神经元只与前一层的神经元相连接。最上一层为输出层，隐含层的层数可经元相连接。最上一层为输出层，隐含层的层数可以是一层或多层。前向网络在神经网络中应用很广以是一层或多层。前向网络在神经网络中应用很广泛，例如，感知器就属于这种类型。泛，例如，感知器就属于这种类型。2 2从输出到输入有反馈的前向网络从输出到输入有反馈的前向网络 网络的结构如图网络的结构如图b b所示。网络的本身是前向型的，与前一种不同的是从所示。网络的本身是前向型的，与前一种不同的是从输出到输入有反馈回路。输出到输入有反馈回路。人工神经网络的构成第13页，本讲稿共17页5/14/2023第14页，本讲稿共17页5/14/2023人工神经网络的构成3 3层内互连前向网络层内互连前向网络 网络的结构如图网络的结构如图c c所示。所示。通过层内神经元之间的相互连接，可以实现同一通过层内神经元之间的相互连接，可以实现同一层神经元之间横向抑制或兴奋的机制，从而限制层神经元之间横向抑制或兴奋的机制，从而限制层内能同时动作的神经数，或者把层内神经元分层内能同时动作的神经数，或者把层内神经元分为若干组，让每组作为一个整体来动作。一些自为若干组，让每组作为一个整体来动作。一些自组织竞争型神经网络就属于这种类型。组织竞争型神经网络就属于这种类型。第15页，本讲稿共17页5/14/2023人工神经网络的构成4 4互连网络互连网络 网络的结构如图网络的结构如图d d所示。互连网络有所示。互连网络有局部互连和全互连两种。全互连网络中的每个神经元局部互连和全互连两种。全互连网络中的每个神经元都与其他神经元相连。局部互连是指互连只是局部的，都与其他神经元相连。局部互连是指互连只是局部的，有些神经元之间没有连接关系。有些神经元之间没有连接关系。HopfieldHopfield网络和网络和BoltzmannBoltzmann机属于互连网络的类型。机属于互连网络的类型。第16页，本讲稿共17页5/14/2023第17页，本讲稿共17页5/14/2023