神经网络基础知识培训课件.ppt

《神经网络基础知识培训课件.ppt》由会员分享，可在线阅读，更多相关《神经网络基础知识培训课件.ppt（34页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经网络基础知识2.1.12.1.1生物神经元生物神经元 生物神经元在结构上由生物神经元在结构上由:细胞体细胞体(Cell body)、树突树突(Dendrite)、轴突轴突(Axon)、突触突触(Synapse)四部分组成。用来完成四部分组成。用来完成神经元间信息的接收、神经元间信息的接收、传递和处理。传递和处理。人人工工神神经经网网络络的的生生物物学学基基础础人人工工神神经经网网络络的的生生物物学学基基础础2.1.2 2.1.2 生物神经元的信息处理机理生物神经元的信息处理机理二二信信息息的的传传递递与与接接收收人人工工神神经经网网络络的的生生物物学学基基础础2.1.3 2.1.3 生物神

2、经网络生物神经网络 由多个生物神由多个生物神经经元以确定方式和拓扑元以确定方式和拓扑结结构构 相互相互连连接即形成生物神接即形成生物神经经网网络络。生物神生物神经经网网络络的功能不是的功能不是单单个神个神经经元信息元信息 处处理功能的理功能的简单简单叠加。叠加。神神经经元之元之间间的突触的突触连连接方式和接方式和连连接接强强度不度不 同并且具有可塑性，同并且具有可塑性，这这使神使神经经网网络络在宏在宏观观 呈呈现现出千出千变变万化的复万化的复杂杂的信息的信息处处理能力。理能力。人人工工神神经经网网络络的的生生物物学学基基础础2.22.2人工神经元模型人工神经元模型2.2.12.2.1神经元的建

3、模神经元的建模神神经经元元的的人人工工模模型型假设假设1 1：多输入单输出：多输入单输出p图(a)表明，正如生物神经元有许多激励输入一表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许祥，人工神经元也应该有许多的的输入信号，图中信号，图中每个输入的大小用确定数值每个输入的大小用确定数值x xi i表示，它们同时输入表示，它们同时输入神经元神经元j j，神经元的单输出用，神经元的单输出用o oj j表示。表示。神神经经元元的的人人工工模模型型假设假设2 2：输入类型：兴奋性和抑制性：输入类型：兴奋性和抑制性p生物神生物神经经元具有不同的突触性元具有不同的突触性质质和突触和突触强强度，其

4、度，其对输对输入的影响是使有些入的影响是使有些输输入在神入在神经经元元产产生脉冲生脉冲输输出出过过程中程中所起的作用比另外一些所起的作用比另外一些输输入更入更为为重要。重要。图图(b)中中对对神神经经元的每一个元的每一个输输入都有一个加入都有一个加权权系数系数wij，称，称为权为权重重值值，其正其正负负模模拟拟了生物神了生物神经经元中突触的元中突触的兴奋兴奋和抑制和抑制，其，其大小则则代表了突触的不同代表了突触的不同连连接接强强度。度。神神经经元元的的人人工工模模型型假设假设3 3：空间整合特性和阈值特性：空间整合特性和阈值特性p作作为为ANN的基本的基本处处理理单单元，必元，必须对须对全部全

5、部输输入信号入信号进进行行整合，以确定各整合，以确定各类输类输入的作用入的作用总总效果，效果，图图(c)表示表示组组合合输输人信号的人信号的“总总和和值值”，相，相应应于生物神于生物神经经元的膜元的膜电电位。位。神神经经元激活与否取决于某一元激活与否取决于某一阈值电阈值电平，即只有当其平，即只有当其输输入入总总和超和超过阈值时过阈值时,神神经经元才被激活而元才被激活而发发放脉冲放脉冲,否否则则神神经经元不会元不会产产生生输输出信号。出信号。神神经经元元的的人人工工模模型型神经元的输出神经元的输出p图图(d)人人工工神神经经元元的的输输出出也也同同生生物物神神经经元元一一样样仅仅有有一一个个，如

6、如用用oj表表示示神神经经元元输输出出，则则输输出出与与输输入入之之间间的的对对应应关关系系可可用用图图(d)中中的的某某种种非非线线性性函函数数来来表表示示，这这种种函函数数一一般都是非般都是非线线性的。性的。神神经经元元的的人人工工模模型型神经元模型示意图神经元模型示意图神神经经元元的的人人工工模模型型2.2.2神经元的数学模型神经元的数学模型ij 输入输出间的突触时延；输入输出间的突触时延；Tj 神经元神经元j的阈值；的阈值；wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称 权重值；权重值；f()神经元转移函数。神经元转移函数。(2.2)神神经经元元的的人人工工模模型

7、型(2.1)(2.3)netnetj j=W Wj jT TX X W Wj j=(=(w1 w2 wn)T T X=X=(x1 x2 xn)T T 令令 x0=-1，w0=Tj 则有则有 -Tj=x0w0(2.4)2.2.22.2.2神经元的数学模型神经元的数学模型神神经经元元的的人人工工模模型型(2.5)oj=f(netj)=f(W Wj jT TX X)(2.6)2.2.22.2.2神经元的数学模型神经元的数学模型神神经经元元的的人人工工模模型型2.2.32.2.3神经元的转移函数神经元的转移函数 神经元各种不同数学模型的主要区神经元各种不同数学模型的主要区别在于采用了不同的别在于采用了

8、不同的转移函数转移函数，从而使，从而使神经元具有不同的信息处理特性。最常神经元具有不同的信息处理特性。最常用的转移函数有用的转移函数有4 4种形式。种形式。神神经经元元的的人人工工模模型型(1)阈值型转移函数阈值型转移函数 1 x0f(x)=(2.7)0 x02.2.32.2.3神经元的转移函数神经元的转移函数神神经经元元的的人人工工模模型型(2)非线性转移函数非线性转移函数2.2.32.2.3神经元的转移函数神经元的转移函数神神经经元元的的人人工工模模型型 Log-sigmoid对数正切S型传递函数 tansigmoid双正切S型传递函数 2.32.3人工神经网络模型人工神经网络模型p分类：

9、分类：按网络连接的拓扑结构分类层次型结构层次型结构互连型网络结构互连型网络结构按网络内部的信息流向分类前馈型网络前馈型网络反馈型网络反馈型网络人人工工神神经经网网络络模模型型2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 ：p层层次次型型结结构构：将将神神经经元元按按功功能能分分成成若若干干层层，如如输输入入层层、中中间间层层（隐隐层层）和和输输出出层层，各各层层顺序顺序相连。相连。p互互连连型型网网络络结结构构：网网络络中中任任意意两两个个节节点点之之间都可能存在连接间都可能存在连接路径路径.人人工工神神经经网网络络模模型型2.3.1网络拓扑结构类型网络拓扑结构类型 1.单单纯纯型型层

10、层次次型型结结构构2.32.3人工神经网络模型人工神经网络模型人人工工神神经经网网络络模模型型层次型结构：层次型结构：2.输输出出层层到到输输入入层层有有连连接接人人工工神神经经网网络络模模型型2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 3.层层内内有有连连接接层层次次型型结结构构2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 人人工工神神经经网网络络模模型型1.全互连型结构全互连型结构2.3.12.3.1网络拓扑结构类型网络拓扑结构类型 人人工工神神经经网网络络模模型型互连型网络结构：互连型网络结构：2.局局部部互互连连型型网网络络结结构构2.3.12.3.1网络拓扑结构类型

11、网络拓扑结构类型 人人工工神神经经网网络络模模型型前前馈馈型型网网络络2.3.22.3.2网络信息流向类型网络信息流向类型人人工工神神经经网网络络模模型型 神经网络能够通过对样本的学习神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值络的学习或训练，其本质是可变权值的动态调整。的动态调整。2.42.4神经网络学习神经网络学习神神经经网网络络学学习习神神经经网网络络的学的学习类习类型：型：有导师学

12、习有导师学习(有监督学习有监督学习)无导师学习无导师学习(无监督学习无监督学习)死记式学习死记式学习2.42.4神经网络学习神经网络学习神神经经网网络络学学习习p有关学习的研究在神经网络研究中具有重要地位。有关学习的研究在神经网络研究中具有重要地位。p改变权值的规则称为学习规则或学习算法（亦称训练规则或训练算改变权值的规则称为学习规则或学习算法（亦称训练规则或训练算法）。法）。2.42.4神经网络学习神经网络学习有导师学习有导师学习(有监督学习有监督学习)p有导师学习也也称称为为有有监监督督学学习习，这这种种学学习习模模式式采采用用的的是是纠纠错错规规则则。在在学学习习训训练练过过程程中中需需

13、要要不不断断给给网网络络成成对对提提供供一一个个输输入入模模式式和和一一个个期期望望网网络络正正确确输输出出的的模模式式，称称为为“教教师师信信号号”。将将神神经经网网络络的的实实际际输输出出同同期期望望输输出出进进行行比比较较，当当网网络络的的输输出出与与期期望望的的教教师师信信号号不不符符时时，根根据据差差错错的的方方向向和和大大小小按按一一定定的的规规则则调调整整权权值值。当当网网络络对对于于各各种种给给定定的的输输入入均均能能产产生生所所期期望望的的输输出出时时，即即认认为为网网络络已已经经在在导导师师的的训训练练下下“学学会会”了了训训练练数数据据集集中中包包含含的的知知识识和和规则

14、，可以用来进行工作了。规则，可以用来进行工作了。2.42.4神经网络学习神经网络学习无导师学习无导师学习(无监督学习无监督学习)无导师学习也也称称为为无无监监督督学学习习，学学习习过过程程中中，需需要要不不断断给给网网络络提提供供动动态态输输入入信信息息，网网络络能能根根据据特特有有的的内内部部结结构构和和学学习习规规则则，在在输输入入信信息息流流中中发发现现任任何何可可能能存存在在的的模模式式和和规规律律，同同时时能能根根据据网网络络的的功功能能和和输输入入信信息息调调整整权权值值，这这个个过过程程称称为为网网络络的的自自组组织织，其其结结果果是是使使网网络络能能对对属属于于同同一一类类的的

15、模模式式进进行行自自动动分分类类。在在这这种种学学习习模模式式中中，网网络络的的权权值值调调整整不不取取决决于于外外来来教教师师信信号号的的影影响响，可可以以认认为为网网络的学习评价标准隐含于网络的内部。络的学习评价标准隐含于网络的内部。学习的过程（权值调整的一般情况学习的过程（权值调整的一般情况 ）神神经经网网络络学学习习2.4神经网络学习神经网络学习第二节小结第二节小结 重点介重点介绍绍了生物神了生物神经经元的元的结结构及其信息构及其信息处处理机制、理机制、人工神人工神经经元数理模型、常元数理模型、常见见的网的网络络拓扑拓扑结结构以及和学构以及和学习规则习规则。其中，神。其中，神经经元的数学模型、神元的数学模型、神经经网网络络的的连连接接方式以及神方式以及神经经网网络络的学的学习习方式是决定神方式是决定神经经网网络络信息信息处处理性能的三大要素。理性能的三大要素。p(1)(1)生物神经元的信息处理生物神经元的信息处理p(2)(2)人工神经元模型人工神经元模型p(3)(3)人工神经网络模型人工神经网络模型p(4)(4)神经网络学习神经网络学习此课件下载可自行编辑修改，仅供参考！此课件下载可自行编辑修改，仅供参考！感谢您的支持，我们努力做得更好！谢谢感谢您的支持，我们努力做得更好！谢谢