神经元模型和网络结构.ppt

《神经元模型和网络结构.ppt》由会员分享，可在线阅读，更多相关《神经元模型和网络结构.ppt（31页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经元模型和网络结构神经元模型和网络结构现在学习的是第1页，共31页2.1 目的 第第1章给除了生物神经元和神经网络的简述。现在来章给除了生物神经元和神经网络的简述。现在来介绍简化的神经元数学模型，并解释这些人工神经元如介绍简化的神经元数学模型，并解释这些人工神经元如何相互连接形成各种网络结构。另外，本章还将通过几何相互连接形成各种网络结构。另外，本章还将通过几个简单的实例阐述这些网络如何工作。本书中将使用本个简单的实例阐述这些网络如何工作。本书中将使用本章所引入的概念和符号。章所引入的概念和符号。现在学习的是第2页，共31页2.2 原理和实例2.2.1 符号符号 本书中的图、数字公式以及解释

2、图和数字公式的正文，将本书中的图、数字公式以及解释图和数字公式的正文，将使用一下符号：使用一下符号：标量：小写的斜体字母，如标量：小写的斜体字母，如a,b,c。向量：小写的黑正体字母，如向量：小写的黑正体字母，如a,b,ca,b,c。矩阵：大写的黑整体字母，如矩阵：大写的黑整体字母，如A,B,CA,B,C。现在学习的是第3页，共31页2.2.2 神经元模型1.单输入神经元单输入神经元权值权值 偏置偏置(值值)净输入净输入 传输函数传输函数 图2-1 单输入神经元现在学习的是第4页，共31页 若将这个简单模型和前面第若将这个简单模型和前面第1章所讨论的生物神经元相对章所讨论的生物神经元相对照，则

3、权值照，则权值w对应于突触的连接强度，细胞体对应于累加器对应于突触的连接强度，细胞体对应于累加器和传输函数，神经元输出和传输函数，神经元输出a代表轴突的信号。代表轴突的信号。神经元输出按下式计算神经元输出按下式计算：a=f(wp+b)注：还有多阈值、多权值神经元注：还有多阈值、多权值神经元现在学习的是第5页，共31页 实际输出取决与所选择的待定传输函数。实际输出取决与所选择的待定传输函数。2.传输函数传输函数 图图2-1中的传输函数可以是中的传输函数可以是n的线性或者非线性函数。可的线性或者非线性函数。可以用特定的传输函数满足神经元要解决的特定问题。以用特定的传输函数满足神经元要解决的特定问题

4、。本书包括了各个不同的传输函数。下面将讨论其中最本书包括了各个不同的传输函数。下面将讨论其中最常用的三种。常用的三种。硬极限传输函数硬极限传输函数 线性传输函数线性传输函数 a=n (2.1)对数对数-S形传输函数形传输函数 a=1/1+e-n (2.2)现在学习的是第6页，共31页 a=hardlim(n)a=hardlim(wp+b)硬极限传输函数硬极限传输函数 单输入单输入hardlim神经元神经元 图图2-2 硬极限传输函数硬极限传输函数现在学习的是第7页，共31页 a=purelin(n)a=purelin(wp+b)线性传输函数线性传输函数 单输入单输入purelin神经元神经元

5、图图2-3 线性传输函数线性传输函数现在学习的是第8页，共31页 a=logsig(n)a=logsig(wp+b)Log-Sigmoid 传输函数传输函数 单输入单输入logsig神经元神经元 图图2-4 对数对数-S形传输函数形传输函数现在学习的是第9页，共31页名称名称名称名称输入输入输入输入/输出关系输出关系输出关系输出关系图标图标图标图标MATLABMATLAB函数函数函数函数硬极限函数硬极限函数硬极限函数硬极限函数a=0,n0a=0,n0a=1,n0a=1,n0hardlim对称硬极限函数对称硬极限函数对称硬极限函数对称硬极限函数a=-1,n0a=-1,n0a=+1,n0a=+1,

6、n0hardlims线性函数线性函数线性函数线性函数a=na=npurelin饱和线性函数饱和线性函数饱和线性函数饱和线性函数a=0,n0a=0,n1a=1,n1satlin对称饱和线性函数对称饱和线性函数对称饱和线性函数对称饱和线性函数a=-1,n-1a=-1,n1a=1,n1satlins对数对数对数对数-S-S形函数形函数形函数形函数a=1/1+ea=1/1+e-nlogsig双曲正切双曲正切双曲正切双曲正切S S形函数形函数形函数形函数a=ea=en-e-e-n/e/en+e+e-ntansig正线性函数正线性函数正线性函数正线性函数a=0,n0a=0,n0a=n,n 0a=n,n 0

7、poslin竞争函数竞争函数竞争函数竞争函数a=1,a=1,具有最大具有最大具有最大具有最大n n的神经元的神经元的神经元的神经元a=0,a=0,所有其他神经元所有其他神经元所有其他神经元所有其他神经元compet现在学习的是第10页，共31页 3.3.多输入神经元多输入神经元 权值矩阵权值矩阵 通常，一个神经元有不止一个输入。具有通常，一个神经元有不止一个输入。具有R R个个输入的神经元如图输入的神经元如图2-52-5所示。其输入所示。其输入p p1 1,p,p2 2,p,pR R 分别对应权值矩阵分别对应权值矩阵W W的元素的元素w w1,11,1,w,w1,21,2,w,w1,R1,R

8、。图2-5 多输入神经元现在学习的是第11页，共31页 该神经元有一个偏置值该神经元有一个偏置值b,它与所有输入的加权和累加，从它与所有输入的加权和累加，从而形成净输入而形成净输入n：n=w1,1p1+w1,2p2+w1,RpR+b （2.3）这个表达式也可以写成矩阵形式：这个表达式也可以写成矩阵形式：n=Wp+b (2.4)其中单个神经元的权值矩阵其中单个神经元的权值矩阵W只有一只有一行行元素。元素。神经元的输出可以写成：神经元的输出可以写成：a=f(Wp+b)(2.5)权值下标权值下标 权值矩阵元素下标的第一个下标表示权值权值矩阵元素下标的第一个下标表示权值相应连接所指定的目标神经元编号，

9、第二个下标表示权相应连接所指定的目标神经元编号，第二个下标表示权值相应连接的源神经元编号。值相应连接的源神经元编号。简化符号简化符号 图图2-6为利用这种符号所表示的多输入神经为利用这种符号所表示的多输入神经元。元。现在学习的是第12页，共31页 图图2-6 具有具有R个输入的神经元的简化符号个输入的神经元的简化符号 在图在图2-6中，左边垂直的实心条表示输入向量中，左边垂直的实心条表示输入向量p，p下面的变下面的变量量R1表示表示p的维数，也即输入是由的维数，也即输入是由R个元素组成的一维向量。这个元素组成的一维向量。这些输入被送人权值矩阵些输入被送人权值矩阵W，W有有1行行R列。常量列。常

10、量1则作为输入与标则作为输入与标量偏置值量偏置值b相乘。传输函数相乘。传输函数f的净输入是的净输入是n，它是偏置值，它是偏置值b与积与积Wp的和。在这种情况的和。在这种情况现在学习的是第13页，共31页下，神经元的输出下，神经元的输出a是一个标量。如果网络有多个神经元，是一个标量。如果网络有多个神经元，那么网络输出就可能是一个向量。那么网络输出就可能是一个向量。请注意，网络的输入是由问题的外部描述决定的。请注意，网络的输入是由问题的外部描述决定的。2.2.3 网络结构网络结构1.神经元的层神经元的层 层层 图图2-7是由是由S个神经元组成的单层网络。个神经元组成的单层网络。该层包括权值矩阵、累

11、加器、偏置值向量该层包括权值矩阵、累加器、偏置值向量b、传输函、传输函数框和输出向量数框和输出向量a。现在学习的是第14页，共31页 输入向量p的每个元素均通过权值矩阵W和每个神经元相连。输入向量通过如下权矩阵W进入网络：（2.6）同样，具有S个神经元、R个输入的单层网络也能用简化的符号表示为如图2-8所示的形式。权值下标权值下标 权值矩阵元素下标的第一个下标表示权值相应连接所指定的权值矩阵元素下标的第一个下标表示权值相应连接所指定的目标神经元编号，第二个下标表示权值相应连接的源神经元编号。目标神经元编号，第二个下标表示权值相应连接的源神经元编号。W2,3?现在学习的是第15页，共31页 2.

12、多层神经元 层上标 现在考虑具有几层神经元的网络。每个变量都附加一个上标来表示其所处层次。图2-9所示的三层网络就使用了这种标记方法。现在学习的是第16页，共31页 输入层输入层 隐含层隐含层 如果某层的输出是网络的输出，那么如果某层的输出是网络的输出，那么称该层为输出层，而其他层叫隐含层。称该层为输出层，而其他层叫隐含层。前面讨论的三层网络同样也可以用简化的符号表示，前面讨论的三层网络同样也可以用简化的符号表示，如图如图2-10所示。所示。现在学习的是第17页，共31页 3.递归网络递归网络 延时延时 在讨论递归网络前，首先介绍一些简单的构造在讨论递归网络前，首先介绍一些简单的构造模块。第一

13、种是延时模块，如图模块。第一种是延时模块，如图2-11所示。所示。延时输出a(t)由输入u(t)根据下式计算得到：a(t)=u(t-1)（2.7）现在学习的是第18页，共31页 积分器积分器 另一种将用于第另一种将用于第15章至第章至第18章中的连续时间章中的连续时间递归网络的构造模块是积分器，如图递归网络的构造模块是积分器，如图2-12所示：所示：积分器的输出积分器的输出a(t)由输入由输入u(t)根据下式计算得到：根据下式计算得到：（2.8）现在学习的是第19页，共31页 递归网络递归网络 一个递归网络是一个带反馈的网络，其部分输出连一个递归网络是一个带反馈的网络，其部分输出连接到它的输入

14、。图接到它的输入。图2-13给出了一种类型的离散时间递归网络。给出了一种类型的离散时间递归网络。a(1)=satlins(Wa(0)+b),a(2)=satlins(Wa(1)+b),现在学习的是第20页，共31页2.3 小结小结单输入神经元单输入神经元多输入神经元多输入神经元现在学习的是第21页，共31页传输函数名称名称名称名称输入输入输入输入/输出关系输出关系输出关系输出关系图标图标图标图标MATLABMATLAB函数函数函数函数硬极限函数硬极限函数硬极限函数硬极限函数a=0,n0a=0,n0a=1,n0a=1,n0hardlim对称硬极限函数对称硬极限函数对称硬极限函数对称硬极限函数a=

15、-1,n0a=-1,n0a=+1,n0a=+1,n0hardlims线性函数线性函数线性函数线性函数a=na=npurelin饱和线性函数饱和线性函数饱和线性函数饱和线性函数a=0,n0a=0,n1a=1,n1satlin对称饱和线性函数对称饱和线性函数对称饱和线性函数对称饱和线性函数a=-1,n-1a=-1,n1a=1,n1satlins对数对数对数对数-S-S形函数形函数形函数形函数a=1/1+ea=1/1+e-nlogsig双曲正切双曲正切双曲正切双曲正切S S形函数形函数形函数形函数a=ea=en-e-e-n/e/en+e+e-ntansig正线性函数正线性函数正线性函数正线性函数a=

16、0,n0a=0,n0a=n,n 0a=n,n 0poslin竞争函数竞争函数竞争函数竞争函数a=1,a=1,具有最大具有最大具有最大具有最大n n的神经元的神经元的神经元的神经元a=0,a=0,所有其他神经元所有其他神经元所有其他神经元所有其他神经元compet现在学习的是第22页，共31页神经元层神经元层三层神经元三层神经元现在学习的是第23页，共31页延时模块延时模块积分器模块积分器模块现在学习的是第24页，共31页递归网络递归网络如何选取一种网络结构如何选取一种网络结构 应用问题的描述从如下几个方面非常有助于定义网络的应用问题的描述从如下几个方面非常有助于定义网络的结构：结构：1）网络的

17、输入个数）网络的输入个数=应用问题的输入数；应用问题的输入数；2）输出层神经元的数目）输出层神经元的数目=应用问题的输出数目应用问题的输出数目；现在学习的是第25页，共31页 3 3）输出层的传输函数选择至少部分依赖与应用问题的）输出层的传输函数选择至少部分依赖与应用问题的输出描述。输出描述。2.4 2.4 例题例题 P2.1 P2.1 一个单输入神经元的输入是一个单输入神经元的输入是2.02.0，其权值是，其权值是2.32.3，偏，偏置值是置值是-3-3。（i i）传输函数的净输入是多少？）传输函数的净输入是多少？（iiii）神经元的输出是多少？）神经元的输出是多少？解解 （i i）传输函数

18、的网络输出由下式给出：）传输函数的网络输出由下式给出：现在学习的是第26页，共31页（ii）因为未指定传输函数，所以不能确定该神经元的）因为未指定传输函数，所以不能确定该神经元的输出。输出。P2.2 如果如果P2.1中的神经元分别具有如下传输函数，中的神经元分别具有如下传输函数，请问其输出值分别是多少？请问其输出值分别是多少？（i）硬极限函数）硬极限函数 （ii）线性函数）线性函数 （iii）对数）对数-S形（形（logsig）函数）函数解解 （i）对硬极限传输函数有）对硬极限传输函数有 （ii）对线性传输函数有）对线性传输函数有 （iii）对对数）对对数-S形传输函数有形传输函数有现在学习的

19、是第27页，共31页 P2.3 给定一个具有如下参数的两输入神经元：给定一个具有如下参数的两输入神经元：b=1.2,W=3 2,p=，试依据下列传输函数计算神经元输出：，试依据下列传输函数计算神经元输出：（i）对称硬极限传输函数）对称硬极限传输函数 （ii）饱和现行传输函数）饱和现行传输函数 （iii）双曲正切）双曲正切S形（形（tansig）传输函数）传输函数 解解 首先计算净输入首先计算净输入n:现针对每种传输函数计算该神经元的输出。现针对每种传输函数计算该神经元的输出。现在学习的是第28页，共31页 （i）（ii）（iii）P2.4 现有一个单层神经网络，具有现有一个单层神经网络，具有6

20、个输入和个输入和2个输出。输个输出。输出被限制为出被限制为0到到1之间的连续值。叙述该网络的结构，请说明：之间的连续值。叙述该网络的结构，请说明：（i）需要多少个神经元？）需要多少个神经元？（ii）权值矩阵的维数是多少？）权值矩阵的维数是多少？（iii）能够采用什么传输函数？）能够采用什么传输函数？（iv）需要采用偏置值吗？）需要采用偏置值吗？现在学习的是第29页，共31页解解该问题的求解结构如下：该问题的求解结构如下：（i）需要两个输出神经元，每个输出一个。）需要两个输出神经元，每个输出一个。（ii）对用）对用2个神经元和个神经元和6个输入，权值矩阵应有个输入，权值矩阵应有2行行6列（乘积列（乘积Wp是一个二元向量）。是一个二元向量）。（iii）根据前面所谈论的传输函数性质，选用）根据前面所谈论的传输函数性质，选用logsig传输函数传输函数是最适合的。是最适合的。（iv）题中未能给出足够的条件以确定是否需要偏置值。）题中未能给出足够的条件以确定是否需要偏置值。现在学习的是第30页，共31页2.5 结束语结束语 本章介绍了一种简单的人工神经元，并展示了如何本章介绍了一种简单的人工神经元，并展示了如何通过不同的连接方式将一些神经元组连接起来构造出不通过不同的连接方式将一些神经元组连接起来构造出不同的神经那个网络。同的神经那个网络。现在学习的是第31页，共31页