第2章神经网络基础知识.ppt

《第2章神经网络基础知识.ppt》由会员分享，可在线阅读，更多相关《第2章神经网络基础知识.ppt（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第二章第二章 神经网络基础知识神经网络基础知识2.1 人工人工神经网络的生物基础2.2 人工神经元模型2.3 人工神经网络模型2.4 神经网络学习 2.1 人工人工神经网络的生物基础 神经元(Neuron)也称神经细胞，它是生物神经系统的最基本单元，它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。2.1.1 生物神经元结构生物神经元结构 每个神经元都包括四个部分：细胞体(cell body)、树突(dendrite)和轴突(axon)和突触(synapse)。每个神经元大约有1000100000个突触。若干神经元以突触相连构成神经网络。(a)简单神经元网络图 c)简化后的网络示

2、意图 图2.1 简单神经元网络及其简化结构图b)突触结构图2.1.2 生物神经元的信息处理机理生物神经元的信息处理机理一、信息的产生一、信息的产生 研研究究认认为为，神神经经元元间间信信息息的的产产生生、传传递递和和处处理理是一种电化学活动。由膜内外离子浓度决定。是一种电化学活动。由膜内外离子浓度决定。神经元状态：神经元状态：静息静息兴奋兴奋抑制抑制 膜电位：膜电位：极极 化化polarizationpolarization去极化去极化depolarizationdepolarization超极化超极化hypeypolarizationhypeypolarization膜电位变化图神经元对信息

3、的传递与接收通过突触进行。二二 信息的传递与接收信息的传递与接收神经电脉冲神经质产生神经质释放结合过程电生理反应突触信息传递过程突触信息传递过程三、信息的整合三、信息的整合空间整合：空间整合：同一时刻产生的刺激所引起的同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。膜电位变化的代数和。时间整合：时间整合：各各输入脉冲输入脉冲抵达神经元的时间抵达神经元的时间先后不一样。先后不一样。总的突触后膜电位为一段时总的突触后膜电位为一段时间内的累积。间内的累积。四、生物神经网络四、生物神经网络 以确定方式和拓扑结构互连而成，完以确定方式

4、和拓扑结构互连而成，完成信息采集、存储、综合处理等功能成信息采集、存储、综合处理等功能。人类社会关系亦如此。人类社会关系亦如此。2.2 人工神经元模型 2.2.1 神经元的建模神经元的建模 最早提出且影响巨大的是1943年McCulloch和W.Pitts提出的M-P模型，具有6点假设：(1)每个神经元都是一个多输入单输出的信息处理单元；每个神经元都是一个多输入单输出的信息处理单元；(2)神经元输入分兴奋性输入和抑制性输入两种类型；神经元输入分兴奋性输入和抑制性输入两种类型；(6)神经元本身是非时变的，即其突触时延和突触强度神经元本身是非时变的，即其突触时延和突触强度 均为常数。均为常数。(3

5、)神经元具有空间整合特性和阈值特性；神经元具有空间整合特性和阈值特性；(4)神神经经元元输输入入与与输输出出间间有有固固定定的的时时滞滞,主主要要取取决决于于突突触触 延搁；延搁；(5)忽略时间整合作用和不应期；忽略时间整合作用和不应期；(a)表明人工神经元有许多输入信息，一个输出信息；表明人工神经元有许多输入信息，一个输出信息；(b)表示突触强度和性质不同，导致作用不同，即权重不同；表示突触强度和性质不同，导致作用不同，即权重不同；(c)表明信号整合；表明信号整合；(d)总和超过阈值时，神经元被激活。总和超过阈值时，神经元被激活。2.2.2 神经元的数学模型神经元的数学模型 令xi(t)表示

6、t时刻神经元j接收的来自神经元i的输入信息，oj(t)表示t时刻神经元j的输出信息，则神经元j的状态可用如下数学式表示：ij 输入输出间的突触时延；输入输出间的突触时延；Tj 神经元神经元j的阈值；的阈值；wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称 权重值；权重值；f()神经元转移函数。神经元转移函数。(2.1)若取突触时延为单位时间，则若取突触时延为单位时间，则式(2.2)全面表达了神经元模型的6点假设。令：(2.2)(2.3)上式是神经元j在t时刻的净输入，体现了神经元j的空间整合特性，但未考虑时间整合。利用矩阵表示如下：netnetj j=W Wj jT TX

7、X其中：其中：W Wj j=(=(w1,w2,wn)T T X=X=(x1,x2,xn)T T(2.4)(2.5)oj=f(netj)=f(W Wj jT TX X)(2.6)令令 x0=-1，w0=Tj 则有则有 -Tj=x0w02.2.3神经元的转移函数神经元的转移函数主要区别为转移函数，常用的有四种：主要区别为转移函数，常用的有四种：(1)阈值型转移函数阈值型转移函数 1 x0f(x)=(2.7)0 x0M-P模型属于此类。模型属于此类。单极性阈值函数 双极性阈值函数(2)非线性转移函数非线性转移函数 单极性S型函数 双极性S型函数(3)分段线性转移函数分段线性转移函数 0 x0f(x)

8、=cx 0 0 xxc (2.9)1 xc x(4)概率型转移函数概率型转移函数温度参数温度参数玻尔兹曼热力学模型玻尔兹曼热力学模型人工神经元信息处理单元人工神经元信息处理单元信息输入信息输入人工神经元信息处理单元信息传播与处理：加权求和信息传播与处理：加权求和人工神经元信息处理单元信息传播信息传播人工神经元信息处理单元信息传播与处理：非线性信息传播与处理：非线性人工神经元信息处理单元信息输出信息输出转换函数是神经网络特征的第一大要素。单单纯纯层层次次型型结结构构2.3 人工神经网络模型人工神经网络模型两种分类方法：拓扑结构、信息流向两种分类方法：拓扑结构、信息流向2.3.1网络拓扑结构类型网

9、络拓扑结构类型 1 1、层次型结构：、层次型结构：、层次型结构：、层次型结构：3 3种种种种输输出出层层到到输输入入层层有有连连接接层层内内有有连连接接层层次次型型结结构构2、互连型结构互连型结构互连型结构互连型结构全互连型结构全互连型结构局局部部互互连连型型网网络络结结构构还有一种稀疏连接型2.3.2网络信息流向类型：网络信息流向类型：2种种前前馈馈型型网网络络 拓扑结构是神经网络特征的第二大要素拓扑结构是神经网络特征的第二大要素反反馈馈型型网网络络2.4 神经网络学习神经网络学习 神经网络能够通过对样本的学习训练，神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以不断

10、改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是过程称为神经网络的学习或训练，其本质是可变权值的动态调整。可变权值的动态调整。神经网络的学习类型：神经网络的学习类型：有导师学习有导师学习(有监督学习有监督学习)无导师学习无导师学习(无监督、自组织无监督、自组织)死记式学习死记式学习(灌输式灌输式)日本学者Amari在1990年提出了一种神经网络权值调整的通用学习规则，如下图：通用学习规则：权向量Wj在t时刻的调整量Wj(t)与t时刻的输入X(t)和学习信号r的乘积成正比，即：2.4.1 Hebb

11、学习规则学习规则学习信号：权调整公式：权分量调整公式：要求：使用小的随机数初始化权值要求：使用小的随机数初始化权值特点：前馈、无导师学习特点：前馈、无导师学习例2.1 设有4个输入和1个输出的神经网络，阈值T=0，学习率=1，三个样本为：X1=(1,-2,1.5,0)T，X2=(1,-0.5,-2,-1.5)T,X3=(0,1,-1,1.5)T,初始权：W(0)=(1,-1,0,0.5)T。利用Hebb学习法计算权值。解：设转换函数为符号函数f(x)=sgn(net)(1)(2)(3)2.4.2 Perceptron学习规则学习规则学习信号：权调整公式：权分量调整公式：由于采用符号函数，符合期

12、望时不调整，否则，由于采用符号函数，符合期望时不调整，否则，权值特征公式为：权值特征公式为：要求：只适应二进制神经元要求：只适应二进制神经元特点：有导师学习特点：有导师学习 2.4.3 学习规则学习规则学习信号：权调整公式：权分量调整公式：要求：转换函数连续可导要求：转换函数连续可导特点：多层前馈，有导师学习特点：多层前馈，有导师学习例2.2 设有4个输入1个输出的神经网络，阈值内含，学习率=0.1，三个样本为：X1=(-1,1,-2,0)T，X2=(-1,0,1.5,-0.5)T,X3=(-1,-1,1,0.5)T,初始权：W(0)=(0.5,1,-1,0)T，期望输出：d1=-1，d2=-

13、1，d3=1。利用学习学习法计算权值。解：设转换函数为：(1)(2)(3)2.4.4 LMS学习规则学习规则(最小均方最小均方)学习信号：权调整公式：权分量调整公式：LMS是是学习规则的特例学习规则的特例特点：有导师学习特点：有导师学习 2.4.5 Correlation（相关）学习规则（相关）学习规则学习信号：权调整公式：权分量调整公式：要求：权值初始化为要求：权值初始化为 0特点：有导师学习特点：有导师学习 2.4.6 Winner-Take-All学习规则学习规则学习信号：权调整公式：权分量调整公式：要求：权值归一化要求：权值归一化特点：胜者为王、无导师学习特点：胜者为王、无导师学习 2.4.4 Outstar学习规则学习规则权调整公式：权分量调整公式：要求：转换函数连续要求：转换函数连续特点：有导师学习特点：有导师学习本章完本章完