最新北京工商大学信息工程学院韩力群制作PPT课件.ppt

182.1.2 生物神经元的信息处理机理生物神经元的信息处理机理一、信息的产生一、信息的产生 神经元间信息的产生、传递和处理是神经元间信息的产生、传递和处理是一种电化学活动。一种电化学活动。神经元状态：神经元状态：膜电位：膜电位：9102.1.2 生物神经元的信息处理机理生物神经元的信息处理机理二二信信息息的的传传递递与与接接收收11空间整合：空间整合：同一时刻产生的刺激所引起的同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。膜电位变化的代数和。时间整合：时间整合：各各输入脉冲输入脉冲抵达神经元的时间抵达神经元的时间先后不一样。先后不一样。总的突触后膜电位为一段时总的突触后膜电位为一段时间内的累积。间内的累积。12信息输入信息输入生物神经元生物神经元信息处理单元信息处理单元13生物神经元生物神经元信息处理单元信息处理单元信息传播与处理信息传播与处理14生物神经元生物神经元信息处理单元信息处理单元信息传播与处理（整合）信息传播与处理（整合）15生物神经元生物神经元信息处理单元信息处理单元信息传播与处理结果：兴奋与抑制信息传播与处理结果：兴奋与抑制16生物神经元生物神经元信息处理单元信息处理单元信息输出信息输出17 由多个生物神经元以确定方由多个生物神经元以确定方式和拓扑结构式和拓扑结构 相互连接即形成生相互连接即形成生物神经网络。物神经网络。2.1.3 生物神经网络生物神经网络18生物生物神经网络神经网络19生物生物神经网络神经网络202.1.3 生物神经网络生物神经网络 生物神经网络的功能不是单个生物神经网络的功能不是单个神经元信息处理功能的简单叠加。神经元信息处理功能的简单叠加。21 神经元之间的突触连接方式和连神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信网络在宏观呈现出千变万化的复杂的信息处理能力。息处理能力。2.1.3 生物神经网络生物神经网络222324 神经元及其突触是神经网络的基本器件。神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神因此，模拟生物神经网络应首先模拟生物神经元。在人工神经网络中，神经元常被称为经元。在人工神经网络中，神经元常被称为“处理单元处理单元”。有时从网络的观点出发常把。有时从网络的观点出发常把它称为它称为“节点节点”。人工神经元是对生物神经。人工神经元是对生物神经元的一种形式化描述。元的一种形式化描述。252.2.1神经元的建模神经元的建模(1) 每个神经元都是一个多输入单输出的信息处理单元；每个神经元都是一个多输入单输出的信息处理单元；(2) 神经元输入分兴奋性输入和抑制性输入两种类型；神经元输入分兴奋性输入和抑制性输入两种类型；(6) 神经元本身是非时变的，即其突触时延和突触强度神经元本身是非时变的，即其突触时延和突触强度 均为常数。均为常数。(3) 神经元具有空间整合特性和阈值特性；神经元具有空间整合特性和阈值特性；(4) 神经元输入与输出间有固定的时滞神经元输入与输出间有固定的时滞, 主要取决于突触主要取决于突触 延搁；延搁；(5) 忽略时间整合作用和不应期；忽略时间整合作用和不应期；模型的六点假设：模型的六点假设：26 x1 x1 w1j o oj j wij o oj j xi xi wnj xn xn (a)多输入多输入单输出单输出 (b)输入加权输入加权 x1 w1j x1 w1j wij o oj j wij o oj j xI xI f wnj wnj xn xn (c)输入加权求和输入加权求和 (d)输入输入-输出函数输出函数272.2.2神经元的数学模型神经元的数学模型)()(jn1iijiijjTtxwftoij 输入输出间的突触时延；输入输出间的突触时延； Tj 神经元神经元j的阈值；的阈值； wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称 权重值；权重值； f ()神经元转移函数。神经元转移函数。)()(jn1iiijjTtxwf1to(2. 1)(2. 2)282.2.2神经元的数学模型神经元的数学模型n1iiijjtxwttne)()(2.3) netnetj j= =W Wj jT TX X W Wj j=(=(w1 w2 wn) )T T X= X=( (x1 x2 xn) )T T(2.4)29XWTjn0iiijjjjxwnetTtne(2.5) oj=f(netj)=f (W Wj jT TX X)(2.6) 令令 x0=-1，w0=Tj 则有则有 -Tj = x0w030(1)阈值型转移函数阈值型转移函数 1 x0f(x)= (2.7) 0 x0 f (x) 1.0 x0312.2.3神经元的转移函数神经元的转移函数(2)非线性转移函数非线性转移函数xe11f(x)xxxe1e11e12f(x) f (x) 1.0 0.5x0 f (x) 1.0 0 x-1.032(3)分段线性转移函数分段线性转移函数 0 x0f(x)= cx 0 0 xxc (2.9) 1 xc x f (x) 1.0 x0 xc33(4)概率型转移函数概率型转移函数x/Te11P(1)温度参数温度参数34 )(ixf i 35 )(ixf i 信息输入信息输入36 )(ixf i 信息传播与处理：加权求和信息传播与处理：加权求和37 )(ixf i 信息传播信息传播38 )(ixf i 信息传播与处理：非线性信息传播与处理：非线性39 )(ixf i 信息输出信息输出402.3.1网络拓扑结构类型网络拓扑结构类型 单单纯纯层层次次型型结结构构 u y 412.3.1网络拓扑结构类型网络拓扑结构类型 输输出出层层到到输输入入层层有有连连接接 422.3.1网络拓扑结构类型网络拓扑结构类型 层层内内有有连连接接层层次次型型结结构构432.3.1网络拓扑结构类型网络拓扑结构类型 全互连型结构全互连型结构 442.3.1网络拓扑结构类型网络拓扑结构类型 局局部部互互连连型型网网络络结结构构 452.3.2网络信息流向类型网络信息流向类型前前馈馈型型网网络络 462.3.2网络信息流向类型网络信息流向类型反反馈馈型型网网络络 47 神经网络能够通过对样本的学习神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值络的学习或训练，其本质是可变权值的动态调整。的动态调整。48 神经网络的学习类型神经网络的学习类型：有导师学习有导师学习(有监督学习有监督学习)无导师学习无导师学习(无监督学习无监督学习)死记式学习死记式学习49表2.1常用学习规则一览表权值调整学习规则向量式元素式权 值初始化学习方式转移函数HebbianXXWW)(Tjjfi)(xfwTjijXW0无导师任意PerceptronXXWW)(Tjjjsgn-di)(xsgn-dwTjjijXW任意有导师二进制DeltaXW)()(jjjjnetf-odijjjijxnetf-odw)()(任意有导师连续Widrow-HoffXXWW)(Tjjj-diTjjijx-dw)(XW任意有导师任意相关XWjjdijijxdw0有导师任意Winner-take-all)(mmWXW)(iimmwx W随机、归一化无导师连续Outstar)(jjWdW)(kjkkjwdw0有导师连续50(1)生物神经元的信息处理生物神经元的信息处理 (2)人工神经元模型人工神经元模型 (3)(3)人工人工神经网络模型神经网络模型 (4)(4)神经网络学习神经网络学习 51 结束语结束语