数学建模之人工神经网络.ppt
人工神经网络人工神经网络 0 0 引例引例谵妄的诊断谵妄的诊断一一 神经网络概述神经网络概述二二 一个说明性的例子一个说明性的例子三三 几类常见的神经网络几类常见的神经网络四四 前向网络及前向网络及BPBP学习算法学习算法五五 神经网络在谵妄诊断中的应用神经网络在谵妄诊断中的应用医学定义：医学定义：delirium delirium 是一种以兴奋性增高为主的高是一种以兴奋性增高为主的高级神经中枢急性活动失调状态，临床主要表现为意识级神经中枢急性活动失调状态，临床主要表现为意识模糊、定向力丧失、感觉错乱、躁动不安、语言杂乱。模糊、定向力丧失、感觉错乱、躁动不安、语言杂乱。因急性起病、病程短暂、病情发展迅速，故又称为急因急性起病、病程短暂、病情发展迅速，故又称为急性脑综合征。性脑综合征。检查表内包含检查表内包含1111项：项：1.1.急性起病；急性起病；2.2.注意力障碍；注意力障碍；3.3.思维混乱；思维混乱；4.4.意意识水平的改变；识水平的改变；5.5.定向障碍；定向障碍；6.6.记忆力减退；记忆力减退；7.7.知觉知觉障碍；障碍；8.8.精神运动性兴奋；精神运动性兴奋；9.9.精神运动性迟缓；精神运动性迟缓；10.10.精精神状况波动性；神状况波动性；11.11.睡眠睡眠觉醒周期紊乱。觉醒周期紊乱。观察和提问进而打分：观察和提问进而打分：每项分每项分4 4个等级个等级：不存在：不存在1 1分分，轻度存在，轻度存在2 2分分，中度存在中度存在3 3分分，严重存在，严重存在4 4分分。0 0 引例：谵妄的诊断引例：谵妄的诊断序号起病注意思维意识定向记忆错觉兴奋迟滞波动睡眠22分标准量表诊断13222221123222Y Y24443332414436Y Y32221221133120N N43322332213428Y Y53332132313226Y Y62223232213325Y Y74322433414434Y Y83322322122123Y Y94322324313330Y Y103423222243128Y Y113222312313325Y Y122322122213323Y Y134321221313426Y Y142221221132119N N153322231133124Y Y162222333212325Y Y172122221122118N N183322212313325Y Y192211111122115N N202312231134123Y Y1.1.什么是人工神经网络什么是人工神经网络由大量处理单元互联组成的非线性、自适应信息处理系统。试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。具有如下四个基本特征：（1）非线性非线性：神经元处于激活或抑制状态，这种行为在数学上表现为一种非线性。（2）非局限性非局限性：由多个神经元广泛连接而成。（3）非常定性非常定性：具有自适应、自组织、自学习能力。（4）非凸性非凸性：指这种函数有多个极值，故系统具有多个较稳定的平衡态，一一 神经网络概述神经网络概述根据神经元机理，人工单神经元模型应具备三个要素：(1）一组连接，连接强度由各连接上的权值表示，权值 为正表示激活，权值为负表示抑制；(2)一个求和单元，用于求取各输入信号的加权和；(3)一个非线性激活函数，起非线性映射作用，并将 神经元的输出幅度限制在一定范围内（比如(0,1)或 者(-1,+1)）.一一 神经网络概述神经网络概述单神经元结构p1fanbW1WRp2p31常用的激活函数见page11表2-1单神经元结构一一 神经网络概述神经网络概述记输入矢量为P，多神经元权矩阵为 W,净输入矢量为n，偏值矢量为b，激活矢量函数为F，则多神经元输出矢量为a为：一一 神经网络概述神经网络概述多神经元结构多神经元结构W1,1p1Ws,Rp2p3pRfa1n1b11fa2n2b21fasnsbs1一一 神经网络概述神经网络概述某一多神经元网络的输出作为另一多神经元网络的输入，以这样连接方式构成多神经元、多层次网络就成为人工神经网络。连接方式可以是串连、并联，也可以是反馈连接方式。我们以串连方式来说明问题。p1f1f1f1p2p3pRf1f1f1f1f1f1输入层隐含层输出层一一 神经网络概述神经网络概述激活函数：1.线性函数 2.阶跃函数 3.S形函数一一 神经网络概述神经网络概述 例1.某商贩有一个存储各种水果和蔬菜的货仓。当将水果放进货仓时，不同类型的水果可能会混淆在一起，所以商贩非常希望有一台能够帮他将水果自动分类摆放的机器。假设从水果卸车的地方到货仓之间有一条传送带。传送带要通过一组特定的传感器，这组传感器可以分别测量水果的三个特征：外形、质地、重量。这些传感器功能比较简单。如果水果基本上是圆的，外形传感器的输出就为1，如果水果更接近于椭圆，那么外形传感器的输出就为-1；如果水果表面光滑，质地传感器的输出就是1，如果水果表面比较粗糙，那么质地传感器的输出就为-1，当水果重量超过1磅时，重量传感器的输出就为1，如果水果重量轻于1磅，重量传感器的输出就为-1。下面需要设计这样一个网络（分类器），当水果从传感器通过时，根据传感器的相应输出，判断传送带上是什么水果。二二 一个说明性的例子一个说明性的例子在介绍例子之前，我们先研究一个简单的在介绍例子之前，我们先研究一个简单的2输入单神经元分输入单神经元分类问题。神经元如下图所示。类问题。神经元如下图所示。这里这里,激活传输函数选用对称硬极限传输函数，即：f1bnap1p2 w1w2二二 一个说明性的例子一个说明性的例子求解这一神经网络，实质上就是求解求解这一神经网络，实质上就是求解w1、w2和和b。按照神经网络的求解方法，设计训练样本，即：求解的一个结果为求解的一个结果为：二二 一个说明性的例子一个说明性的例子现在，我们回到要介绍的例子上。假设有两种水果，现在，我们回到要介绍的例子上。假设有两种水果，苹果和橘子。用三维矢量来描述任一水果。苹果和橘子。用三维矢量来描述任一水果。因此，标准的苹果和橘子可表示为：因此，标准的苹果和橘子可表示为：设计一个三输入的单神经元网络，将苹果和橘子分开。设计一个三输入的单神经元网络，将苹果和橘子分开。这是一个简单的二分问题。规定神经网络的输出为：这是一个简单的二分问题。规定神经网络的输出为：苹果，苹果，a=1；橘子，；橘子，a=-1.二二 一个说明性的例子一个说明性的例子fbnap1p2 w1w2p3w3二二 一个说明性的例子一个说明性的例子设计一个三输入的单神经元网络，将苹果和橘子分开。设计一个三输入的单神经元网络，将苹果和橘子分开。这是一个简单的二分问题。规定神经网络的输出为：这是一个简单的二分问题。规定神经网络的输出为：苹果，苹果，a=1；橘子，；橘子，a=-1.权值向量偏置值输出为：橘子，输出为：橘子，a=-1a=-1；苹果，；苹果，a=1a=1二二 一个说明性的例子一个说明性的例子橘子：苹果：训练得：（三维空间）二二 一个说明性的例子一个说明性的例子思考题：试根据传感器的三个测量值（外形、质地和重量）来区分香蕉和菠萝：香蕉：菠萝：二二 一个说明性的例子一个说明性的例子当输入：此输入比较接近于橘子，输出结果也恰好是橘子。单层前向神经网络线性网络阶跃网络多层前向神经网络（反推学习规则即BP算法）Elman网络、Hopfield网络、双向联想记忆网络、自组织竞争网络等等三三 几类常用的神经网络几类常用的神经网络1.1.前向网络前向网络要求每一层内的神经元无相关连关系，要求每一层内的神经元无相关连关系，而上一层的输出时下一层的输入；而上一层的输出时下一层的输入；2.2.若多层神经网络的每一层都采用线性激活函数若多层神经网络的每一层都采用线性激活函数（阶跃激活函数）输出，称之为多层简单线性（阶跃激活函数）输出，称之为多层简单线性前向网络（多层阶跃前向网络）；前向网络（多层阶跃前向网络）；3.3.常用的是采用常用的是采用S S形函数形函数为激活函数的多层神经为激活函数的多层神经网络；网络；四四 前向网络及前向网络及BPBP学习算法学习算法就有指导的单层神经网络（画图）为例来说明：就有指导的单层神经网络（画图）为例来说明：输入输入X=(xX=(x1 1,x,x2 2,x xm m)T T，输出结果为，输出结果为Y=(yY=(y1 1,y,y2 2,y ym m)T T，偏置值，偏置值=(1 1,2 2,m m)T T，w wjiji为输入为输入i i与神经元与神经元j j的权数，则第的权数，则第j j个神经个神经元的接受和输出值为：元的接受和输出值为：四四 前向网络及前向网络及BPBP学习算法学习算法用矩阵、向量表示为：用矩阵、向量表示为：若理想输出为若理想输出为D=(dD=(d1 1,d,d2 2,d dm m)T T，则我们的目标是让，则我们的目标是让Y Y与与D D足足够的接近够的接近,用一个期望误差去衡量他们的接近程度：用一个期望误差去衡量他们的接近程度：四四 前向网络及前向网络及BPBP学习算法学习算法上式实质上是上式实质上是W的函数，利用最速下降法求的函数，利用最速下降法求W的改进方向的改进方向以及设定改进步长，从而构造一个迭代过程；以及设定改进步长，从而构造一个迭代过程；上面讨论的是单层情形下的过程，若网络为多层，也就是中上面讨论的是单层情形下的过程，若网络为多层，也就是中间有隐含层的时候，输出的误差不能直接更改所有的权值矩间有隐含层的时候，输出的误差不能直接更改所有的权值矩阵的值，故提出非常有意义的反推学习规则（阵的值，故提出非常有意义的反推学习规则（Back-Back-propagationpropagation算法）：算法）：步骤步骤1 1 给定学习样本，随机确定各层的初始的权值矩阵给定学习样本，随机确定各层的初始的权值矩阵W W，给定最小二乘目标函数的偏差上界，以及迭代次数的上限；，给定最小二乘目标函数的偏差上界，以及迭代次数的上限；步骤步骤2 2 用逐层或成批的规则修正各层的权值矩阵直到达用逐层或成批的规则修正各层的权值矩阵直到达到偏差要求或迭代次数上限。到偏差要求或迭代次数上限。注示：在步骤注示：在步骤2 2中涌现出许多新方法：基本的梯度下降法、中涌现出许多新方法：基本的梯度下降法、势能修正法、自调整学习法、共轭梯度法、势能修正法、自调整学习法、共轭梯度法、F-RF-R共轭梯度法等共轭梯度法等等等四四 前向网络及前向网络及BPBP学习算法学习算法1.将表中140号数据和5996号数据作为学习数据，4158号数据作为检验数据，18个检验数据中有一例漏诊和一例误诊。2.选用较为简单的2层且隐含层有4个神经元的BP算法神经网络。五五 BPBP网络在谵妄诊断中的应用网络在谵妄诊断中的应用
