第一章 ANN绪论.ppt

第一章第一章第一章第一章 基础知识基础知识基础知识基础知识主要内容主要内容u什么是神经网络uANN的发展u神经网络的基本特点u神经网络的基本功能uANN的应用领域u生物网络基础u人工神经元模型u人工神经网络模型u神经网络学习1.1什么是神经网络什么是神经网络u生物神经网络 人类的大脑大约有1.41011个神经细胞，亦称为神经元神经元。每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。u人工神经网络 以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（Artificial Neural Network，缩写 ANN）。人工神经网络定义人工神经网络定义u神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。（美国神经网络学家Hecht Hielsen）u人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。（美国国防高级研究计划局）u人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。1.2ANN的发展的发展u启蒙时期u低潮时期u复兴时期u新时期&国内研究概况启蒙时期启蒙时期u1890年 美国心理学家 William James 心理学原理u1943年 生理学家W.S.McCulloch 数学家W.A.Pitts 神经元 M-P模型，开创了神经科学理论研究的时代u1949年 心理学家Donala O.Hebb 行为构成 连接主义，改变神经元连接强度的Hebb学习规则u1958年 计算机学家 Frank Rosenblatt 感知器（第一个真正优秀的ANN）u1960年 电机工程师Bernard Widrow 和Marcian Hoff 梯度下降法 LMS算法 神经网络硬件 低潮时期低潮时期u1969年 人工智能创始人M.Minsky和S.Papert 感知器（1981年Minsky自己承认当时的论点对这一研究方向伤害过大）u1969年 美国波士顿大学自适应中心的S.Grossberg和G.A.Crpenter 自适应共振理论u1972年 芬兰T.Kohonen 自组织映射（SOM）理论 美国神经生理学家和心理学家J.Anderson 交互存储器u1980年 日本东京NHK的Kunihiko Fukushima “新认知机”复兴时期复兴时期u1982,1984,1986年 美国物理学家 John J.Hopfield Hopfield网络u1984年 G.E.Hinton和T.J.Sejnowski 玻耳兹曼机u1986年 美国David E.Rumelhart和James L.McCelland 并行分布式处理新时期新时期u1987年6月 首届国际神经网络学术会议在美国加州圣地亚哥召开u1988年起 IEEE召开每年一次的国际学术会议u之后不久，第一份神经网络杂志Neural NetworkIEEEu各种学术期刊的神经网络特刊层出不穷国内研究概况国内研究概况u1980年 涂序彦 生物控制论u1989年 学术讨论会u1990年 首届神经网络学术大会u2004年 第14届 合肥 1.3神经网络的基本特点神经网络的基本特点u结构特点 信息处理并行性 信息存储分布性 信息处理单元互连性 结构可塑性u性能特点 非线性 容错性 非精确性u能力特征 自学习 自组织 自适应性1.4神经网络的基本功能神经网络的基本功能u联想记忆功能u非线性映射功能非线性映射功能u分类与识别功能分类与识别功能u优化计算功能优化计算功能1.5ANN的应用领域的应用领域1.6生物网络基础生物网络基础u生物神经元的结构细胞体细胞体(Cell body)、树突树突(Dendrite)、轴突轴突(Axon)、突触突触(Synapse)四部分组成。用来完成四部分组成。用来完成神经元间信息的接收、神经元间信息的接收、传递和处理。传递和处理。信息的传递与接收信息的传递与接收生物神经网络生物神经网络u由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。u 生物神经网络的功能不是单个神经元信息处理功能的简单叠加。u 神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理能力。联系？联系？神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元 人工神经元(节点)从三个方面进行模拟:u节点本身的信息处理能力（数学模型）u节点与节点之间连接(拓扑结构)u相互连接的强度(通过学习来调整)决定人工神经网络整体性能的三大要素u节点本身的信息处理能力(数学模型)u节点与节点之间连接(拓扑结构)u相互连接的强度(通过学习来调整)1.7人工神经元模型人工神经元模型(1)(1)每个神经元都是一个多输入单输出的信息处理单元；每个神经元都是一个多输入单输出的信息处理单元；(2)(2)神经元输入分兴奋性输入和抑制性输入两种类型；神经元输入分兴奋性输入和抑制性输入两种类型；(6)(6)神经元本身是非时变的，即其突触时延和突触强度神经元本身是非时变的，即其突触时延和突触强度 均为常数。均为常数。(3)(3)神经元具有空间整合特性和阈值特性；神经元具有空间整合特性和阈值特性；(4)(4)神经元输入与输出间有固定的时滞神经元输入与输出间有固定的时滞,主要取决于突触延搁；主要取决于突触延搁；(5)(5)忽略时间整合作用和不应期；忽略时间整合作用和不应期；模型的六点假设：模型的六点假设：假设假设1：多输入单输出：多输入单输出u图图(a)表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许多多的输入输入信号，图中每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。假设假设2：输入类型：兴奋性和抑制性：输入类型：兴奋性和抑制性u生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大大小小则代表了突触的不同连接强度。假设假设3：空间整合特性和阈值特性空间整合特性和阈值特性u作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。神经元的输出神经元的输出u图(d)人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。神经元模型示意图神经元的数学模型神经元的数学模型ij 输入输出间的突触时延；输入输出间的突触时延；Tj 神经元神经元j的阈值；的阈值；wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称 权重值；权重值；f()神经元转移函数。神经元转移函数。(1.1)(1.2)(2.3)netnetj j=W Wj jT TX X W Wj j=(=(w1j w2j wnj)T T X=X=(x1 x2 xn)T T 均为列向量均为列向量 令令 x0=-1，w0j=Tj 则有则有 -Tj=x0w0j(1.3)神经元的数学模型神经元的数学模型(1.4)神经元模型可简化为 oj=f(netj)=f(W Wj jT TX X)(1.5)神经元的数学模型神经元的数学模型神经元的转移函数神经元的转移函数 神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。(1)阈值型转移函数阈值型转移函数 1 x0f(x)=（1.6）0 x0(2)非线性转移函数非线性转移函数(3)分段线性转移函数分段线性转移函数 0 x0f(x)=cx 0 0 xxc (1.7)1 xc x(4)概率型转移函数概率型转移函数温度参数温度参数(1.8)该转移函数的神经元输出状态与热力学中的波尔兹曼分布相似，因此也称为热力学模型。u节点本身的信息处理能力(数学模型)u节点与节点之间连接(拓扑结构)u相互连接的强度(通过学习来调整)1.8人工神经网络模型人工神经网络模型u分类：u按网络连接的拓扑结构分类层次型结构互连型网络结构u按网络内部的信息流向分类前馈型网络反馈型网络1.8.1网络拓扑结构类型网络拓扑结构类型u层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连。u互连型网络结构：网络中任意两个节点之间都可能存在连接路径.层层次次型型结结构构输输出出层层到到输输入入层层有有连连接接层层内内有有连连接接层层次次型型结结构构全互连型结构全互连型结构局局部部互互连连型型网网络络结结构构1.8.2网络信息流向类型网络信息流向类型u前馈型网络u前馈:网络信息处理的方向是从输入层到各隐层再到输出层逐层进行u反馈型网络u在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。前前馈馈型型网网络络反反馈馈型型网网络络u节点本身的信息处理能力(数学模型)u节点与节点之间连接(拓扑结构)u相互连接的强度(通过学习来调整)神经网络能够通过对样本的学习神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网近期望的输出。这一过程称为神经网络的学习或训练，其本质是络的学习或训练，其本质是可变权值可变权值的动态调整的动态调整。1.9神经网络学习神经网络学习神经网络的学习类型：神经网络的学习类型：有导师学习有导师学习(有监督学习有监督学习)无导师学习无导师学习(无监督学习无监督学习)死记式学习死记式学习学习的过程（权值调整的一般情况学习的过程（权值调整的一般情况）本章小结本章小结u什么是ANN?uANN的发展阶段及代表人物，观点?uANN的基本特征？uANN的基本功能？u人工神经元模型u人工神经网络模型