人工神经网络概述.pptx

人工神经网络概述第8章 人工神经网络8.1人工神经网络概述8.2神经元模型8.3ANN的学习算法8.4应用举例一、人工神经网络的提出一、人工神经网络的提出AI研究的两大学派：l符号主义用计算机从外特性上模仿人脑宏观的功能l连接主义在微观内部结构上模仿人脑的神经一、人工神经网络的提出一、人工神经网络的提出符号主义认为：智能活动的基本元素是符号；智能活动的过程是符号处理的过程。连接主义认为：智能活动的基本元素是神经元；智能活动的过程是大量的相联结的神经元的并行作用的过程。二、人工神经网络的历史二、人工神经网络的历史l早期阶段（1960s）1943 McCulloch和Pitts 提出神经元的数学模型（MP模型）1949 Hebb 提出权重加强的学习机理1957 Rosenblatt 感知机（perceptron）有认知学习功能1969 Mingsky 专著“perceptron”证明线性（单层）感知 机不能解决XOR问题，ANN进入低潮二、人工神经网络的历史二、人工神经网络的历史l过渡期（1970s）低潮中，许多学者深入研究ANN理论、模型。MIT的Marr提出视觉模型Boston Univ的Grossbery全面研究ANN理论，提出ART1，ART2，ART3自适应谐振理论模型。甘利俊一 ANN的数学理论Fuknshima 神经认知网络理论芬兰的Kohonen 自组织联想记忆二、人工神经网络的历史二、人工神经网络的历史l高潮（1980）1982 加州理工 Hopfield提出结点全互联ANN模型（Hop模型），用单层ANN解决了TSP问题1987.6 ICNN（International Conference on NN）召开1987 加州理工 Abnmostafa，Psaitis 2D联想存储输入残缺图案也可识别1988 AT&T Bell lab 120*120元件的ANN1989 三菱 光学ANN芯片，32个神经元识别26个字母1989 日立 5“硅片集成576个神经元1990 Bell Lab 黄庭钰 数字光学处理器1990 IBM AS400 提供ANN仿真开发环境1992 SGI 将ANN用于航天飞机控制臂ANN已在专家系统、智能控制等领域广泛应用第8章 人工神经网络8.1人工神经网络概述8.2神经元模型8.3ANN的学习算法8.4应用举例一、生物神经网的构成一、生物神经网的构成树突（树突（Dendrite）胞体胞体(Soma)轴突（轴突（Axon）突触（突触（Synapse）二、二、MP模型模型x2w2xnwnx1w1Fy二、二、MP模型模型l线性函数 y=kx+cxyoc二、二、MP模型模型l阈值函数 二、二、MP模型模型lS形函数（Sigmoid Function）yx0二、二、MP模型模型考虑偏置与阈值，神经元模型 x2w2xnwnx1w1Fys三、三、ANN连接模型连接模型l前馈型网络 x1z1输出层输出层隐藏层隐藏层输入层输入层x2z2zmxnWw三、三、ANN连接模型连接模型l前馈型网络 输入/输出：二值（0,1）或连续值权值：可正可负权值矩阵：学习的过程不断修改权值的过程三、三、ANN连接模型连接模型l反馈型网络 x1z1输出层输出层隐藏层隐藏层输入层输入层x2z2zmxnW Ww三、三、ANN连接模型连接模型l反馈型网络层间反馈非线性动力系统层内反馈横向抑制、竞争Hopfield网是单层节点全互连的反馈网第8章 人工神经网络8.1人工神经网络概述8.2神经元模型8.3ANN的学习算法8.4应用举例8.3ANN的学习算法的学习算法ANN的学习算法可分为l有导师学习l无导师学习自学习、自组织一、一、Hebb学习规则学习规则两个细胞同时兴奋，则它们之间连接（权）应加强。属于无导师学习二、反向传播算法二、反向传播算法(Back-Propagation,B-P算法算法)（有导师学习）（有导师学习）用于前馈网络l从训练范例集中取一训练时，输入网络l正向传播求输出l计算输出与应有输出之误差l反向传播，逐层修正权值，使误差减小l重复以上步骤，直至整个训练集误差最小。总结总结ANN的学习算法的学习算法第七章 人工神经网络8.1人工神经网络概述8.2神经元模型8.3ANN的学习算法8.4应用举例