(9.1)--9.1 神经网络基础.ppt
Neural Networks-Foundation神神经网网络基基础础CHAPTER ONE生物学基础Biological Foundations一、生物学基础一、生物学基础神经元也叫神经细胞，是人脑神经系统中最基本的单元。神经元由树突(dendrite)、体细胞(soma)、突触(synapse)和轴突(axon)组成，用来完成神经元间信息的接收、传递和处理。生物神经元模型-概念收集信号收集信号汇集信号集信号做出响做出响应刺激传递信号信号发放信号放信号兴奋型抑制型一、生物学基础一、生物学基础神经网络学习的本质是突触联结强度的变化；突触联结强度随突触两端的神经元电信号活动变化；定性规则：两个神经元同时兴奋或抑制，突触联结正向增强（兴奋型）两个神经元的兴奋或抑制现象相反，突触联结反向增强（抑制型）生物神经网络的学习 赫布(Hebb)规则兴奋兴奋抑制抑制兴奋抑制抑制兴奋正向增强反向增强一、生物学基础一、生物学基础猫脑视觉实验(Hubel&Wiesel,1964)生物神经网络的学习能力模型让视觉发育期的小猫只观察特定方向的栅条经过特殊训练的小猫只对特定方向栅条敏感感受野模型一、神经网络的生物学基础一、神经网络的生物学基础生物神经网络结构细胞胞类型型选择性性简单细胞朝向、位置复杂细胞朝向、运动、方向超复杂细胞朝向、运动、方向、长度分层模型简单细胞复杂细胞超复杂细胞一、生物学基础一、生物学基础人类视觉系统的结构与功能视锥与视杆细胞 光线 视网膜层视网膜视神经视神经外膝体视觉皮层初级视觉皮层中朝向性细胞的柱状分布CHAPTER TWO人脑vs.电脑Brain vs.Computer二、人脑二、人脑 vs.vs.电脑电脑多单元并行处理自组织和学习能力泛化和关联数据学习能力强，容错能力强生物神经网络的学习能力人工神经网络（ANN）人人脑电脑处理单元数量 1011 1010处理单元类型神经元晶体管计算类型大规模并行运算串行计算(大多数)数据存储数据与计算联合存储基于地址单元运算速度103/s109/s最大运算次数1013/s1018/s实际开关操作次数1012/s1010/sCHAPTER THREE连接主义学派简史Brief History of Connectionism三、连接主义学派简史三、连接主义学派简史经典连接主义时代MP神经元模型M&P/1943PerceptronRosenblatt/1962Minsky批判AdalineWidrow/1960反传播算法Werbos/1974Hopfield网络Hopfield/1982连接主义运动/BP网络Norman,RumelhartHinton/1980sLeNet/ALVINNLeCun/1989梯度消失的梯度消失的乌云云深度学深度学习的曙光的曙光控制论神经生物学Hubel&Wiesel视觉模型Marr三、连接主义学派简史三、连接主义学派简史深度时代降维与逐层训练Hinton/2006LeNet&ALVINNLeCun/1989AlexNetCNNHinton/2012ImageNetLSVRC李飞飞/2007/2012GPU英伟达TPU谷歌猫脸识别谷歌/吴恩达/2012LSTM网络Schmidhuber/1997DL局部极值问题Hinton/2014ReLU/微软语音识别2011AlphaGo谷歌/2016VGG,ResNet,YoloDeepFace,DeepIDGAN网络Goodfellow/2014在图像识别和人机博弈等任务上超越人类总结SummaryLM&PRMADE BY DONGYUE CHENTHANK YOU感谢聆听
