神经网络学习精品文稿.ppt

《神经网络学习精品文稿.ppt》由会员分享，可在线阅读，更多相关《神经网络学习精品文稿.ppt（51页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经网络学习第1页，本讲稿共51页摘自摘自摘自摘自Talking Nets:An Oral History of Neural NetworksTalking Nets:An Oral History of Neural Networks封面封面封面封面2008-2009学年第1学期神经网络学习第2页，本讲稿共51页6.6.1 神经网络基础神经网络基础n公元前公元前400年左右，柏拉图和亚里士多德就曾对人年左右，柏拉图和亚里士多德就曾对人类认知、记忆、思维进行过研究；类认知、记忆、思维进行过研究；n19世纪末，出现了世纪末，出现了神经元神经元学说；美国生物学家学说；美国生物学家W.James在

2、在Physiology一书中提到，一书中提到，“人脑中人脑中两个基本单元靠得较近时，一个单元的兴奋会传两个基本单元靠得较近时，一个单元的兴奋会传到另一个单元；到另一个单元；n20世纪世纪40年代，神经解剖学、神经生理学、神经年代，神经解剖学、神经生理学、神经元的电生理过程等有了突破性进展。元的电生理过程等有了突破性进展。2008-2009学年第1学期神经网络学习第3页，本讲稿共51页人脑中神经元（神经细胞）的结构人脑中神经元（神经细胞）的结构Nucleus：核核 Cell body：细胞体细胞体 Dentrite：树突树突 Axon：轴突轴突2008-2009学年第1学期神经网络学习第4页，本

3、讲稿共51页神经元之间的电信号传递神经元之间的电信号传递轴突后部裂出轴突后部裂出许多许多分枝，分枝末端有突触，突触与树突连接；分枝，分枝末端有突触，突触与树突连接；轴突中的信号经突触转换为轴突中的信号经突触转换为“阻止阻止”或或“激活激活”信号；信号；当神经元的当神经元的“净输入净输入”超过阈值时，其沿轴突发出信号；超过阈值时，其沿轴突发出信号；改变突触的效能，神经元之间的影响随之改变，学习就发生了。改变突触的效能，神经元之间的影响随之改变，学习就发生了。突触（神经键）突触（神经键）2008-2009学年第1学期神经网络学习第5页，本讲稿共51页生物神经元的结构生物神经元的结构摘自张仰森人工智

4、能原理与应用随书课件摘自张仰森人工智能原理与应用随书课件2008-2009学年第1学期神经网络学习第6页，本讲稿共51页n1943年，年，W.S.McCulloch和和W.A.Pitts合作提出了第一个合作提出了第一个人工神经元模型（人工神经元模型（M-P模型）；模型）；Sumy0 T1f是阈值为是阈值为T的阶跃函数的阶跃函数I1I2INW1W2WNyM-P模型中输入、输出的关系模型中输入、输出的关系摘自摘自http:/osp.mans.edu.eg/rehan/ann/2_3_1%20The%20McCulloch-Pitts%20Model%20of%20Neuron.htm2008-20

5、09学年第1学期神经网络学习第7页，本讲稿共51页M-P神经元模型神经元模型树突树突加和加和细胞体细胞体阈值阈值轴突轴突参考：参考：http:/www.doc.ic.ac.uk/nd/surprise_96/journal/vol4/cs11/report.html#What%20is%20a%20Neural%20Network突触突触2008-2009学年第1学期神经网络学习第8页，本讲稿共51页n1949年，年，Donala U.Hebb在在“The Organization of Behavior”一书中认为一书中认为q学习的过程最终发生在神经元之间的学习的过程最终发生在神经元之间的突

6、触突触部位，突触的部位，突触的连接强度随着突触前后神经元的活动而变化；连接强度随着突触前后神经元的活动而变化；q连接权的学习律连接权的学习律正比于正比于突触前后两个神经元的活动状态突触前后两个神经元的活动状态值的乘积；值的乘积；q可假设权是对称的，细胞的互连结构是通过改变彼此的可假设权是对称的，细胞的互连结构是通过改变彼此的连接权创造出来的。连接权创造出来的。突触连接强度的可变性是学习和记忆的基础突触连接强度的可变性是学习和记忆的基础2008-2009学年第1学期神经网络学习第9页，本讲稿共51页Hebb规则规则n这是神经网络的第这是神经网络的第1个学习算法；个学习算法；n神经元的输出神经元的

7、输出n连接权值的调整公式连接权值的调整公式学习率学习率净输入净输入2008-2009学年第1学期神经网络学习第10页，本讲稿共51页n1957年，年，Frank Rosenblatt在在M-P模型基础上，定义了一个具模型基础上，定义了一个具有有单层单层计算单元的神经网络结构，取名为计算单元的神经网络结构，取名为“感知器感知器”。输入层输入层计算层计算层(输出层输出层)x1x2xixny1yjymw1jwnj2008-2009学年第1学期神经网络学习第11页，本讲稿共51页n设计一个神经网络模型，设计一个神经网络模型，q除了明确网络的结构、神经元的传输函数（除了明确网络的结构、神经元的传输函数（

8、f）；）；q还要给出还要给出学习算法学习算法。n学习算法用于得出神经网络中的各个参数。学习算法用于得出神经网络中的各个参数。q学习算法通常是学习算法通常是迭代迭代算法，对应神经网络的算法，对应神经网络的演变演变过程；过程；q算法收敛到一个稳定状态时，神经网络的各参数（连接算法收敛到一个稳定状态时，神经网络的各参数（连接权值、阈值等）就基本不变了；权值、阈值等）就基本不变了；q这个过程称为神经网络的学习或训练。这个过程称为神经网络的学习或训练。2008-2009学年第1学期神经网络学习第12页，本讲稿共51页人工神经网络的两个操作模式人工神经网络的两个操作模式n训练模式（训练模式（trainin

9、g mode）q准备大量的有教师指导的（或无教师指导的）的训练样准备大量的有教师指导的（或无教师指导的）的训练样本（即实例），对本（即实例），对ANN进行训练，确定进行训练，确定ANN的内部参的内部参数（甚至结构）。数（甚至结构）。n使用模式（使用模式（using mode）q输入一个实际例子，让输入一个实际例子，让ANN分析并给出结果。分析并给出结果。2008-2009学年第1学期神经网络学习第13页，本讲稿共51页“感知器感知器”是怎么训练的呢？是怎么训练的呢？n假设每个样本含假设每个样本含 n 个属性，用向量个属性，用向量(x1,x2,xn)表示；若表示；若X 为样本变量，为样本变量，X

10、 Rn；nwij 是是 xi 到神经元到神经元 j 的连接权值，的连接权值，Wj 是神经元是神经元 j 的输入连接的输入连接的权值向量，即的权值向量，即Wj=(w1j,w2j,wnj)；n先随机设置先随机设置wij和和j，j 是神是神经元元 j 的阈值；的阈值；n不同神经元的参数（包括连接权值和阈值）的学习是相互不同神经元的参数（包括连接权值和阈值）的学习是相互独立的，故只需给出一个神经元的学习算法。独立的，故只需给出一个神经元的学习算法。2008-2009学年第1学期神经网络学习第14页，本讲稿共51页神经元神经元 j 的参数怎么学习呢？的参数怎么学习呢？n样本必须是样本必须是有教师指导有教

11、师指导的，即预先知道其分类；的，即预先知道其分类；q输入输入(x1,x2,xn)时，神经元时，神经元j的输出应为的输出应为 dj。n对于离散感知器，对于离散感知器，yj 按下式计算。按下式计算。n 则则wij 的调整规则是的调整规则是 wij(t+1)=wij(t)+(dj-yj)xi为调整步幅系数，为调整步幅系数，02008-2009学年第1学期神经网络学习第15页，本讲稿共51页n“感知器感知器”对对线性可分线性可分问题具有分类能力问题具有分类能力q若样本空间为若样本空间为Rn，存在，存在n-1维的维的超平面超平面可将样本分为两类，则可将样本分为两类，则称线性可分。称线性可分。线性可分的二

12、维样本空间线性可分的二维样本空间线性可分的二维样本空间线性可分的二维样本空间存在至少一组存在至少一组wij和和j，使得，使得对应两个子空间的神经元输对应两个子空间的神经元输出分别为出分别为0和和1。2008-2009学年第1学期神经网络学习第16页，本讲稿共51页t样本X期望输出dW(t)实际输出y=W(t)TXW(t+1)=W(t)+(dy)X0(1,-1,-1)-1(0,0,0)0(-0.4,0.4,0.4)1(1,1,-1)1(-0.4,0.4,0.4)-0.4(0.16,0.96,-0.16)2(1,-1,-1)-1(0.16,0.96,-0.16)-0.64(0.016,1.104,

13、-0.016)3(1,1,-1)1(0.016,1.104,-0.016)1.136(0.038,1.050,-0.038)(0,1,0)例：连接强度例：连接强度例：连接强度例：连接强度WW的学习过程（的学习过程（的学习过程（的学习过程（=0.4=0.4）验证：验证：(0,1,0)T(1,-1,-1)=-1 (0,1,0)T(1,1,-1)=1 2008-2009学年第1学期神经网络学习第17页，本讲稿共51页n“感知器感知器”无法解决无法解决线性不可分线性不可分问题；问题；n1969年，年，Minsky和和Papert指出了指出了“感知器感知器”的这种局的这种局限性，例如，限性，例如，“感知

14、器感知器”无法实现无法实现“异或异或”逻辑。逻辑。逻辑“与”逻辑“异或”x1x2yx1x2y0000000100111001011111102008-2009学年第1学期神经网络学习第18页，本讲稿共51页n设输入向量设输入向量X=(x1,x2)，神经元，神经元j的输出为：的输出为：n学习逻辑学习逻辑“与与”时，有时，有n至少存在一组至少存在一组w1j、w2j 和和满足上述方程足上述方程组，即，即单结点感知点感知器器对2输入的入的逻辑“与与”问题问题有分有分类类能力。能力。2008-2009学年第1学期神经网络学习第19页，本讲稿共51页n学习逻辑学习逻辑“异或异或”时，有时，有n不存在任何一

15、组不存在任何一组w1j、w2j 和和满足上述方程足上述方程组，即，即单结点感点感知器不能知器不能对2输入的入的逻辑“异或异或”问题问题求解。求解。0 11x1x2线性可分线性可分线性可分线性可分0 11x1x2线性不可分线性不可分线性不可分线性不可分2008-2009学年第1学期神经网络学习第20页，本讲稿共51页多层感知器多层感知器n采用采用二层或多层感知器；二层或多层感知器；n只允许某一层的连接权值可调，因为无法知道网只允许某一层的连接权值可调，因为无法知道网络络隐层隐层的神经元的理想输出；的神经元的理想输出；q要允许各层的连接权值可调，需要用要允许各层的连接权值可调，需要用1986年提出

16、的误年提出的误差反向传播（即差反向传播（即BP）学习算法。）学习算法。n多层感知器可解决单层感知器无法解决的某些问多层感知器可解决单层感知器无法解决的某些问题，例如，用二层感知器就可解决异或问题。题，例如，用二层感知器就可解决异或问题。2008-2009学年第1学期神经网络学习第21页，本讲稿共51页n70年代，集成电路使计算机快速发展；年代，集成电路使计算机快速发展；n在在“感知器感知器”局限性的困扰下，机器学习的热点局限性的困扰下，机器学习的热点由连接主义（即神经网络）转向符号主义；由连接主义（即神经网络）转向符号主义；n70年代被认为是年代被认为是ANN的研究低潮期，但仍有的研究低潮期，

17、但仍有ANN的一些重要成果出现。的一些重要成果出现。q72年，芬兰年，芬兰T.Kohonen教授提出了无教师学习网络教授提出了无教师学习网络SOM（Self-Organizing feature Map）;q76年，美国年，美国Grossberg教授提出了教授提出了ART（Adaptive Resonnance Theory）。）。自组织竞争网络模型自组织竞争网络模型2008-2009学年第1学期神经网络学习第22页，本讲稿共51页自组织竞争神经网络模型自组织竞争神经网络模型n生物神经网络中，有生物神经网络中，有侧抑制侧抑制现象；现象；q一个神经元兴奋，通过突触一个神经元兴奋，通过突触抑制抑制

18、相邻神经元；相邻神经元；q它越兴奋，对周围神经元的抑制作用越强。它越兴奋，对周围神经元的抑制作用越强。n抑制现象使神经元之间出现竞争；抑制现象使神经元之间出现竞争；q起初，各神经元都处于（起初，各神经元都处于（不同程度不同程度）兴奋状态，最后）兴奋状态，最后“胜者为王胜者为王”。n自组织特征映射（自组织特征映射（SOM）和自适应共振理论）和自适应共振理论（ART）都属于这类神经网络模型。）都属于这类神经网络模型。2008-2009学年第1学期神经网络学习第23页，本讲稿共51页SOM的典型结构的典型结构输入层输入层竞争层竞争层(输出层输出层)x1x2xixny1yjymw1jwnj2008-2

19、009学年第1学期神经网络学习第24页，本讲稿共51页nSOM可实现聚类分析可实现聚类分析q聚类聚类n在在没有没有教师指导的情况下，自动寻找样本的属性关系，教师指导的情况下，自动寻找样本的属性关系，将相似的样本划归为一类。将相似的样本划归为一类。q分类分类n已知各样本的类别，在类别知识（即教师信号）的已知各样本的类别，在类别知识（即教师信号）的指指导下导下，形成分类规则，将各样本分到各自的类中。，形成分类规则，将各样本分到各自的类中。q共同点：寻找共同点：寻找样本样本-类类的映射函数。的映射函数。2008-2009学年第1学期神经网络学习第25页，本讲稿共51页样本相似度的测量样本相似度的测量

20、n设设 X1 和和 X2 是表示两个样本的向量；是表示两个样本的向量；欧式距离法欧式距离法余弦法（向量夹角法）余弦法（向量夹角法）X1X2X1 X22008-2009学年第1学期神经网络学习第26页，本讲稿共51页SOM中的竞争学习算法中的竞争学习算法对样本对样本 X 和各神经元的连接权值向量和各神经元的连接权值向量 Wj 规一化规一化寻找获胜的神经元寻找获胜的神经元jX1XiXnw1jwijwnjyj输入到神经元输入到神经元输入到神经元输入到神经元j j j j的连接的连接的连接的连接2008-2009学年第1学期神经网络学习第27页，本讲稿共51页SOM中的竞争学习算法中的竞争学习算法网络

21、输出与权值调整网络输出与权值调整对对Wj*(t+1)进行进行归一化归一化如果如果足够小则退出；否则足够小则退出；否则衰减衰减，转转2008-2009学年第1学期神经网络学习第28页，本讲稿共51页n1982年，美国物理学家年，美国物理学家John J.Hopfield提出了一提出了一种种全连接全连接神经网络模型（即神经网络模型（即Hopfield模型）；模型）；q这是一种这是一种离散型离散型反馈式反馈式神经网络（英缩写神经网络（英缩写DHNN）；）；q引入了引入了“能量函数能量函数”概念，支持对神经网络运行稳定性进概念，支持对神经网络运行稳定性进行判定；行判定；q成功求解旅行商问题（成功求解旅

22、行商问题（Traveling Salesman Problems）。）。n1984年，他又提出了连续型年，他又提出了连续型Hopfield网络（英缩写网络（英缩写CHNN）。2008-2009学年第1学期神经网络学习第29页，本讲稿共51页离散型离散型Hopfield神经网络的结构模型神经网络的结构模型一般有一般有wii=0，wij=wjiy1y2yjyn12jnw2jx1x2xjxnwj22008-2009学年第1学期神经网络学习第30页，本讲稿共51页n神经元的神经元的输出输出也称神经元的也称神经元的状态状态；n所有神经元的状态构成反馈网络的状态所有神经元的状态构成反馈网络的状态 Y；Y=

23、(y1,y2,yn)n网络输入就是网络状态的初始值网络输入就是网络状态的初始值 Y(0)；Y(0)=(x1(0),x2(0),xn(0)n由初始状态，网络开始演化。由初始状态，网络开始演化。yj(t+1)=f(netj)这里，这里，netj为神经元为神经元 j 的的净输入净输入，f()为神经元的为神经元的特性函数特性函数（也称作用、传递或转移函数）。（也称作用、传递或转移函数）。y1y2yjynnx1x2xjxn2008-2009学年第1学期神经网络学习第31页，本讲稿共51页常见的特性函数常见的特性函数10fu10fu10fuuk阈值型阈值型S状状(如如sigmoid函数函数)分段线性分段线

24、性(饱和线性饱和线性)2008-2009学年第1学期神经网络学习第32页，本讲稿共51页n对于对于DHNN，特性函数，特性函数 f 可以是阈值型可以是阈值型q也可以是分段线性型也可以是分段线性型n净输入净输入netj 的计算的计算2008-2009学年第1学期神经网络学习第33页，本讲稿共51页DHNN的两种学习方式的两种学习方式n串行方式（也称异步方式）串行方式（也称异步方式）q每次调整，只有一个神经元按其每次调整，只有一个神经元按其净净输入输入调整输出（即状态），而其他调整输出（即状态），而其他神经元保持状态不变；神经元保持状态不变；q神经元状态的调整次序可按神经元状态的调整次序可按某种某

25、种规规定次序进行，也可随机选定。定次序进行，也可随机选定。n并行方式（也称同步方式）并行方式（也称同步方式）q每次调整，各神经元每次调整，各神经元都都按其净输入按其净输入调整各自的状态。调整各自的状态。y1y2yjynnx1x2xjxn2008-2009学年第1学期神经网络学习第34页，本讲稿共51页nDHNN可能可能收敛于收敛于某个稳定状态，也可能某个稳定状态，也可能产生产生振荡振荡构成构成极限环极限环；n在串行方式下，为使网络收敛，在串行方式下，为使网络收敛，W 应为应为对对称阵称阵；n在并行方式下，为使网络收敛，在并行方式下，为使网络收敛，W 应为应为非负定非负定对称阵；对称阵；n保证给

26、定的样本是网络的保证给定的样本是网络的吸引子吸引子，且有一，且有一定的定的吸引域吸引域。参考：朱大奇参考：朱大奇,史慧史慧.人工神经网络原理及应用人工神经网络原理及应用.第第3 3章章.科学出版社科学出版社,2006,2006年年3 3月第月第1 1版版.y1y2yjynnx1x2xjxn2008-2009学年第1学期神经网络学习第35页，本讲稿共51页n连续型连续型Hopfield神经网络模型神经网络模型q该模型可表示为下列的非线性微分方程组：该模型可表示为下列的非线性微分方程组：qui 是神经元是神经元i的膜电位，的膜电位，Ci 和和 Ri 分别是输入电容和电阻，分别是输入电容和电阻，Ii

27、 是是电路外的输入电流，电路外的输入电流，wij 是神经元是神经元i 到神经元到神经元j的连接强度，的连接强度，f(u)是是u的的非线性函数。非线性函数。这是一个这是一个N输入、输入、N输出的有输出的有N组运算放大器的电路，每个运组运算放大器的电路，每个运放输出有到各运放输入的放输出有到各运放输入的反馈反馈通路。通路。2008-2009学年第1学期神经网络学习第36页，本讲稿共51页连续型连续型Hopfield神经网络的神经元模型神经网络的神经元模型VjVjujCjViRij=1/wijRjVj 可对应可对应0至至1之间之间的任意实数的任意实数2008-2009学年第1学期神经网络学习第37页

28、，本讲稿共51页nHopfield网络是一种非线性的动力网络；网络是一种非线性的动力网络；n可通过反复的网络动态迭代来求解问题，这是符可通过反复的网络动态迭代来求解问题，这是符号逻辑方法所不具有的特性；号逻辑方法所不具有的特性；n在求解某些问题时，其求解方法与人类的求解方在求解某些问题时，其求解方法与人类的求解方法很相似；法很相似；n所求得的解可能不是最佳解，但其求解速度快。所求得的解可能不是最佳解，但其求解速度快。2008-2009学年第1学期神经网络学习第38页，本讲稿共51页n1986年，年，MIT出版社（出版社（Cambridge）出版了）出版了J.L.Rumelhart和和D.E.M

29、cClelland主编的主编的“Parallel Distributed Processing:Exploration in the Microstructures of Cognition”一书；一书；n其中，详细分析了其中，详细分析了多层前馈网络多层前馈网络中的中的误差反向传误差反向传播播（Error Back Propagation）算法，即）算法，即BP算法，算法，它很好地解决了感知器局限性问题。它很好地解决了感知器局限性问题。2008-2009学年第1学期神经网络学习第39页，本讲稿共51页n前馈型神经网络前馈型神经网络输入层输入层输出层输出层隐层隐层x1xixN1y1yiyNm20

30、08-2009学年第1学期神经网络学习第40页，本讲稿共51页BP算法算法正向传播正向传播n从输入层到输出层，逐层计算结点状态；从输入层到输出层，逐层计算结点状态；q每一层结点的状态只影响下一层结点的状态。每一层结点的状态只影响下一层结点的状态。n如输出层没有得到期望输出（即有误差），转入反向如输出层没有得到期望输出（即有误差），转入反向传播过程。传播过程。反向传播反向传播n将误差信号沿原路返回，通过修改各层的连接权值，将误差信号沿原路返回，通过修改各层的连接权值，使误差信号递减直到最小。使误差信号递减直到最小。2008-2009学年第1学期神经网络学习第41页，本讲稿共51页是是还有样本吗还

31、有样本吗BPBP算法的流程图算法的流程图算法的流程图算法的流程图初始化初始化给定输入向量和期望输出给定输入向量和期望输出求隐层、输出层各结点输出求隐层、输出层各结点输出求输出与期望输出的误差求输出与期望输出的误差e求误差梯度求误差梯度权值学习权值学习计算隐层结点误差计算隐层结点误差否否设置连接权和阈的初值设置连接权和阈的初值有有e足够小足够小结束结束无无2008-2009学年第1学期神经网络学习第42页，本讲稿共51页多层前馈网络中的符号多层前馈网络中的符号nxi：样本的第：样本的第 i 个属性个属性nyi：输出层输出层神经元神经元 i 的输出的输出ndi：输出层神经元：输出层神经元 i 的期

32、望输出的期望输出nwijk：第：第i层神经元层神经元 j 到第到第 i+1层神经元层神经元 k 的连接权值的连接权值noij：第：第 i 层神经元层神经元 j 的输出的输出nij：第：第 i 层层神神经经元元 j 的的阈值阈值nnetij：第：第 i 层层神神经经元元 j 的的净输净输入入nNi：第：第 i 层层神神经经元的数目元的数目2008-2009学年第1学期神经网络学习第43页，本讲稿共51页BP算法中的前向计算算法中的前向计算特征函数必须是有界连续可微的，如特征函数必须是有界连续可微的，如sigmoid函数函数2008-2009学年第1学期神经网络学习第44页，本讲稿共51页BP算法

33、中的反向计算算法中的反向计算输出层神经元输出层神经元 j 的状态误差的状态误差网络学习的目标函数网络学习的目标函数wijk 的调整量的调整量2008-2009学年第1学期神经网络学习第45页，本讲稿共51页BP算法中的反向计算（续）算法中的反向计算（续）2008-2009学年第1学期神经网络学习第46页，本讲稿共51页BP学习算法的特点学习算法的特点n特性函数是连续可微的，通过学习可得到特性函数是连续可微的，通过学习可得到超曲面超曲面来划分样本空间；来划分样本空间；n对于对于n层网络结构，学习后可得到层网络结构，学习后可得到n-1个超曲面，个超曲面，组成组成复合曲面复合曲面，从而实现，从而实现

34、复杂的复杂的分类任务；分类任务；n缺点：缺点：q算法的收敛速度慢；算法的收敛速度慢；q依据依据梯度下降梯度下降理论修改参数，可能出现局部极小问题。理论修改参数，可能出现局部极小问题。2008-2009学年第1学期神经网络学习第47页，本讲稿共51页其他神经网络模型其他神经网络模型nBAM双向联想记忆神经网络双向联想记忆神经网络nCMAC小脑神经网络小脑神经网络nRBF径向基函数神经网络径向基函数神经网络nCPN对偶传播神经网络对偶传播神经网络n量子神经网络量子神经网络参考：朱大奇，史慧参考：朱大奇，史慧.人工神经网络原理及应用人工神经网络原理及应用.科学出版社，科学出版社，2006.32006

35、.32008-2009学年第1学期神经网络学习第48页，本讲稿共51页小结小结n人工神经网络是一种并行计算模型；人工神经网络是一种并行计算模型；q不同于冯不同于冯诺依曼计算机；诺依曼计算机；q但神经网络计算机还没有出现，一般在冯氏计算机上进但神经网络计算机还没有出现，一般在冯氏计算机上进行串行模拟。行串行模拟。n人工神经网络中知识是分布存储的；人工神经网络中知识是分布存储的；q蕴含在连接权值、阈值、网络结构中；蕴含在连接权值、阈值、网络结构中；n神经网络学习不仅是参数学习，还包括结构学习。神经网络学习不仅是参数学习，还包括结构学习。q对人类而言，完全对人类而言，完全透明透明，无法理解；，无法理

36、解；教材教材P252P252第第2 2行，行，“不透明不透明”应为应为“透明透明”2008-2009学年第1学期神经网络学习第49页，本讲稿共51页小结（续）小结（续）n人工神经网络有较强的容错性和鲁棒性；人工神经网络有较强的容错性和鲁棒性；q对于样本少量错误不敏感。对于样本少量错误不敏感。n人工神经网络的学习能力有别于符号主义；人工神经网络的学习能力有别于符号主义；q在符号主义机器学习中，根据样本修改规则，怎么修改在符号主义机器学习中，根据样本修改规则，怎么修改由人事先确定；由人事先确定；q而神经网络的学习从而神经网络的学习从随机初始值随机初始值开始，在理论上学习结开始，在理论上学习结果不依赖初始值，且学习过程无人工干预。果不依赖初始值，且学习过程无人工干预。2008-2009学年第1学期神经网络学习第50页，本讲稿共51页小结（续）小结（续）n人工神经网络不适合高精度计算；人工神经网络不适合高精度计算；q神经网络的鲁棒性与精确计算本身就是矛盾的。神经网络的鲁棒性与精确计算本身就是矛盾的。n人工神经网络的学习还有待研究。人工神经网络的学习还有待研究。q目前的学习算法中，使用了过多的经验参数；目前的学习算法中，使用了过多的经验参数；q有些学习算法的收敛速度太慢。有些学习算法的收敛速度太慢。2008-2009学年第1学期神经网络学习第51页，本讲稿共51页