(1.8)--第8章 神经网络人工智能导论.ppt

《(1.8)--第8章 神经网络人工智能导论.ppt》由会员分享，可在线阅读，更多相关《(1.8)--第8章 神经网络人工智能导论.ppt（46页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第八章 人工神经网络Artificial Neural NetworkPPT模板下载： 目录CONTENTS人工神经网络的发展一二MP神经元与感知机三生物神经系统与人工神经网络人工神经网络理论四人脑神经系统包含约860亿个生物神经元，每个神经元有多个突触和其它神经元连接。（1）生物神经元：细胞体+细胞突起；（2）细胞体：产生相应的生理活动（兴奋或抑制）；（3）细胞突起：细胞体延伸出来的部分，包括树突和轴突；树突：接受信息，将兴奋传入细胞体。每个神经元有多个树突；轴突：发送信息。把神经元的兴奋状态传送到另一个神经元。每个神经元只有一个轴突。一、生物神经系统与人工神经网络1.1 生物神经系统概述人

2、工神经网络（ArtificialNeuralNetwork，ANN）是受生物神经学启发的数学模型，抽象人脑神经元，通过构建人工神经元和建立神经元间的连接，模拟生物神经网络。（1）人工神经元（ArtificialNeuron）：基本单元，模拟人脑神经元接受输入信号、产出输出。（2）连接权值（Weight）：不同神经元间的连接被赋予权重。（3）计算：每个神经元代表一种特定函数计算。一、生物神经系统与人工神经网络1.2 人工神经网络概述一、生物神经系统与人工神经网络神经网络是一种非线性模型，也是一种并行分布处理模型，具有存储并使用经验知识的能力。从两个方面模拟大脑：（1）连接权值：是需要学习的参数（

3、如梯度下降法），存储经验知识；（2）经验知识：通过学习来获取的。1.2 人工神经网络概述PPT模板下载： 目录CONTENTS人工神经网络的发展一二MP神经元与感知机三生物神经系统与人工神经网络人工神经网络理论四二、人工神经网络的发展（1）1943年，心理学家McCulloch和数学家Pitts参考生物神经元，提出MP神经元模型。McCulloch and Pitts.A Logical Calculus Of The Ideas Immanent In Nervous Activity.Bulletin of Mathematical Biophysics,1943第一阶段：模型提出（第1个

4、高潮）19431969年，科学家们提出许多神经元模型和学习规则。（2）1958年，数学家Rosenblatt提出模拟人类感知能力的感知器模型，并提出一种接近人类学习过程（迭代、试错）的学习算法。Rosenblatt F.The Perceptron:A Probabilistic Model For Information Storage And Organization in The Brain.Cornell Aeronautical Laboratory,Psychological Review,1958二、人工神经网络的发展第二阶段：冰河期（第1个低谷）19691983年，神经网络的发

5、展陷入低潮。（1）1969年，Minsky在Perceptron证明单层感知机无法解决异或问题，多层感知机缺少有效的训练算法、结构复杂，不具备有研究价值。Minsky（19272016年），人工智能之父，麻省理工学院人工智能实验室的创始人之一，1969年获得图灵奖。（2）1974年，哈佛大学PaulWebos发明反向传播算法（Backpropagation，BP），但未受到重视。达特茅斯会议二、人工神经网络的发展第三阶段：复兴阶段（第2个高潮）19831998年，反向传播BP算法重新激发神经网络的发展。（1）1982年，物理学家JohnHopfield提出一种联想记忆和优化计算的Hopfiel

6、d网络，成功应用到旅行商问题。（2）1986年，Hinton等人将反向传播BP算法引入多层感知器，神经网络成为新的研究热点。Rumelhart D E,Hinton G E,et al.Learning representations by back-propagating errors.Nature,1986.Hopfield,Neural Networks and Physical Systems with Emergent Collective Computational Abilities.Proceedings of the National Academy of Sciences,

7、1982.二、人工神经网络的发展第四阶段：流行度降低（第2个低潮）19982006年，受限计算能力、浅层神经网络的特征提取能力，流行度降低。（1）神经网络可容易的增加层数、神经元数量，但计算复杂性会指数级增长。当时的计算机性能和数据规模不足以支持训练大规模的神经网络。（2）支持向量机逐渐兴起。（3）1998年，LeCun将提出卷积神经网络LeNet-5，并将BP算法引入，成功应用到手写体数字识别。Lecun Y,Bottou L.Gradient-based learning applied to document recognition.Proceedings of the IEEE,199

8、8.二、人工神经网络的发展第五阶段：深度学习的崛起（第3个高潮）（1）2006年，Hinton提出深度信念网络，对多层神经网络通过逐层预训练，再用反向传播算法精调，解决多层神经网络的优化问题。（2）2012年，Hinton和研究生Alex提出卷积神经网络AlexNet，在ImageNet图像识别竞赛获得成功。https:/ 目录CONTENTS人工神经网络的发展一二MP神经元与感知机三生物神经系统与人工神经网络人工神经网络理论四三、MP神经元和感知机：阶跃函数（1）1943年，心理学家McCulloch和数学家Pitts提出。（2）是一种固定权值的简单的人工神经元，称为MP神经元。激活抑制权值

9、阈值3.1 MP神经元三、MP神经元和感知机（1）1958年，Rosenblatt提出，包括单层感知机和多层感知机。（2）单层感知机：只有一个隐层（多个MP神经元），最简单的线性二分类模型。（3）权值不固定，初始时为随机值；根据实际输出和真实值的偏差，优化调整权值。3.2 感知机三、MP神经元和感知机输入：实例的特征向量，输出：实例的类别，分别是+1和-1。注意：单层感知机对于非线性可分的数据，无法分类。线性可分线性不可分感知机的训练过程3.2 感知机三、MP神经元和感知机（1）与门（ANDgate）：仅在两个输入均为1时输出1，其他时候输0。x1x2t000010100111注意：满足的参数

10、有无数多个3.3 感知机与逻辑电路与门真值表defAND(x1,x2):w1,w2,theta=1,1,1.5tmp=w1*x1+w2*x2-thetaiftmp0:return1else:return0print(AND(0,0)print(AND(0,1)print(AND(1,0)print(AND(1,1)三、MP神经元和感知机（2）或门（ORGate）：只要有一个输入是1，输出就为1。x1x2t000011101111或门真值表3.3 感知机与逻辑电路三、MP神经元和感知机（3）与非门（NANDGate）：仅在两个输入均为1时输出0，其他时候输出1。x1x2t001011101110

11、与非门真值表3.3感知机与逻辑电路三、MP神经元和感知机（4）异或门（XORGate）：当且仅当两个输入中的仅有一方为1时，才能输出1。x1x2t000011101110单层感知机仅能实现线性分类，无法实现异或门。叠加多个单层感知机，构成两层感知机可以实现异或门，完成非线性分类。结论：在理论上，通过感知机及其组合，可以实现计算机内部的复杂计算。3.3感知机与逻辑电路三、MP神经元和感知机内容总结：1、感知机是具有输入和输出的算法。给定输入后，将输出一个既定的值。2、使用单层感知机可以表示与门、或门、与非门逻辑电路，完成线性分类。3、单层感知机无法表示异或门。两层感知机可以表示异或门，完成非线性

12、分类。4、理论上，多层感知机可以表示计算机内部的复杂计算，但缺少有效的训练算法。PPT模板下载： 目录CONTENTS人工神经网络的发展一二MP神经元与感知机三生物神经系统与人工神经网络人工神经网络理论四四、人工神经网络（Artificial Neural Network）感知机神经网络替换阶跃函数激活函数（1）结构：类似感知机，包括输入层（InputLayer）、一个或者多个中间层（隐层，HiddenLayer）和输出层（OutputLayer）。（2）类型：前馈神经网络、反馈神经网络等。（3）基本单元：现代人工神经元（类似MP神经元），激活函数不再使用原始的阶跃函数。4.1 基础知识作用：

13、将输入信号转换为输出信号，增强网络的特征表示能力。4.2激活函数（Active Function）四、人工神经网络（Artificial Neural Network）（1）连续并可导（允许少数点不可导）的非线性函数。原因：可导的激活函数可以直接利用数值优化的方法来学习网络参数；（2）形式：激活函数及其导函数尽可能简单，利于提高网络计算效率；（3）值域：激活函数导函数的值域要在一个合适区间内，不能太大或太小，否则影响训练的效率和稳定性。数学性质（1）Logistic函数：“挤压”函数，值域(0,1)。四、人工神经网络（Artificial Neural Network）4.2 激活函数（Act

14、ive Function）（2）Tanh（双曲正切）函数：“挤压”函数，值域(-1,1)。四、人工神经网络（Artificial Neural Network）Sigmoid函数阶跃函数函数形态平滑的曲线以0为界，输出急剧性的变化。函数输出连续实数值信号0或1的离散信号不管输入信号有多小，或者有多大，输出信号的值都在0到1之间4.2 激活函数（Active Function）Logistic和Tanh统称Sigmoid，相比阶跃函数，连续可导、双端饱和，数学性质更好。Sigmoid优点：导数可直接用函数值计算，简单高效。Sigmoid缺点：存在梯度消失。在远离0的两端，导数趋于0，造成神经元权

15、值的梯度趋于0、无法更新。左饱和右饱和四、人工神经网络（Artificial Neural Network）（3）ReLU函数：RectifiedLinearUnit（修正线性单元），“斜坡”函数，深层神经网络中经常使用。4.2 激活函数（Active Function）相比Sigmoid，ReLU的优点：（1）计算更快、加速神经网络的训练速度；（2）梯度为0或1，缓解神经网络训练时的梯度消失。四、人工神经网络（Artificial Neural Network）（1）第0层到第1层的信息传输4.3 信息前向传输同理：符号标记四、人工神经网络（Artificial Neural Network

16、）（3）第2层到输出层的信息传输（2）第1层到第2层的信息传输4.3信息前向传输四、人工神经网络（Artificial Neural Network）（1）每次计算实际输出与期望输出（样本标记）之间的误差。根据梯度下降法，由后向前逐层修正权值。（2）重复该过程，直到误差降低为指定精度。4.4权值反向修正参数反向修正过程也称为BP（BackPropagation）算法。为降低学习难度，请参见下面的计算示例。四、人工神经网络（Artificial Neural Network）4.5计算示例某样本的特征：，标记：（1）阈值：请计算神经网络的模型输出，并按照BP算法给出权值的反向修正过程。其中，初始

17、值如下：（3）激活函数：Sigmoid（2）学习率：（4）权值：四、人工神经网络（Artificial Neural Network）（1）隐层节点记隐层神经元，输入：，输出：输出神经元，输入：，输出：1、信息前向传输四、人工神经网络（Artificial Neural Network）（2）输出层节点1、信息前向传输四、人工神经网络（Artificial Neural Network）（1）误差（2）隐层的输出权值修正：2、权值反向修正导数链式法则四、人工神经网络（Artificial Neural Network）根据根据根据四、人工神经网络（Artificial Neural Netwo

18、rk）至此，隐层输出权值的第一次迭代修正结束。（2）隐层的输出权值修正2、权值反向修正四、人工神经网络（Artificial Neural Network）（3）隐层的输入权值修正2、权值反向修正四、人工神经网络（Artificial Neural Network）根据四、人工神经网络（Artificial Neural Network）根据根据四、人工神经网络（Artificial Neural Network）至此，隐层输入权值的第一次迭代修正结束。（3）隐层的输入权值修正2、权值反向修正四、人工神经网络（Artificial Neural Network）第1次迭代：第100次迭代：第1

19、000次迭代：3、多次迭代修正过程第10次迭代：神经网络经过1000次迭代训练（修正权值），网络输出逐渐逼近目标输出。参考：https:/ Neural Network）4.6神经网络应用案例山鸢尾变色鸢尾维吉尼亚鸢尾importpandasaspdimporttorch.nnasnnimporttorch【例2】鸢尾花分类。IRIS数据集：包含150个数据样本，分为3类（山鸢尾、变色鸢尾、维吉尼亚鸢尾），每类50个数据，每个数据包含4个属性。下载：http:/archive.ics.uci.edu/ml/datasets/irisclassMyNet(nn.Module):def_init_

20、(self):super(MyNet,self)._init_()self.fc=nn.Sequential(nn.Linear(4,3),nn.Sigmoid(),nn.Linear(3,3),nn.Sigmoid(),nn.Linear(3,1),)self.mls=nn.MSELoss()self.opt=torch.optim.Adam(params=self.parameters(),lr=0.001)defget_data(self):inputs=labels=withopen(flower.csv)asfile:df=pd.read_csv(file,header=None)x

21、=df.iloc:,0:4.valuesy=df.iloc:,4.valuesforiinrange(len(x):inputs.append(xi)forjinrange(len(y):a=a.append(yj)labels.append(a)returninputs,labels4.6神经网络应用案例定义神经网络（1）结构：4-3-1（2）误差：均方误差（3）学习率：0.001读取数据集（1）输入特征（inputs）：前4列（2）样本标记（labels）：第5列4.6神经网络应用案例（续）defforward(self,inputs):out=self.fc(inputs)returno

22、utdeftrain(self,x,label):out=self.forward(x)loss=self.mls(out,label)self.opt.zero_grad()loss.backward()self.opt.step()deftest(self,x):returnself.fc(x)（1）forward:信息前向传输（2）train：根据误差反向修正权值；（3）test：对样本x进行测试，计算输出。if_name_=_main_:net=MyNet()inputs,labels=net.get_data()foriinrange(1000):forindex,inputinen

23、umerate(inputs):input=torch.from_numpy(input).float()label=torch.Tensor(labelsindex)net.train(input,label)#测试一下 c=torch.Tensor(5.6,2.7,4.2,1.3)print(net.test(c)（1）调用MyNet构建神经网络模型；（2）调用get_data获取输入和输出；（3）迭代训练1000次（epoch），每次训练对于所有样本产生的误差，对权值进行修正。（4）最后测试某一个未知样本，给出模型判断结果。四、人工神经网络（Artificial Neural Network）内容总结：1、现代人工神经元，与MP神经元类似，激活函数不再使用原始的阶跃函数，而是常用的Sigmoid、ReLu等函数。2、前向传输包括：权值求和、激活函数计算两部分。3、反向修正包括：隐层的输出权值和输入权值修正两部分，可以梯度下降法进行。4、神经网络经过多次迭代训练后，网络输出逐渐逼近目标输出。