第四章神经网络基本理论课件.ppt

《第四章神经网络基本理论课件.ppt》由会员分享，可在线阅读，更多相关《第四章神经网络基本理论课件.ppt（48页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、College of Electrical and Information Engineering,Hunan Univ.1第四章神第四章神经网网络基基本理本理论第1页，此课件共48页哦4.1 人工神经元模型人工神经元模型 人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。象和模拟。v生物神经元模型生物神经元模型 生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制

2、性冲动到奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超过某个阈值，神经元将产达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超过某个阈值，神经元将产生冲动。生冲动。第2页，此课件共48页哦4.1 人工神经元模型人工神经元模型v人工神经元模型人工神经元模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型x1,xnT为输入向量，为输入向量，y为输出，为输出，f()为激发函数，为激发函数，为阈值。为阈值。Wi为神经元与其它神为神经

3、元与其它神经元的连接强度，也称权值。经元的连接强度，也称权值。第3页，此课件共48页哦4.1 人工神经元模型人工神经元模型常用的激发函数常用的激发函数f 的种类的种类：1）阈值）阈值型函数型函数第4页，此课件共48页哦4.1 人工神经元模型人工神经元模型2）饱和型函数）饱和型函数3）双曲函数）双曲函数第5页，此课件共48页哦4.1 人工神经元模型人工神经元模型4）S型函数型函数5）高斯函数）高斯函数第6页，此课件共48页哦4.2 神经网络的定义和特点神经网络的定义和特点 神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。神经网络系统是由大量的神经元，通过广泛地互相连接而形成

4、的复杂网络系统。v 定义定义v 特点特点（1）非线性映射逼近能力。非线性映射逼近能力。可以逼近任意的连续非线性函数映射关系。可以逼近任意的连续非线性函数映射关系。（2）自适应性和自组织性自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接强度具有。神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织。可塑性，网络可以通过学习与训练进行自组织。（3）并行处理性。并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。处理方式

5、是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。分布存储和容错性。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以信息得到恢复，因而网络具有容错性和联想记忆功能。可以信息得到恢复，因而网络具有容错性和联想记忆功能。（5）便于集成实现和计算模拟。便于集成实现和计算模拟。第7页，此课件共48页哦4.3 感知器模型感知器模型 感知器感知器(Perceptron)是由美国学者是由美国学者F.Rosenblatt于于1957年提出的，年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。它是一个具有单层计

6、算单元的神经网络，并由线性阈值元件组成。v 激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否则为，否则为0或或-1。v它的权系它的权系W可变，这样它就可以学习。可变，这样它就可以学习。v感知器的结构感知器的结构第8页，此课件共48页哦4.3 感知器模型感知器模型v感知器的学习算法感知器的学习算法学习算法：学习算法：给定初始值：赋给给定初始值：赋给Wi(0)各一个较小的随机非零值，这里各一个较小的随机非零值，这里Wi(t)为为t时刻第时刻第i个输入的个输入的权权(1in)，Wn+1(t)为为t时刻的阈值；时刻的阈值

7、；输入一样本输入一样本X=(xi,xn,1)和它的希望输出和它的希望输出d；计算实际输出计算实际输出 修正权修正权W：Wi(t+1)=Wi(t)+d-Y(t)xi,i=1,2,n+1 转到转到直到直到W对一切样本均稳定不变为止。对一切样本均稳定不变为止。第9页，此课件共48页哦4.3 感知器模型感知器模型根据某样本训练时，均方差随训练次数的收敛情况根据某样本训练时，均方差随训练次数的收敛情况第10页，此课件共48页哦4.4 神经网络的构成和分类神经网络的构成和分类v 构成构成 v 从从Perceptron模型可以看出神经网络通过一组状态方程和一组学模型可以看出神经网络通过一组状态方程和一组学习

8、方程加以描述。习方程加以描述。v 状态方程描述每个神经元的输入、输出、权值间的函数关系。状态方程描述每个神经元的输入、输出、权值间的函数关系。v 学习方程描述权值应该怎样修正。神经网络通过修正这些权值来学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输入输出关系。进行学习，从而调整整个神经网络的输入输出关系。v分类分类（1）从结构上划分）从结构上划分 通常所说的网络结构，主要是指它的联接方式。神经网络从通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构上来说，主要分为层状和网状结构。拓扑结构上来说，主要分为层状和网状结构。第11页，此课件共48

9、页哦4.4 神经网络的构成和分类神经网络的构成和分类层状结构层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层中神经网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内神经元不能联接。元单向联接，一般同层内神经元不能联接。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每个神经元从前一层接收输入，发送输出给下一层。每个神经元从前一层接收输入，发送输出给下一层。第12页，此课件共48页哦4.4 神经网络的构成和分类神经网络的构成和分类网状结构：网络中任何两个神经元之间都可能

10、双向联接。网状结构：网络中任何两个神经元之间都可能双向联接。v反馈网络：从输出层到输入层有反馈，每一个反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其它神经元的神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输出信号引回自身反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。输入的自环反馈。v混合型网络：前向网络的同一层神经元之间有混合型网络：前向网络的同一层神经元之间有互联的网络。互联的网络。第13页，此课件共48页哦4.4 神经网络的构成和分类神经网络的构成和分类（2）从激发函数的类型上划分从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经

11、网络、样条基函数神经网络等高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等（3）从网络的学习方式上划分从网络的学习方式上划分有导师学习神经网络有导师学习神经网络有导师学习神经网络有导师学习神经网络（4）从学习算法上来划分：）从学习算法上来划分：基于基于BP算法的网络、基于算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、基于遗算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。传算法的网络。第14页，此课件共48页哦4.4 多层前向多层前向BP神经网络神经网络 v 多层前向神经网络的结构多层前向神经网络的结构多层前向神经网络由输入层、隐层（不少于多层前向神经网络由

12、输入层、隐层（不少于1层）、输出层组成，信号沿输层）、输出层组成，信号沿输入入输出的方向逐层传递。输出的方向逐层传递。第15页，此课件共48页哦4.4 多层前向多层前向BP神经网络神经网络沿信息的传播方向，给出网络的沿信息的传播方向，给出网络的状态方程状态方程，用，用Inj(i)，Outj(i)表示第表示第i层第层第j个神经元的输入和个神经元的输入和输出，则各层的输入输出关系可描述为：输出，则各层的输入输出关系可描述为：第一层（输入层）：将输入引入网络第一层（输入层）：将输入引入网络 第二层（隐层）第二层（隐层）第三层（输出层）第三层（输出层）第16页，此课件共48页哦4.4 多层前向多层前向

13、BP神经网络神经网络v网络的学习网络的学习 学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可能接近期望的输出。出尽可能接近期望的输出。假设有假设有M个样本个样本:将第将第k个样本个样本Xk输入网络，得到的网络输出为输入网络，得到的网络输出为 定义学习的目标函数为定义学习的目标函数为：第17页，此课件共48页哦4.4 多层前向多层前向BP神经网络神经网络训练算法是：训练算法是：令令 则则第18页，此课件共48页哦4.4 多层前向多层前向BP神经网络神经网络学习的步骤：学习的步骤：（1）依次取第）依次取第k组样本组样本，

14、将，将Xk输入网络。输入网络。（2）依次计算）依次计算，如果，如果，退出。，退出。（3）计算）计算（4）计算）计算（5），修正权值，返回（，修正权值，返回（1）第19页，此课件共48页哦例例4.1 多层前向多层前向BP网络训练网络训练训练样本训练样本SISO：SampleInput=0 0.1 0.2 0.3 0.4;SampleOutput=4 2 2 2 2;网络结构：网络结构：第20页，此课件共48页哦网络输入输出关系：网络输入输出关系：需训练的量：需训练的量：第21页，此课件共48页哦训练算法：训练算法：第22页，此课件共48页哦训练初始参数：训练初始参数：W1=rand(1,5);W

15、2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;第23页，此课件共48页哦训练后参数：训练后参数：W1-0.4059 8.5182 -0.5994 -0.1153 -1.1916;W2=0.6245 2.8382 0.6632 0.5783 3.5775;Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;Theta=1.5832 0.1900 1.5406 1.6665 -0.14

16、41;第24页，此课件共48页哦训练训练1000次目标函数的变化曲线：次目标函数的变化曲线：第25页，此课件共48页哦训练结束后神经网络的输出与样本的拟和情况训练结束后神经网络的输出与样本的拟和情况第26页，此课件共48页哦4.4 多层前向多层前向BP神经网络神经网络v前向网络进一步需研究的问题前向网络进一步需研究的问题 局部最优问题，（网络初值选取不恰当）。局部最优问题，（网络初值选取不恰当）。学习算法收敛速度慢，学习算法收敛速度慢，Sigmaid函数本身存在无穷多闪导数，而函数本身存在无穷多闪导数，而BP算法只用了一次导数，致使收敛速度慢。算法只用了一次导数，致使收敛速度慢。网络的运行是单

17、向传播，没有反馈，是一个非浅性映射，而不是非浅网络的运行是单向传播，没有反馈，是一个非浅性映射，而不是非浅性动力系统。性动力系统。网络隐层节点个数和初始权值的选取，尚无理论指导。网络隐层节点个数和初始权值的选取，尚无理论指导。第27页，此课件共48页哦4.5 大脑自组织神经网络大脑自组织神经网络 脑神经科学研究表明：脑神经科学研究表明：传递感觉的神经元排列是按某种规律有序传递感觉的神经元排列是按某种规律有序进行的，这种排列往往反映所感受的外部刺激的某些物理特征。进行的，这种排列往往反映所感受的外部刺激的某些物理特征。大脑自组织神经网络在接受外界输入时，将会分成不同的区域，大脑自组织神经网络在接

18、受外界输入时，将会分成不同的区域，不同的区域对不同的模式具有不同的响应特征，即不同的神经元不同的区域对不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的有序排列的有序排列 第28页，此课件共48页哦4.5 大脑自组织神经网络大脑自组织神经网络 在这种网络中，输出节点与其邻域其他节在这种网络中，输出节点与其邻域其他节点广泛相连，并互相激励。输入节点和输点广泛相连，并互相激励。输入节点和输出节点之间通过强度出节点之间通过强度wij(t)相连接。通过某种相连接。通过某种规则，不断地调整规则，不

19、断地调整wij(t)，使得在稳定时，每，使得在稳定时，每一邻域的所有节点对某种输入具有类似的输一邻域的所有节点对某种输入具有类似的输出，并且这种聚类的概率分布与输入模式的出，并且这种聚类的概率分布与输入模式的概率分布相接近。概率分布相接近。第29页，此课件共48页哦4.5 大脑自组织神经网络大脑自组织神经网络自组织学习算法：自组织学习算法：(1)权值初始化并选定领域的大小权值初始化并选定领域的大小；(2)输入模式；输入模式；(3)计算空间距离计算空间距离(4)选择节点选择节点j*，它满足，它满足(5)按下式改变按下式改变j*和其领域节点的连接强度和其领域节点的连接强度 wij(t+1)=wij

20、(t)+(t)xi(t)-wij(t),(t)为衰减因子。为衰减因子。(6)返回到第返回到第(2)步，直至满足步，直至满足xi(t)-wij(t)2。第30页，此课件共48页哦4.5 大脑自组织神经网络大脑自组织神经网络例例4.2 大脑自组织网络的训练大脑自组织网络的训练输入模式：输入模式：Xx1,x2,x3网络节点数量：网络节点数量：9 邻域：邻域：1网络初始权值：网络初始权值：W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 0

21、.7181 0.4453 0.3663 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.5692 0.0877 0.3025;第31页，此课件共48页哦4.5 大脑自组织神经网络大脑自组织神经网络1.单模式训练情况单模式训练情况输入为：输入为：X=0 0 1结果：结果：W=0.1122 0.0000 0.0000 0.0000 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.0000 0.0000 0.0000 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 1.0000 1.0

22、000 1.0000 0.8045 0.3939 0.5692 0.0877 0.3025输入为：输入为：X=0 1 0结果：结果：W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.0000 0.0000 0.0000 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 1.0000 1.0000 1.0000 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.0000 0.0000 0.0000第32页，此课件共48页哦4.5 大脑自组织神经网络大脑自组织神经网络2.多模式训练情况

23、多模式训练情况1 0 00 1 00 0 1Input=训练结果：训练结果：0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000W网络输出：网络输出：Output=Input*W=0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0

24、.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000模式1模式2模式3模式模式2模式模式1模式模式3模式模式1模式模式2模式模式3第33页，此课件共48页哦4.6 小脑神经网络小脑神经网络 小小脑脑模模型型关关节节控控制制器器（CMAC）是是由由Albus最最初初于于1975年年基基于于神神经经生生理理学学提提出出的的，它它是是一一种种基基于于局局部部逼逼近近的的简简单单快快速

25、速的的神神经经网网络络，能能够够学学习习任任意意多多维维非非线线性性映映射射,迄迄今今已已广广泛泛用用于于许多领域。许多领域。CMAC具有优点：具有优点：v具具有有局局部部逼逼近近能能力力，每每次次修修正正的的权权值值极极少少，学学习习速速度度快快，适适合合于在线学习；于在线学习；v一一定定的的泛泛化化能能力力，相相近近输输入入给给出出相相近近输输出出，不不同同输输入入给给出出不同输出；不同输出；第34页，此课件共48页哦4.6 小脑神经网络小脑神经网络vCMAC的原理的原理CMAC是是一一种种模模仿仿人人类类小小脑脑的的学学习习结结构构,每每个个状状态态变变量量被被量量化化并并且且输输入入空

26、空间间被被划划分分成成离离散散状状态态。量量化化的的输输入入构构成成的的向向量量指指定定了了一一个个离离散散状状态态并并且且被被用用于于产产生生地地址址来来激激活活联联想单元中存储的联想强度从而恢复这个状态的信息。想单元中存储的联想强度从而恢复这个状态的信息。第35页，此课件共48页哦4.6 小脑神经网络小脑神经网络vCMAC的空间划分和量化机制的空间划分和量化机制超立方体联想单元“块”第36页，此课件共48页哦4.6 小脑神经网络小脑神经网络vCMAC学习的数学推导学习的数学推导1)无无hash映射的映射的CMAC每每个个量量化化的的状状态态对对应应Ne个个联联想想单单元元。假假设设Nh是是

27、总总的的联联想想单单元元的的数数量量，该该数数量量与与没没有有hash映映射射时时的的物物理理存存储储空空间间大大小小一一致致。用用CMAC技技术术，第第s个个状状态态对对应应的的输输出出数数据据ys可可以以被表示为：被表示为：式中式中W是代表存储内容（联想强度）的向量，是代表存储内容（联想强度）的向量，Cs是存储单元激活向量，该向量包含是存储单元激活向量，该向量包含Ne个个1。第37页，此课件共48页哦4.6 小脑神经网络小脑神经网络2)有有hash映射的映射的CMAC hash映映射射将将几几个个联联想想单单元元和和一一个个物物理理存存储储位位置置(hash单单元元)相相对对应应。hash

28、单单元元中中存存储储联联想想强强度度，而而此此时时的的联联想想单单元元是是虚虚拟拟的的存存储储空空间间，只只存存储储hash单单元元的的散散列列地地址址编编码码。用有用有hash映射的映射的CMAC技术，第技术，第s个状态对应的输出数据个状态对应的输出数据ys可以被表示为：可以被表示为：Mp是是hash单元的数量。单元的数量。hij=1表示联想单元表示联想单元i激活激活hash单元单元j。由于每个联想单元仅仅和。由于每个联想单元仅仅和一个一个hash单元相对应，所以单元相对应，所以hash矩阵矩阵H的每一行仅有一个单元等于的每一行仅有一个单元等于1，其余的都等于，其余的都等于0。第38页，此课

29、件共48页哦4.6 小脑神经网络小脑神经网络 没有没有hash映射的公式和有映射的公式和有hash映射的公式可以合并为一个式子：映射的公式可以合并为一个式子：vCMAC的学习的学习CMAC用迭代算法来训练联想强度。在学习中，我们将用迭代算法来训练联想强度。在学习中，我们将Ns个训练数据重复个训练数据重复用于学习。在第用于学习。在第i次迭代中用第次迭代中用第s个样本学习的迭代算法为：个样本学习的迭代算法为：S：样本数i：迭代次数：学习率期望输出第39页，此课件共48页哦4.6 小脑神经网络小脑神经网络第40页，此课件共48页哦4.6 小脑神经网络小脑神经网络例例4.3 CMAC训练训练样本：样本

30、：SampleInput1=0.05 0.15 0.25 0.35;SampleInput2=0.05 0.15 0.25 0.35;SampleOutput=4 4 4 4;2 2 2 2;3 3 3 3;1 1 1 1;量化：两输入均量化为四个元素量化：两输入均量化为四个元素 if x10&x10.1&x10.2&x10.3&x1=0.4 indexX1=4;end第41页，此课件共48页哦4.6 小脑神经网络小脑神经网络状态编号：状态编号：MSTATENUM=1 2 3 45 6 7 89 10 11 1213 14 15 16激活向量矩阵：激活向量矩阵：1 0 0 0 1 0 0 0

31、1 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 0 0 0 1 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 0 1 0 0 0

32、1 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1MC=第42页，此课件共48页哦4.6 小脑神经网络小脑神经网络联想强度初始值：联想强度初始值：Weight=rand(12,1);学习率：学习率：learningRate=0.005;训练训练2000次，均方差结果：次，均方差结果：训练训练2000次，联想强度：次，联想强度：2.0167 2.0167 0.0168 0.0169 1.7736 1.7739 -0.2261 -0.2261 0.2094 0.2093 1.2093 1.2092第43页，此课件共

33、48页哦4.6 小脑神经网络小脑神经网络输出跟踪结果：输出跟踪结果：第44页，此课件共48页哦4.6 小脑神经网络小脑神经网络样本样本2：SampleInput1=0.05 0.15 0.25 0.35;SampleInput2=0.05 0.15 0.25 0.35;SampleOutput=4 4 4 4;2 2 2 2;3 3 2 2;1 1 1 1;1.6917 1.5671 0.0690 0.4412 1.7003 1.7008 -0.2995 -0.2989 0.6077 0.6699 1.4182 0.8577联想强度结果：联想强度结果：第45页，此课件共48页哦4.6 小脑神经

34、网络小脑神经网络输出跟踪结果：输出跟踪结果：第46页，此课件共48页哦4.7 模糊神经网络模糊神经网络模糊神经网络，利用神经网络来实现模糊推理。模糊神经网络，利用神经网络来实现模糊推理。1）使网络的结构和权值具有了明确的物理意义，网络的结构设计和）使网络的结构和权值具有了明确的物理意义，网络的结构设计和权值的初始化都有了理论的根据，避免了网络陷入局部最优。权值的初始化都有了理论的根据，避免了网络陷入局部最优。2）可以利用神经网络的学习能力来调整模糊控制的控制规则和模）可以利用神经网络的学习能力来调整模糊控制的控制规则和模糊化的方式，使模糊控制具有了一定的自适应能力。糊化的方式，使模糊控制具有了一定的自适应能力。3）模糊神经网络将定性的知识表达和定量的数值运算很好地结合了）模糊神经网络将定性的知识表达和定量的数值运算很好地结合了起来，具有很好的控制效果起来，具有很好的控制效果第47页，此课件共48页哦4.7.1 模糊神经网络的结构模糊神经网络的结构PBNB输入层模糊化模糊推理 去模糊化第48页，此课件共48页哦