BP神经网络模型.ppt
BP神经网络模型概述Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。J.McClelland David Rumelhart BP神经网络模型 三层BP网络BP神经网络模型 激活函数必须处处可导一般都使用一般都使用S型函数型函数 使用S型激活函数时BP网络输入与输出关系输入输出BP神经网络模型输出的导数根据根据S S型激活函数的图形可知型激活函数的图形可知,对神经网络进行训练，应该将对神经网络进行训练，应该将netnet的值尽的值尽量控制在收敛比较快的范围内量控制在收敛比较快的范围内 BP网络的标准学习算法 学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整 学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。BP网络的标准学习算法-算法思想学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播 误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号 修正各单元权修正各单元权值值BP网络的标准学习算法-学习过程正向传播：输入样本输入层各隐层输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止BP网络的标准学习算法 网络结构输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;BP网络的标准学习算法输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：BP网络的标准学习算法 第一步，网第一步，网络初始化初始化 给各各连接接权值分分别赋一个区一个区间（-1，1）内的随机数，）内的随机数，设定定误差函数差函数e，给定定计算精度算精度值 和最大学和最大学习次数次数M。第二步第二步,随机随机选取第取第K 个个输入入样本及本及对应期望期望输出出 BP网络的标准学习算法 第三步，计算隐含层各神经元的输入和输出BP网络的标准学习算法 第四步，利用网第四步，利用网络期望期望输出和出和实际输出，出，计算算误差函数差函数对输出出层的各神的各神经元的偏元的偏导数数 。BP网络的标准学习算法第五步，利用隐含层到输出层的连接权值、第五步，利用隐含层到输出层的连接权值、输出层的输出层的 和隐含层的输出计算误差函和隐含层的输出计算误差函数对隐含层各神经元的偏导数数对隐含层各神经元的偏导数 BP网络的标准学习算法BP网络的标准学习算法 第六步，利用第六步，利用输出出层各神各神经元的元的 和和隐含含层各神各神经元元的的输出来修正出来修正连接接权值 。BP网络的标准学习算法 第七步，利用第七步，利用隐含含层各神各神经元的元的 和和输入入层各神各神经元元的的输入修正入修正连接接权。BP网络的标准学习算法第八步，计算全局误差第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。BP网络的标准学习算法 BP算法直算法直观解解释情况一直情况一直观表达表达 当当误差差对权值的偏的偏导数大于零数大于零时，权值调整量整量为负，实际输出大于期望出大于期望输出，出，权值向减少方向向减少方向调整，整，使得使得实际输出与期望出与期望输出的差减少。出的差减少。whoe0，此时，此时who0BP网络的标准学习算法 BP算法直算法直观解解释情况二直情况二直观表达表达当当误差差对权值的偏的偏导数数小于零小于零时，权值调整量整量为正，正，实际输出少于期出少于期望望输出，出，权值向增大方向向增大方向调整，使得整，使得实际输出与期出与期望望输出的差减少。出的差减少。e0whoBP神经网络学习算法的MATLAB实现 MATLAB中中BP神神经网网络的重要函数和基本功能的重要函数和基本功能 函函 数数 名名功功 能能newff()生成一个前生成一个前馈馈BP网网络络tansig()双曲正切双曲正切S型型(Tan-Sigmoid)传输传输函数函数logsig()对对数数S型型(Log-Sigmoid)传输传输函数函数traingd()梯度下降梯度下降BP训练训练函数函数BP神经网络学习算法的MATLAB实现 MATLAB中BP神经网络的重要函数和基本功能newff()功能功能 建立一个前向建立一个前向BP网网络格式格式 net=newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF)说明明 net为创建的新建的新BP神神经网网络；PR为网网络输入取向量取入取向量取值范范围的的矩矩阵；S1 S2SNl表示网表示网络隐含含层和和输出出层神神经元的个数；元的个数；TFl TF2TFN1表示网表示网络隐含含层和和输出出层的的传输函数，默函数，默认为tansig；BTF表示网表示网络的的训练函数，默函数，默认为trainlm；BLF表示网表示网络的的权值学学习函数，默函数，默认为learngdm；PF表示性能数，默表示性能数，默认为mse。BP神经网络学习算法的MATLAB实现 MATLAB中BP神经网络的重要函数和基本功能tansig()功能 正切sigmoid激活函数格式 a=tansig(n)说明 双曲正切Sigmoid函数把神经元的输入范围从(-，+)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。logsig()功能 对数Sigmoid激活函数格式 a=logsig(N)说明对数Sigmoid函数把神经元的输入范围从(-，+)映射到(0，1)。它是可导函数，适用于BP训练的神经元。BP神经网络学习算法的MATLAB实现 例2-3，下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测：输入入层有三个结点，隐含含层结点数为5，隐含层的激活函数为tansig；输出出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。月份月份123456销销量量205623952600229816341600月份月份789101112销销量量187314781900150020461556BP神经网络学习算法的MATLAB实现%以每三个月的以每三个月的销售量售量经归一化一化处理后作理后作为输入入P=0.5152 0.8173 1.0000;0.8173 1.00000.7308;1.0000 0.73080.1390;0.7308 0.13900.1087;0.1390 0.10870.3520;0.1087 0.35200.0000;%以第四个月的以第四个月的销售量售量归一化一化处理后作理后作为目目标向量向量T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;%创建一个建一个BP神神经网网络，每一个，每一个输入向量的取入向量的取值范范围为0,1，隐含含层有有5个神个神经元，元，输出出层有一个神有一个神经元，元，隐含含层的激活函数的激活函数为tansig，输出出层的激活函数的激活函数为logsig，训练函数函数为梯度下降函数梯度下降函数.net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);迭代迭代次数次数 net.trainParam.epochs=15000;学学习目目标net.trainParam.goal=0.01;%设置学置学习速率速率为0.1 LP.lr=0.1;net=train(net,P,T);BP神经网络学习算法的MATLAB实现BP网络应用于药品预测对比图由由对比比图可以看出可以看出预测效果与效果与实际存在一定存在一定误差，此差，此误差可以通差可以通过增加运行步增加运行步 数和提高数和提高预设误差精度差精度业进一步一步缩小小BP神经网络的特点非线性映射能力能学能学习和存和存贮大量大量输入入-输出模式映射关系，而无需事先了出模式映射关系，而无需事先了解描述解描述这种映射关系的数学方程。只要能提供足种映射关系的数学方程。只要能提供足够多的多的样本模式本模式对供网供网络进行学行学习训练，它便能完成由，它便能完成由n维输入空入空间到到m维输出空出空间的非的非线性映射。性映射。泛化能力当向网当向网络输入入训练时未曾未曾见过的非的非样本数据本数据时，网，网络也能也能完成由完成由输入空入空间向向输出空出空间的正确映射。的正确映射。这种能力称种能力称为泛泛化能力。化能力。容错能力输入入样本中本中带有有较大的大的误差甚至个差甚至个别错误对网网络的的输入入输出出规律影响很小。律影响很小。Thanks！
