bp神经网络算法.docx
精品word 可编辑资料 - - - - - - - - - - - - -BP 神经网络算法三层 BP 神经网络如图：目标输出向量传递函数gztkk输出层，输出向量权值为w jk传递函数fy j隐含层，隐含层输出向量权值为wij输入层，输入向量Tx1x2x3xn设 网 络 的 输 入 模 式 为 x(x1, x2 ,.xn )， 隐 含 层 有h个 单 元 ， 隐 含 层 的 输 出 为Ty ( y1, y2,.yT，输出层有m 个单元，他们的输出为z ( z1, z2,.zm )，目标输出为)ht(t1, t2,., tm )设隐含层到输出层的传递函数为f ，输出层的传递函数为g于 是 ： y jnf (wij xii 1n)f (i 0wijxi )： 隐 含 层 第j个 神 经 元 的 输 出 ； 其 中w0 j,x01hzkg (j 0w jky j ) ：输出层第k 个神经元的输出此时网络输出与目标输出的误差为1 m2(tkzk )，明显，它是wij 和w jk 的函数；T2 k 1下面的步骤就是想方法调整权值，使减小；由高等数学的学问知道：负梯度方向是函数值减小最快的方向因此，可以设定一个步长，每次沿负梯度方向调整个单位，即每次权值的调整为：第 1 页，共 6 页 - - - - - - - - - -精品word 可编辑资料 - - - - - - - - - - - - -w pqw pq，在神经网络中称为学习速率可以证明：按这个方法调整，误差会逐步减小；BP 神经网络（反向传播）的调整次序为：1）先调整隐含层到输出层的权值设 vk 为输出层第k 个神经元的输入vkhw jk y jj 0mk1(tk2z )21(tmk2z ) 2kzvw jkk 1w jkk 1kzkvkkwjk(tkzk ) g (vk) y j- 复合函数偏导公式1e vk11如取 g (x)f ( x)，就1e xg (uk )(1ev k ) 2(11e vk1)e vkzk (1zk )于是隐含层到输出层的权值调整迭代公式为：wjk (t1)w jk (t)zk (1zk ) yj2）从输入层到隐含层的权值调整迭代公式为：mk1(t2z )21(tkmk2z )2kyuwijk 1wijk 1jy ju jjwij其中 u j 为隐含层第j 个神经元的输入：u jnwij xii 0留意：隐含层第j 个神经元与输出层的各个神经元都有连接，即涉及全部的权值y jwij ，km(t因此zk )zkukm(tk2zk ) f (uk)wjkyj于是：k 01m(t kzkkz ) 2uky jk 0mwij2 k 1wij( tkzk ) f (ukk 0)w jk f (u j ) xij xi因此从输入层到隐含层的权值调整迭代为公式为：wij (t1)wij(t )j xi第 2 页，共 6 页 - - - - - - - - - -精品word 可编辑资料 - - - - - - - - - - - - -例：下表给出了某地区大路运力的历史统计数据，请建立相应的猜测模型，并对给出的2021 和2021 年的数据，猜测相应的大路客运量和货运量；人数( 单位：时间万人)机动车数( 单位：万辆)大路面积 ( 单位：万平方公里)大路客运量( 单位：万人)大路货运量( 单位：万吨)199020.550.60.0951261237199122.440.750.1162171379199225.370.850.1177301385199327.130.90.1491451399199429.451.050.2104601663199530.11.350.23113871714199630.961.450.23123531834199734.061.60.32157504322199836.421.70.32183048132199938.091.850.34198368936200039.132.150.362102411099200139.992.20.361949011203200241.932.250.382043310524200344.592.350.492259811115200447.32.50.562510713320200552.892.60.593344216762200655.732.70.593683618673200756.762.850.674054820724202159.172.950.694292720803202160.633.10.794346221804202173.39003.96350.9880202175.55004.09751.0268function main()clc%清屏clear all;% 清除内存以便加快运算速度close all;% 关闭当前全部figure 图像SamNum=20;% 输入样本数量为20TestSamNum=20;% 测试样本数量也是20ForcastSamNum=2;% 猜测样本数量为2HiddenUnitNum=8;% 中间层隐节点数量取8,比工具箱程序多了1 个InDim=3;% 网络输入维度为3OutDim=2;% 网络输出维度为2% 原始数据% 人数 (单位：万人 )sqrs=20.55 22.44 25.37 27.13 29.45 30.10 30.96 34.06 36.42 38.09 39.13 39.99 .41.93 44.59 47.30 52.89 55.73 56.76 59.17 60.63;第 3 页，共 6 页 - - - - - - - - - -精品word 可编辑资料 - - - - - - - - - - - - -% 机动车数 (单位：万辆 )sqjdcs=0.6 0.75 0.85 0.9 1.05 1.35 1.45 1.6 1.7 1.85 2.15 2.2 2.25 2.35 2.5 2.6.2.7 2.85 2.95 3.1;% 大路面积 (单位：万平方公里)sqglmj=0.09 0.11 0.11 0.14 0.20 0.23 0.23 0.32 0.32 0.34 0.36 0.36 0.38 0.49 .0.56 0.59 0.59 0.67 0.69 0.79;% 大路客运量 (单位：万人 )glkyl=5126 6217 7730 9145 10460 11387 12353 15750 18304 19836 21024 19490 20433 .22598 25107 33442 36836 40548 42927 43462;% 大路货运量 (单位：万吨 )glhyl=1237 1379 1385 1399 1663 1714 1834 4322 8132 8936 11099 11203 10524 11115 .13320 16762 18673 20724 20803 21804;p=sqrs;sqjdcs;sqglmj;% 输入数据矩阵t=glkyl;glhyl;% 目标数据矩阵 SamIn,minp,maxp,tn,mint,maxt=premnmx(p,t); %原始样本对（输入和输出）初始化rand(state,sum(100*clock)% 依据系统时钟种子产生随机数rand 是产生 0 到 1 的匀称分布， randn 是产生均值为0，方差为 1 的正态分布rand(n) 或 randn(n) 产生 n*n 阶矩阵，rand(m,n) 或 randn(n) 产生 m*n 的随机数矩阵NoiseVar=0.01;% 噪声强度为0.01（添加噪声的目的是为了防止网络 过度拟合）Noise=NoiseVar*randn(2,SamNum);% 生成噪声SamOut=tn + Noise;% 将噪声添加到输出样本上TestSamIn=SamIn;% 这里取输入样本与测试样本相同由于样本容量偏少TestSamOut=SamOut;% 也取输出样本与测试样本相同MaxEpochs=50000;% 最多训练次数为50000lr=0.035;% 学习速率为0.035E0=0.65*10(-3);% 目标误差为0.65*10(-3)W1=0.5*rand(HiddenUnitNum,InDim)-0.1;% 初始化输入层与隐含层之间的权值 B1=0.5*rand(HiddenUnitNum,1)-0.1;% 初始化输入层与隐含层之间的阈值 W2=0.5*rand(OutDim,HiddenUnitNum)-0.1; %初始化输出层与隐含层之间的权值 B2=0.5*rand(OutDim,1)-0.1;% 初始化输出层与隐含层之间的阈值ErrHistory=;% 给中间变量预先占据内存for i=1:MaxEpochsHiddenOut=logsig(W1*SamIn+repmat(B1,1,SamNum); %隐含层网络输出 NetworkOut=W2*HiddenOut+repmat(B2,1,SamNum);%输出层网络输出 Error=SamOut-NetworkOut;%实际输出与网络输出之差SSE=sumsqr(Error)% 能量函数（误差平方和）第 4 页，共 6 页 - - - - - - - - - -精品word 可编辑资料 - - - - - - - - - - - - -ErrHistory=ErrHistory SSE;if SSE<E0,break, end% 假如达到误差要求就跳出学习循环%以下六行是BP 网络最核心的程序%他们是权值（阈值）依据能量函数负梯度下降原理所作的每一步动态调整量Delta2=Error; Delta1=W2*Delta2.*HiddenOut.*(1-HiddenOut);dW2=Delta2*HiddenOut; dB2=Delta2*ones(SamNum,1);enddW1=Delta1*SamIn; dB1=Delta1*ones(SamNum,1);% 对输出层与隐含层之间的权值和阈值进行修正W2=W2+lr*dW2;B2=B2+lr*dB2;% 对输入层与隐含层之间的权值和阈值进行修正W1=W1+lr*dW1;B1=B1+lr*dB1;HiddenOut=logsig(W1*SamIn+repmat(B1,1,TestSamNum); %隐含层输出最终结果NetworkOut=W2*HiddenOut+repmat(B2,1,TestSamNum);a=postmnmx(NetworkOut,mint,maxt);%输出层输出最终结果仍原网络输出层的结果x=1990:2021;%时间轴刻度newk=a(1,:);newh=a(2,:); figure ;%网络输出客运量%网络输出货运量subplot(2,1,1);plot(x,newk,r-o,x,glkyl,b-+)% 绘值大路客运量对比图；legend( 网络输出客运量, 实际客运量 );xlabel( 年份 );ylabel(客运量 / 万人 );subplot(2,1,2);plot(x,newh,r-o,x,glhyl,b-+)% 绘制大路货运量对比图；legend( 网络输出货运量, 实际货运量 );xlabel( 年份 );ylabel(货运量 / 万吨 );%利用训练好的网络进行猜测%当用训练好的网络对新数据pnew 进行猜测时，也应作相应的处理pnew=73.39 75.553.9635 4.09750.9880 1.0268;%2021 年和 2021 年的相关数据；pnewn=tramnmx(pnew,minp,maxp);% 利用原始输入数据的归一化参数对新数据进行归一化；HiddenOut=logsig(W1*pnewn+repmat(B1,1,ForcastSamNum); %隐含层输出猜测结果第 5 页，共 6 页 - - - - - - - - - -精品word 可编辑资料 - - - - - - - - - - - - -anewn=W2*HiddenOut+repmat(B2,1,ForcastSamNum);%输出层输出猜测结果% 把网络猜测得到的数据仍原为原始的数量级； anew=postmnmx(anewn,mint,maxt)第 6 页，共 6 页 - - - - - - - - - -
