基于权值动量的rbm加速学习算法研究-李飞.pdf

《基于权值动量的rbm加速学习算法研究-李飞.pdf》由会员分享，可在线阅读，更多相关《基于权值动量的rbm加速学习算法研究-李飞.pdf（18页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第43卷第7期 自动化学报V0143No72017年7月 ACTA AUTOMATICA SINICA July，2017基于权值动量的RBM加速学习算法研究李飞 高晓光 万开方-摘要动量算法理论上可以加速受限玻尔兹曼机(Restricted Boltzmann machine，RBM)网络的训练速度本文通过对现有动量算法进行仿真研究，发现现有动量算法在受限玻尔兹曼机网络训练中加速效果较差，且在训练后期逐渐失去了加速性能针对以上问题，本文首先基于Gibbs采样收敛性定理对现有动量算法进行了理论分析，证明了现有动量算法的加速效果是以牺牲网络权值为代价的；然后，本文进一步对网络权值进行研究，发现网

2、络权值中包含大量真实梯度的方向信息，这些方向信息可以用来对网络进行训练；基于此，本文提出了基于网络权值的权值动量算法，最后给出了仿真实验实验结果表明，本文提出的动量算法具有更好的加速效果，并且在训练后期仍然能够保持较好的加速性能，可以很好地弥补现有动量算法的不足关键词深度学习，受限玻尔兹曼机，动量算法，权值动量引用格式李飞，高晓光，万开方基于权值动量的RBM加速学习算法研究自动化学报，2017，4a(7)：1142-1159DOI 1016383jaas2017c160325Research on RBM Accelerating Learning Algorithm with Weight

3、MomentumLI Feil GAO XiaoGuan91 WAN KaiFan91Abstract Momentum algorithms can accelerate the training speed of restricted Boltzmann machine theoreticallyThrough a simulation study on existing momentum algorithmsj it is found that existing momentum algorithms for trainingrestricted Boltzmann machine ha

4、ve a poor accelerating effect and they began to lose acceleration performanceIn thelatter part of training processFocusing on this problem，firstly，this paper gives a theoretical analysis of the algorithmsbased on Gibbs sampling convergence theoremIt is proved that the acceleration effect of existing

5、 momentum algorithmsis at the expense of enlarging network weightsThena further investigation on network weights shows that the networkweights contain a lot of information of the true gradient direction which can be used to train the networkAccording tothis，a weight momentum algorithm is proposed ba

6、sed on the weight of the networkFinally，simulation results demon-strate that the proposed algorithm has a better acceleration effect and has the accelerating ability even in the end of thetraining processTherefore the proposed algorithm can well make up for the weaknesses of existing momentum algori

7、thmsKey words Deep learning，restricted Boltzmann machine(RBM)，momentum algorithm，weight momentumCitation Li Fei，Gao Xiao-Guang，Wan Kai-FangResearch on RBM accelerating learning algorithm with weightmomentumActa Automatica Sinica，2017，43(7)：1142-1159自2006年Hinton等【1 J提出第一个深度网络开始，经过十年的发展，深度学习已逐渐成为机器学习研

8、究领域的前沿热点深度置信网络【2J、深度卷积神经网纠引、深度自动编码机4】等深度网络也广泛应用于机器学习的各个领域，如图像识别5】、语音分析66、文本分析7、游戏8-9】、控制10、环境保护11相对于传统的机器学习网络，深度网络取得了更好的效果，极大地推动了技术发展水平(Stateof-theart)12尤其在大数据背景下，针对海量无标签数据收稿日期20160411 录用日期20160930Manuscript received April 112016：accepted September 30，2016国家自然科学基金(61305133，61573285)资助Supported bv Na

9、tional Natural Science Foundation of China(61305133，61573285)本文责任编委魏庆来Recommended by Associate Editor WEI Qing-Lai1西北工业大学电子信息学院西安7101291School of Electronics and Information，Northwestern Polytechnical UniversityXi 7an 710129的学习，深度网络具有明显的优势【13j受限玻尔兹曼机(Restricted Boltzmann ma-chine，RBM)14】是深度学习领域中的一个重

10、要模型，也是构成诸多深度网络的基本单元之一它具有两层结构，在无监督学习下，隐层单元可以对输入层单元进行抽象，提取输入层数据的抽象特征当多个RBM或RBM与其他基本单元以堆栈的方式构成深度网络时，RBM隐层单元提取到的抽象特征可以作为其他单元的输入，继续进行特征提取通过这种方式，深度网络可以提取到抽象度非常高的数据特征当采用逐层贪婪(Greedy layerwise)【2 J方法对深度网络进行训练时，各个基本单元是逐一被训练的因此，RBM训练的优劣将直接影响整个深度网络的性能2002年，Hinton提出了对比散度(Contrastivedivergence，CD)算法用以训练RBM网络，通过一条

11、Gibbs采样链来近似目标梯度，取得了良好万方数据7期 李飞等：基于权值动量的RBM加速学习算法研究的训练效果，是目前RBM训练的标准算法为克服CD算法采样初值较差的缺点，2008年，Tieleman以CD算法为基础，提出了持续对比散度(Persistent contrastive divergence，PCD)算法-16J，它以上次采样迭代的采样值作为下次采样迭代的初值继续迭代，加快了Gibbs采样链的收敛速度为了加速PCD算法，Tieleman等又于2009年提出了加速持续对比散度(Fast persistent contrastive divergence，FPCD)算法【17J，引入了

12、额外的加速参数提高采样速度为提高Gibbs采样链的混合率，Desjardins等f2010)isJ、Cho等(2011)【19J、Brakel等(2011)20】分别提出应用并行回火算法(Paralleltempering，PT)来训练RBMPT算法在不同温度下并行化多条Gibbs采样链，不同温度下的Gibbs采样以一定的交换概率进行交换，相对于一条Gibbs采样链，PT算法具有更高的采样混合率针对复杂分布，尤其是多模分布，PT算法的训练效果要明显优于CD算法121J动量算法作为梯度加速项可以与以上算法结合加速RBM网络的训练效果1964年，Polyak22 J提出了经典动量方法(Classi

13、cal momentum，CM)，它通过一个速度V来积累梯度，在梯度下降算法中可以加快收敛速度，该算法在整个机器学习领域已经取得了广泛的成功2010年，Fischer等【23J发现经典动量算法在RBM网络训练中效果较差，甚至在一些实验中根本无法起到加速效果2012年，Hinton在文献24中推荐使用动量算法来加速RBM网络的训练速度，但并没有给出相应的实验结果2013年，Sutskever等25为训练深度网络，提出了基于Nesterov加速梯度算法的Nesterov动量(Nesterovmomentum，NM)算法该算法在一定程度上克服了经典动量算法的不稳定性和方向误差，在深度自动编码机和深度

14、递归神经网络等深层网络中取得了良好的效果2015年，Zarea等26将该动量算法应用到受限玻尔兹曼机训练中，从仿真结果来看，效果并不是很明显基于以上描述，本文将在后续章节分别对下列问题进行研究：第1节，现有动量算法在训练RBM网络的过程中存在哪些问题；第2节，造成这些问题的原因是什么；第3节，如何弥补现有动量算法的这些不足；最后，第4节，仿真实验部分给出了具体的仿真结果和详细分析1背景知识本节对本文所需背景知识进行简要介绍，给出了受限玻尔兹曼机模型及其训练算法、传统动量算法的简要描述11受限玻尔兹曼机受限玻尔兹曼机是一个马尔科夫随机场模型【21】，它具有两层结构，如图1所示下层为输入层，包含m

15、个输入单元Vt，用来表示输入数据，每个输入单元包含一个实值偏置量ai；上层为隐层，包含n个隐层单元h一，表示受限玻尔兹曼机提取到的输人数据的特征，每个隐层单元包含一个实值偏置b，受限玻尔兹曼机具有层内无连接，层问全连接的特点即同层内各节点之间没有连线，每个节点与相邻层所有节点全连接，连线上有实值权重矩阵伽汾这一性质保证了各层之间的条件独立性吃 吃图1 RBM结构Fig1 Configuration of RBM本文研究二值RBM，即随机变量(V日)取值(V，h)o，1)由二值受限玻尔兹曼机定义的联合分布满足Gibbs分布P(v，)=去e一功”，M，其中p为网络参数口=nt，bj，叫o)，Ee(

16、u，h)为网络的能量函数：历为配分函数：zo=讪e-Ee(”M输入层节点”的概率分布P(u)为：P(u)=瓦1e一胁”M由受限玻尔兹曼机各层之间的条件独立性可知，当给定输入层数据时，输出层节点取值满足如下条件概率：P(hk=1Iv、=11+exp(-b3一wijvi)si黜id bj+蚴忱)相应地，当输出层数据确定后，输入层节点取值的条件概率为P2 1|?2 d_；exp玎南aw h21+ lt一： tj)b幻。触一吼m汹一魄叼伽。芦。H一=埘p马万方数据1144 自 动 化 学 报 43卷sigm。id(8t+妻i=1谢巧九，)给定一组训练样本S=v1，V2，口“，训练RBM意味着调整参数臼

17、，以拟合给定的训练样本，使得该参数下由相应RBM表示的概率分布尽可能地与训练数据的经验分布相符合本文应用最大似然估计的方法对网络参数进行估计，这样，训练RBM的目标就是最大化网络的似然函数：Lo，。=n竺。P(v2)为简化计算，将其改写为对数形式：1n Lo，。=扛n 1 In P(v)进一步推导对数似然函数的参数梯度 掣=一脚)掣+即掣=Vi一P(u)掣=一车脚，掣+即号=P(h产lI口)一尸(口)P(九汹Iu)掣=一莓脚，掣+ 即掣=P(h3=1Iv)v+P(v)P(hj：，咖i (4)得到对数似然函数的参数梯度后，可以由梯度上升法求解其最大值但由于数据分布P(v)未知，且包含配分函数乙，

18、因此，无法给出梯度的解析解现有训练算法主要是基于采样的方法，首先构造以P(v)为平稳分布的马尔科夫链，获得满足P(v)分布的样本，然后通过蒙特卡洛迭代来近似梯度：Va产口：m一口：2Vbj=P(h广1妒)一P(h广1Iv()V叫巧=P(h严1 Iv(o)u：叭一P(h严i lv(2)：(5)其中，u：o为样本值，钞!。为通过采样获得的满足P(v)分布的样本最后，参数更新方程如下：ai=ai+卵Voi统=bi+rlVbiWij=Wij+?7VWij (6)现有RBM训练算法，包括对比散度(Contrastivedivergence，CD)算法、并行回火(PT)算法，都是以Gibbs采样为基础的，

19、都是通过多步Gibbs采样获得一定精度的目标样本，然后分别通过其他后续操作获得最终的目标梯度CD算法是RBM训练的主流算法，下面首先给出CD算法【2l】：算法1Contrastive divergenceInputRBM(，甄，巩)，trainingbatch SOutputwij，aj and bi for i=1，咒，J=1，一，Tn1：Init V叫订=V=Vbi=0 for i=1，n，J=1，m2：For all the VS do3：u(o)卜V4：for t=0，一，k一1 do5： for i=1，n do sample磷一p(htIv(。)6：for J=1，m do sam

20、ple秽rup(口jlh(。)7：for i=1，一，n，J=1，m do8：Vw巧=p(鼠=1i口(o)秽一p(甄=l眇2)口；2)9：Va产口：叭一口!。)10：Vbj=p(日=1Iv(o)一p(玛=0iv(约)11：wij=wij上，Vwij12：a=ai+即Voi13：bj=bj一-?TVbj14：End for其中，a为可见层偏置向量，b为隐层偏置向量，W为网络权值矩阵，叼为学习率1，2动量算法经典动量方法(Classical momentum，CM)22】如图2(a)所示，在梯度下降算法中，其中u为累计速度，Vg(Ot)为目标函数在当前点的梯度，它通过累计速度与当前梯度的差值来调整

21、目标梯度，从而加快收敛速度RBM模型是基于梯度上升法进行训练的，因此经典动量方法在RBM模型下的参数更新公式为式(7)，其中肛为累计速度参数，卵为学习室Vt+l=#vt+vvg(ot)口t+1 2 0t+Vt+1Nesterov动量(Nesterov momentum，NM)25万方数据7期 李飞等：基于权值动量的RBM加速学习算法研究如图2(b)所示与CM不同的是，NM不是计算目标函数在当前点的梯度，而是首先由当前时刻的累计速度对目标函数的参数进行调节，计算吼+仇的梯度，然后才对目标梯度进行调节，在RBM模型下的NM参数更新公式如式(8)，其中p为累计速度参数，叼为学习率vt+1=肛仇+叼v

22、9(0t+p仇)0t+1=0t+V计1 (8)图2动量示意图Fig2 Momentum diagram2问题描述由第51节中给出的网络模型和训练策略，得到CD算法和传统动量算法在MNIST数据集上的训练效果对比图其中CD表示原始CD算法，CM表示加入经典动量项的CD算法，NM表示加入Nesterov动量项的CD算法图3和图4给出了三种算法的仿真对比图，由仿真结果可以看出，CM算法和NM算法可以加快RBM训练过程的收敛速度，但仍存在以下问题：1)加速效果不明显如图3所示，CM算法和NM算法的收敛曲线与CD算法的收敛曲线问隔较小，考虑每次迭代额外增加的计算量的前提下，这两种动量方法并没有达到预想的

23、效果图3重构误差对比图Fig3 Compassion of reconstruction errors2)训练后期加速失效随着迭代的进行，CM算法和NM算法的误差曲线逐渐与CD算法重合如图4所示，CM算法与NM算法与CD算法的重构误差的差值逐渐收敛到0，这说明在训练后期，CM算法和NM算法逐渐失去了加速效果图4重构误差差值对比图Fig4 Compassion of the difference ofthe reconstruction errors3问题分析RBM网络的训练算法都是基于Gibbs采样的，Gibbs采样链的收敛性质，即采样混合率，是影响训练算法性能的本质因素因此，本节首先基于Gi

24、bbs采样收敛性理论对以上算法和问题进行分析31基于Gibbs采样收敛性的理论分析311 Gibbs采样链收敛性定理由于在RBM网络中，可见层偏置向量a和隐层偏置向量b都是极小值，相对于网络权值W可以忽略不计因此，本文在研究网络参数的时候，只对网络权值W进行研究下面首先给出Gibbs采样收敛性定理：定理1 RBM网络下，Gibbs采样链的混合率随网络权值量级的增大而逐渐降低21，27_2引证明RBM网络基于式(2)和(3)进行Gibbs迭代，以此完成参数更新当网络权值W的量级逐渐增大时，即lWI_+。，可推理出如下结果：765432，O遥删删嗤蜒删叫一或或机+11嘶胁毗毗。错甜一一0k山1万方

25、数据自 动 化 学 报 43卷则对应的隐层节点的取值概率P(hk=1 Iv)和可见层节点的取值概率P(vk=1lh)分别为P(hk刮=1P(vk I拈0。萎11 (10)I =1I九)_或 一7当网络权值逐渐增大时，Gibbs采样链的采样概率逐渐趋于0或1即，每次采样时，各点的取值均为0或1，此时，采样链的转移算子不再具备随机性(Less randomness27】)由文献【27】可知：Gibbs采样链的混合率随着其转移算子随机性的降低而逐渐降低因此，当Gibbs采样链的采样概率逐渐趋于0或1时，采样链的转移算子的随机性逐渐降低，导致了采样链混合率的逐渐下降从而证明了当网络权值逐渐增大时，Gi

26、bbs采样链的混合率逐渐下降 口为验证上述推论的合理性，我们给出了Sigmoid函数在不同权值下的曲线，如图5所示：圜110100。lw= j一一nw=1一w=l一一； j。一。 。一i。m图5 Sigmoid函数示意图Fig5 Sigmoid diagram当网络权值量级逐渐增大时，Sigmoid函数曲线变得越来越陡峭这时如果对状态进行采样，大部分采样区域将为0或l，发生变化的区域，即可调域(图中曲线部分)，非常小，由此导致采样前后的状态变化量非常小，即转移算子的随机性非常小，从而导致采样混合率降低当采样前后状态变化量不变时，转移算子没有随机性，采样率为0，此时，网络将停止优化所以，在RBM

27、网络下，随着网络权值量级的逐渐增大，Gibbs采样链的混合率逐渐降低312对第2节中的问题进行分析由第12节给出的动量公式可以看出，CM算法和NM算法通过速度项对梯度进行累积，然后对参数梯度进行修正，即，除去参数本身的梯度外，CM算法和NM算法还额外引入了一个梯度更新量，这将加快网络权值的增加速度，图6给出了CD算法和CM、NM算法的权值增长曲线对比图由图6可以看出，CM算法和NM算法的权值增长速度明显快于CD算法，图7给出的权值差值对比图也说明了这一点这说明，CM算法和NM算法的加速效果是以增加权值量级为代价的在迭代训练初期，由于三者的网络权值都较小，这时，虽然CM算法和NM算法的?昆合率略

28、小于CD算法的混合率，但由于累计速度V的存在，使得CM算法和NM算法的综合梯度要大于CD算法，如图8所示，从而在前期，CM算法和NM能够起到加速效果但由于它们之间的梯度差值差别不是很大，所以加速效果并不是很明显，即第2节问题1)中描述的现象图6网络权值W对比图Fig6 Compassion of W迭代次数图7网络权值叫差值对比图Fig7 Compassion of the difference of W万方数据7期 李飞等：基于权值动量的RBM加速学习算法研究但到了训练后期，CM算法和NM算法训练下的权值明显大于CD算法训练下的权值，这使得CM算法和NM算法下的采样链混合率急剧下降，远小于C

29、D算法下的采样链昆合率，这时，即便存在累计速度V，也不能弥补混合率下降带来的梯度劣势，从而，使得最终CM算法和NM算法的梯度值接近，如下图9中所示，CM算法与NM算法与CD算法的梯度差值在训练后期逐渐降为0，甚至小于0，所以到了训练后期，CM算法与NM算法逐渐失去了加速效果，这就是第2节中问题2)的原因梯度对比I利迭代次数图8梯度对比图Fig8 Compassion of gradients梯度差值对比图迭代次数图9梯度差值对比图Fig9 Compassion of the difference of gradients32通过权值衰减项控制网络权值321仿真实验由于网络权值的量级是影响Gib

30、bs采样链的关键因素，所以一个很自然的想法是通过控制网络权值的量级来保证采样链的混合率因此，本节在原有动量算法的基础上引入了权值衰减项(Weightdecay)，研究总体训练效果首先分别给出CM算法和NM算法与权值衰减项结合后总的梯度更新公式：J CMD0州圳t+CMgradt o巩(11)I NMD0t+l=Wt+NMgradtAOt 7其中，入为权值衰减项参数，设为000001以CMD表示CM算法与权值衰减项结合后的算法，CMD臼表示CMD算法下的参数值，CMgrad为由CM算法计算得到的更新梯度；以NMD表示NM算法与权值衰减项结合后的算法，NMD0表示NMD算法下的参数值，NMgrad

31、为由NM算法计算得到的更新梯度以第51节中给出的实验设计为例，进行仿真实验，仿真结果如下图10给出了权值衰减下的网络权值对比图，图11给出了各动量算法与原始CD算法的网络权值差值对比图通过以上两图可以看出，权值衰减项可以有效地控制网络权值的变化，使其不至于过大，根据第31节给出的定理，权值衰减项的引入可以一定程度上保证Gibbs采样链的混合率图10权值衰减下网络权值W对比图Fig10 Compassion of W图12给出了各算法的重构误差对比图，从图12中可以看出，CMD算法和NMD算法的训练曲线与CM算法和NM算法的训练曲线几乎重合，即权值衰减项的引入并没有提高CM算法和NM算法的加速效

32、果；图13给出的重构误差差值对比图中，各差值曲线也几乎重合，都是逐渐收敛到0，这说明了在训练后期，CMD算法和NMD算法也会失去加速效果加人权值衰减项后的动量算法并没有改善原始动量算法的性能，仍然出现了第2节中描述的问题万方数据自 动 化 学 报 43卷迭代次数图1l权值衰减下网络权值差值对比图Fig1 1 Compassion of the difference of W迭代次数图12权值衰减下重构误差对比图Fig12 Compassion of the reconstruction errors迭代次数图13权值衰减下重构误差差值对比图Fig13 Compassion of the dif

33、ference of322问题解释由式(11)，可以得到引入权值衰减项后的权值梯度公式：Vw=p仇+叩V叫一Aw (12)其中，Vw为Gibbs采样计算的梯度，V彬为总的梯度权值衰减项的引入虽然可以控制权值的量级，保证采样链的混合率，即提高了V叫的值，但由式(12)可以看出，权值衰减项的方向与动量的方向相反，也就是说，权值衰减项对动量具有一定的抵消作用由提高混合率带来的加速效果和由方向相反引起的抵消作用相互牵制，最终导致总的梯度Vw与仅由动量算法计算的梯度大致相等，如图14和15所示，从而出现了第2节中描述的问题迭代次数图14梯度对比图Fig14 Compassion of the gradi

34、ents迭代次数图15梯度差值对比图Fig1 5 Compassion of the difference of gradients万方数据7期 李飞等：基于权值动量的RBM加速学习算法研究323衰减系数对仿真结果的影响为研究不同衰减系数对训练效果的影响，本节我们以CMD算法为例，设计了7组对比实验，在每组实验中，衰减系数入分别取不同的值，仿真结果和相应的入的取值如图16和17所示其中当A=0时，表示没有权值衰减项，即经典动量算法CM1 000 2000 3 000 4000 5000 6000 7000 8000 9000 10000迭代次数图16重构误差对比图Fig1 6 Compassi

35、on of the reconstruction errors退代玖数图17 M络权值对比图Fig17 Compassion of the difference of W图16给出了不同衰减系数下的重构误差对比图；图17给出了不同衰减系数下的网络权值对比图从图17中可以看出，当衰减系数A取较大值时(A00001)，衰减项对网络权值的控制较强，此时网络权值较小，但相应的重构误差较大，这说明，当入取值较大时，会降低网络的训练效果，甚至导致网络无法训练；当A取值较小时(A00001)，衰减项对网络权值的控制较弱，此时网络权值略小于无权值衰减下的网络权值，对应的重构误差与无权值衰减下的重构误差差别不大

36、；随着入的继续减小(A000001)，权值衰减项逐渐失去了控制作用，此时网络权值与无权值衰减项下的网络权值几乎相等，相应的重构误差与无权值衰减项下的网络重构误差几乎相等从图17中可以看出，A取000001(即本文的取值)是较为合适的由以上理论分析可知，现有动量算法以提高权值量级为代价加快训练过程的收敛，同时这也导致了后期加速性能的失效通过引入权值衰减项来控制网络权值并不能解决这个问题4权值动量算法41网络权值信息本文以网络权值作为动量项的想法来自于以下基本判断：迭代训练一段时期后，网络参数的方向与真实参数方向大致相同，这时，如果沿着该方向加大网络参数，可以一定程度上提高网络训练效果下面给出分析

37、证明411理论分析定理2 CD算法的估计梯度的方向在大部分时间内与真实梯度的方向是相同的【27文献271中通过大量的实验分析表明，在大部分时间内，CD算法的近似梯度与真实梯度的方向是相同的所以，我们有理由相信，经过一段时间的训练调节之后，网络权值的方向与期望权值的方向大致相同412实验证明本次试验的网络结构和参数初值与第51节中给出的设计一致本节采用的训练策略是在迭代进行到500次时，对网络权值进行加倍，即W=W10实验结果如图18从以上对比结果可以看出，在迭代次数为500处对网络权值进行加倍可以大幅度地提升训练效果但加倍后的重构误差值几乎不再变化，而不加倍的重构误差值则逐渐减小我们做了大量的

38、仿真实验，分别在不同的迭代点，对网络权值W分别乘以不同的倍数，都会出现以上结果：权值加倍后会提高网络训练效果，但后续训练速度极其缓慢出现以上现象的原因是：当对网络参数进行加倍后，网络权值急剧增大，如图19所示，根据第31节给出的Gibbs采样收敛性定理，此时，Gibbs采样链的混合率急剧下降，从而使得网络参数的梯度值急剧下降，如图20所示，最终导致网络训练曲线不再变化万方数据自 动 化 学 报 43卷卜一不加倍I一权值Dtifit薹基35飞二、厂II。8，i。、1、-，7、V广、，厂。，、j 7。一20ll k。八川。似迭代次数图19网络权值对比图Fig19 Compassion of the

39、 value of 2梯度对比H引图20梯度对比图Fig20 Compassion of gradients以上分析表明，网络权值在网络训练中保留了重要的真实梯度的方向信息当网络权值增大到采样梯度很小甚至接近于0的时候，我们可以用权值中保存的梯度方向信息来继续训练网络，基于此，本文设计了基于权值动量的RBM加速训练算法42权值动量算法本文设计的动量项为网络权值训，该权值动量项可以与原始CD算法结合，也可以与现有动量算法CM算法和NM算法结合，在混合率降低时，提供梯度方向信息，加速网络训练下面分别给出权值动量项与上述三种算法结合后的参数更新公式权值动量与CD结合后的算法称为CDW，相应的参数更新

40、公式为I叫巧=wij+叩V加巧+a叫巧=ot+叩Vo (13)【bj=bj+rVbj其中，叩为学习率，a为权值动量系数权值动量与CM算法结合后的算法称为CMW，相应的参数更新公式为f叫巧=wij+#vi舀TM+叼V叫巧+oLwijo=吼+pu；”+77Vai (14)【bj=bj+肛吩”+叩V其中，V为CM算法下的速度，p为速度参数权值动量与NM算法结合后的算法称为NMW，相应的参数更新公式为其中，秽一表示NM算法下的速度，弘为速度参数5仿真实验为证明算法的有效性和普适性，本文选取了5个常用的Benchmark标准数据集分别为MNIST29】数据集、MNORB数据集、CIFAR-1030数据集

41、、CIFAR-10030】数据集和OLIVETTIFACE31 J数据集并在这5个Benchmark标准数据集上进行了测试MNIST手写数据集共包含60 000个训练样本，对应09十个数字，每个样本是一幅2828像素的灰度图CIFAR-10数据集是Tiny image32】数据集的一部分，共包含60 000幅32323彩色图片图片分为10类，每个类由5000幅训练图片和1 000幅测试图片组成CIFAR-100数据集与k删嚣概辫一。卅肋m易烈芸一二万方数据7期 李飞等：基于权值动量的RBM加速学习算法研究CIFAR-10数据集类似，它包含100个类，每个类对应600幅图片，其中500幅用于训练

42、，100幅用于测试整个数据集共包含60000幅图片MNORB数据集是NORB33】数据集的二值化子集，总共包含19 440个数据，每个数据对应一幅3232的灰度图OLIVETTIFACE数据集是贝尔实验室收集的人脸数据库，用于人脸识别任务它总共包含400幅图片，每幅图片为6464的灰度图在每个数据集下，本文分别设计了7组对比实验，分别将上文给出的7种训练算法进行对比为避免重复叙述，本文只在MNIST数据集下给出了详细的仿真实验，并结合仿真结果，对本文提出的算法进行了详细地分析，在其他4个数据集只给出网络结构和参数设定，以及相应的仿真结果和简要分析51 MNIST数据集MNIST数据集内的数据为

43、2828的灰度图片，因此，本文设计的RBM网络模型为784 X 500，输入层有784个节点，对应灰度图的784个像素点，隐层有500个节点，用来提取输入层数据的特征训练迭代次数为10 000次具体的网络结构如表1所示表1网络参数值Table 1 The value of network parameters网络参数 初始值zeros(1，784)zeros(1，500)o1randn(784，500)0109具体的网络参数初始值设定如表2所示表2训练参数Table 2 Training parameters511训练精度对比分析图21给出了所有算法的训练误差对比图，其中CDW算法、CMW算法

44、和NMW算法的训练曲线与CD算法的间距较大，远大于CM算法、NM算法、CMD算法和NMD算法仿真结果说明本文提出的权值动量算法相对于现有动量算法，具有更好的加速效果，且加速效果明显从而克服了第2节问题1)中描述的现有动量算法出现的问题图22给出了迭代后期各动量算法与CD算法重构误差的差值对比图，为画图方便，作如下记号，如表3所示迭代次数图21重构误差对比图Fig21 Compassion of reconstruction errors迭代次数图22重构误差差值对比图Fig22 Compassion of the difference ofthe reconstruction errors由图

45、22所示，在迭代末期，CDW算法、CMW算法和NMW算法与CD算法的重构误差差值仍然较大，而其他算法与CD算法的重构误差差值逐渐增大到0，甚至大于0这说明，其他算法在后期逐渐失去了加速效果，甚至会产生副作用，而本文提出的权值动量算法在迭代后期仍然具有良好的加速效万方数据自 动 化 学 报 43卷果从而克服了第3节问题2)中描述的现有动量算法出现的问题表3记号示意图Table 3 Sign diagram差值项CMCDNMCDCMWCDNMWCDCDWCDCMWCDNMWCD512梯度对比分析 Fig24图23给出了迭代初期各动量算法与CD算法之间的梯度差值对比图从图23中可以看出，在迭代初期，

46、各动量算法的梯度值基本上都大于CD算法的梯度值，从而保证了加速效果6n 堡垡塑塑竖鏖茎堕翌些圈40_于r尹尹1尹一迭代次数图23迭代初期梯度差值对比Fig23 Compassion of the difference of the gradients ininitial stages of iteration图24给出了迭代中期各动量算法与CD算法之间的梯度差值，图24给出了迭代中期各算法的重构误差对比图，对比分析这两个图，可以发现以下两个问题：问题1图24中显示，在迭代中期，CDW算法的梯度远大于其他算法梯度理论上，这一时期CDW算法的加速效果要优于其他算法但图25给出的迭代中期重构误差图中

47、，CDW算法的重估误差虽然比CD算法的重估误差小，但却大于其他动量算法，与图24中的现象相反送j玖数图24迭代中期梯度差值对比图Compassion of the difference of the gradients inmidterm of iteration问题2图23中，CMW算法和NMW算法在中期的梯度值并不突出，但图24中显示，此时这两种算法仍然具有最优的训练效果，且训练效果要明显好于其他算法下面对以上两个问题作出解答：解答1在迭代中期，由于网络参数的初值为任意选取，导致在迭代中期，网络权值W的方向并没有完全调节好，造成其中包含的方向信息不准确，即一部分分量的方向为真实权值的方向，

48、另一部分分量的方向并不是真实权值方向而CDW算法仅仅是以网络权值作为动量项进行加速，所以此时CDW算法的梯度虽然大，但只有部分分量的方向是正确的，而另一部分分量的方向是错误的方向正确的分量会加速训练效果，方向错误的分量会削弱训练效果，这两种效果相互补偿，从而出现上述问题1)中的现象解答2另外两种算法，NMW算法和CMW算法，因为有累计梯度u，包含了正确的梯度信息，所以，当权值分量方向正确时，会进一步加强加速效果，当权值分量方向错误时，会补偿一部分削弱效果所以，尽管这一时期CMW算法和NMW算法的梯度值没有明显优势，仍然具有最优的训练效果在整个训练过程中，网络逐渐进入一个较优的局部极大域这时，较小的梯度值更有利于网络的微调，从而使网络更加靠近局部极大点图26显示，在网络靠近局部极大点的