神经网络与深度学习.docx

神经网络与深度学习w进展惩罚可以缓解这种问题。4.8为什么要对参数进展随机初始化4.9梯度消失问题是否可以通过增加学习率来缓解网络优化网络优化深度神经网络是一个高度非线性的模型其风险函数是一个非凸函数因此风险最小化是一个非凸优化问题在高维空间中大局部驻点都是鞍点平坦最小值当一个模型收敛到一个平坦的部分最小值时其鲁棒性会更好即微小的参数变动不会剧烈影响模型才能而当一个模型收敛到一个锋利的部分最小值时其鲁棒性也会比拟差具备良好泛化才能的模型通常应该是鲁棒的因此理想的部分最小值应该是平坦的部分最小值的等价性batch的选择批量大小不影响随机梯度的期望但是会影响随机梯度的方差批量大小越大时随机梯度的方差越小引入的噪声也越小训练也越稳定因此可以设置较大的学习率。批量大小较小时需要设置较小的学习率否那么模型会不收敛学习率通常要随着批量大小的增大而相应地增大学习率调整学习率衰减逆时衰减InverseTimeDecay指数衰减ExponentialDecay其中1为衰减率自然指数衰减NaturalExponentialDecay余弦衰减CosineDecay学习率预热当批量大小的设置比拟大时通常需要比拟大的学习率刚开场训练时由于参数是随机初始化的梯度往往也比拟大再加上比拟大的初始学习率会使得训练不稳定为了进步训练稳定性我们可以在最初几轮迭代时采用比拟小的学习率等梯度下降到一定程度后再恢复到初始的学习率这种方法称为学习率预热LearningRateWarmup周期性学习率调整为了使得梯度下降法可以逃离鞍点或者锋利最小值一种经历性的方式是在训练经过中周期性地增大学习率当参数处于锋利最小值附近时增大学习率有助于逃离锋利最小值当参数处于平坦最小值附近时增大学习率仍然有可能在该平坦最小值的*吸引域(BasinofAttraction)*内从长期来看有助于找到更好的部分最优解循环学习率CyclicLearningRate让学习率在一个区间内周期性地增大以及缩小通常可以使用线性缩放来调整学习率称为三角循环学习率TriangularCyclicLearningRate带热重启的随机梯度下降StochasticGradientDe-scentwithWarmRestartsSGDR优化器内容详细并且包含并行SGD以及梯度噪音AdaGrad借鉴2正那么化的思想每次迭代时自适应地调整每个参数的学习率在AdaGrad算法中假如某个参数的偏导数累积比拟大其学习率相对较小相反假如其偏导数累积较小其学习率相对较大但整体是随着迭代次数的增加学习率逐渐缩小AdaGrad算法的缺点是在经过一定次数的迭代仍然没有找到最优点时由于这时的学习率已经非常小很难再继续找到最优点RMSprop自适应学习率的方法可以在有些情况下防止AdaGrad算法中学习率不断单调下降以致于过早衰减的缺点其中为衰减率一般取值为0.9是初始的学习率比方0.001AdaDelta没太看懂Momentum除了调整学习率之外还可以进展梯度估计GradientEstimation的修正在随机小批量梯度下降法中假如每次选取样本数量比拟小损失会呈现振荡的方式下降也就是讲随机梯度下降方法中每次迭代的梯度估计以及整个训练集上的最优梯度并不一致具有一定的随机性每次迭代的梯度可以看作加速度计算负梯度的“加权挪动平均作为参数的更新方向一般而言在迭代初期梯度方向都比拟一致动量法会起到加速作用可以更快地到达最优点在迭代后期梯度方向会不一致在收敛值附近振荡动量法会起到减速作用增加稳定性从某种角度来讲当前梯度叠加上局部的上次梯度一定程度上可以近似看作二阶梯度NesterovNesterovAcceleratedGradient简称NAG内斯特洛夫有空细看一下优化局部公式1Momentum的数学形式