这篇文章介绍了不同优化算法之间的主要区别以及如何选择最佳的优化方法。1.什么是优化算法优化算法的功能是通过改善训练方式来最小化(或最大化)损失函数E(x)。模型内部有些参数是用来计算测试集中目标值Y的真实值和预测值的偏差程度的基于这些参数就形成了损失函数E(x)。比如说权重(W)和偏差(b)就是这样的内部参数一般用于计算输出值在训练神经网络模型时起到主要作用。在有效地训练模型并产生准确结果时模型的内部参数起到了非常重要的作用。这也是为什么我们应该用各种优化策略和算法来更新和计算影响模型训练和模型输出的网络参数使其逼近或达到最优值。优化算法分类1.1 一阶优化算法这种算法使用各参数的梯度值来最小化或最大化损失函数E(x)。最常用的一阶优化算法是梯度下降。函数梯度导数dy/dx的多变量表达式用来表示y相对于x的瞬时变化率。往往为了计算多变量函数的导数时会用梯度取代导数并使用偏导数来计算梯度。梯度和导数之间的一个主要区别是函数的梯度形成了一个向量场。因此对单变量函数使用导数来分析而梯度是基于多变量函数而产生的。更多理论细节在这里不再进行详细解释。1.2 二阶优化算法二阶优化算法使用了二阶导数(也叫做Hessian方法)来最小化或最大化损失函数。由于二阶导数的计算成本很高所以这种方法并没有广泛使用。2. 详解各种神经网络优化算法2.1 梯度下降在训练和优化智能系统时梯度下降是一种最重要的技术和基础。梯度下降的功能是通过寻找最小值控制方差更新模型参数最终使模型收敛。网络更新参数的公式为θθ−η×∇(θ).J(θ) 其中η是学习率∇(θ).J(θ)是损失函数J(θ)的梯度。这是在神经网络中最常用的优化算法。如今梯度下降主要用于在神经网络模型中进行权重更新即在一个方向上更新和调整模型的参数来最小化损失函数。2006年引入的反向传播技术使得训练深层神经网络成为可能。反向传播技术是先在前向传播中计算输入信号的乘积及其对应的权重然后将激活函数作用于这些乘积的总和。这种将输入信号转换为输出信号的方式是一种对复杂非线性函数进行建模的重要手段并引入了非线性激活函数使得模型能够学习到几乎任意形式的函数映射。然后在网络的反向传播过程中回传相关误差使用梯度下降更新权重值通过计算误差函数E相对于权重参数W的梯度在损失函数梯度的相反方向上更新权重参数。图1权重更新方向与梯度方向相反图1显示了权重更新过程与梯度矢量误差的方向相反其中U形曲线为梯度。要注意到当权重值W太小或太大时会存在较大的误差需要更新和优化权重使其转化为合适值所以我们试图在与梯度相反的方向找到一个局部最优值。2.2 梯度下降的变体传统的批量梯度下降将计算整个数据集梯度但只会进行一次更新因此在处理大型数据集时速度很慢且难以控制甚至导致内存溢出。权重更新的快慢是由学习率η决定的并且可以在凸面误差曲面中收敛到全局最优值在非凸曲面中可能趋于局部最优值。使用标准形式的批量梯度下降还有一个问题就是在训练大型数据集时存在冗余的权重更新。标准梯度下降的上述问题在随机梯度下降方法中得到了解决。1随机梯度下降(SGD)随机梯度下降Stochastic gradient descentSGD对每个训练样本进行参数更新每次执行都进行一次更新且执行速度更快。θθ−η⋅∇(θ) × J(θ;x(i);y(i))其中x(i)和y(i)为训练样本。频繁的更新使得参数间具有高方差损失函数会以不同的强度波动。这实际上是一件好事因为它有助于我们发现新的和可能更优的局部最小值而标准梯度下降将只会收敛到某个局部最优值。但SGD的问题是由于频繁的更新和波动最终将收敛到最小限度并会因波动频繁存在超调量指输出量的最大值减去稳态值,与稳态值之间的比值(书上有公式)。超调量反映了系统的动态性能(阻尼特性)中的平稳性,超调量越小,说明系统阻尼越强,响应过程越慢,超调量过大,可使系统的瞬态响应出现严重超调,而且响应过程在长时间内不能结束。虽然已经表明当缓慢降低学习率η时标准梯度下降的收敛模式与SGD的模式相同。另一种称为“小批量梯度下降”的变体则可以解决高方差的参数更新和不稳定收敛的问题。2小批量梯度下降为了避免SGD和标准梯度下降中存在的问题一个改进方法为小批量梯度下降Mini Batch Gradient Descent因为对每个批次中的n个训练样本这种方法只执行一次更新。使用小批量梯度下降的优点是1)可以减少参数更新的波动最终得到效果更好和更稳定的收敛。2)还可以使用最新的深层学习库中通用的矩阵优化方法使计算小批量数据的梯度更加高效。3)通常来说小批量样本的大小范围是从50到256可以根据实际问题而有所不同。4)在训练神经网络时通常都会选择小批量梯度下降算法。这种方法有时候还是被成为SGD。2.3 梯度下降及其变体面临挑战1.很难选择出合适的学习率。太小的学习率会导致网络收敛过于缓慢而学习率太大可能会影响收敛并导致损失函数在最小值上波动甚至出现梯度发散。2.此外相同的学习率并不适用于所有的参数更新。如果训练集数据很稀疏且特征频率非常不同则不应该将其全部更新到相同的程度但是对于很少出现的特征应使用更大的更新率。3.在神经网络中最小化非凸误差函数的另一个关键挑战是避免陷于多个其他局部最小值中。实际上问题并非源于局部极小值而是来自鞍点即一个维度向上倾斜且另一维度向下倾斜的点。这些鞍点通常被相同误差值的平面所包围这使得SGD算法很难脱离出来因为梯度在所有维度上接近于零。2.4 进一步优化梯度下降1动量SGD方法中的高方差振荡使得网络很难稳定收敛所以有研究者提出了一种称为动量Momentum的技术通过优化相关方向的训练和弱化无关方向的振荡来加速SGD训练。换句话说这种新方法将上个步骤中更新向量的分量’γ’添加到当前更新向量。V(t)γV(t−1)η∇(θ).J(θ)最后通过θθ−V(t)来更新参数。动量项γ通常设定为0.9或相近的某个值。这里的动量与经典物理学中的动量是一致的就像从山上投出一个球在下落过程中收集动量小球的速度不断增加。在参数更新过程中其原理类似1)使网络能更优和更稳定的收敛2)减少振荡过程。当其梯度指向实际移动方向时动量项γ增大当梯度与实际移动方向相反时γ减小。这种方式意味着动量项只对相关样本进行参数更新减少了不必要的参数更新从而得到更快且稳定的收敛也减少了振荡过程。2Nesterov梯度加速法一位名叫Yurii Nesterov研究员认为动量方法存在一个问题如果一个滚下山坡的球盲目沿着斜坡下滑这是非常不合适的。一个更聪明的球应该要注意到它将要去哪因此在上坡再次向上倾斜时小球应该进行减速。实际上当小球达到曲线上的最低点时动量相当高。由于高动量可能会导致其完全地错过最小值因此小球不知道何时进行减速故继续向上移动。Yurii Nesterov在1983年发表了一篇关于解决动量问题的论文因此我们把这种方法叫做Nestrov梯度加速法。在该方法中他提出先根据之前的动量进行大步跳跃然后计算梯度进行校正从而实现参数更新。这种预更新方法能防止大幅振荡不会错过最小值并对参数更新更加敏感。Nesterov梯度加速法NAG是一种赋予了动量项预知能力的方法通过使用动量项γV(t−1)来更改参数θ。通过计算θ−γV(t−1)得到下一位置的参数近似值这里的参数是一个粗略的概念。因此我们不是通过计算当前参数θ的梯度值而是通过相关参数的大致未来位置来有效地预知未来V(t)γV(t−1)η∇(θ)J( θ−γV(t−1) )然后使用θθ−V(t)来更新参数。现在我们通过使网络更新与误差函数的斜率相适应并依次加速SGD也可根据每个参数的重要性来调整和更新对应参数以执行更大或更小的更新幅度。3Adagrad方法Adagrad方法是通过参数来调整合适的学习率η对稀疏参数进行大幅更新和对频繁参数进行小幅更新。因此Adagrad方法非常适合处理稀疏数据。在时间步长中Adagrad方法基于每个参数计算的过往梯度为不同参数θ设置不同的学习率。先前每个参数θ(i)使用相同的学习率每次会对所有参数θ进行更新。在每个时间步t中Adagrad方法为每个参数θ选取不同的学习率更新对应参数然后进行向量化。为了简单起见我们把在t时刻参数θ(i)的损失函数梯度设为g(t,i)。Adagrad方法是在每个时间步中根据过往已计算的参数梯度来为每个参数θ(i)修改对应的学习率η。Adagrad方法的主要好处是不需要手工来调整学习率。大多数参数使用了默认值0.01且保持不变。Adagrad方法的主要缺点是学习率η总是在降低和衰减。因为每个附加项都是正的在分母中累积了多个平方梯度值故累积的总和在训练期间保持增长。这反过来又导致学习率下降变为很小数量级的数字该模型完全停止学习停止获取新的额外知识。因为随着学习速度的越来越小模型的学习能力迅速降低而且收敛速度非常慢需要很长的训练和学习即学习速度降低。另一个叫做Adadelta的算法改善了这个学习率不断衰减的问题。4AdaDelta方法这是一个AdaGrad的延伸方法它倾向于解决其学习率衰减的问题。Adadelta不是累积所有之前的平方梯度而是将累积之前梯度的窗口限制到某个固定大小w。与之前无效地存储w先前的平方梯度不同梯度的和被递归地定义为所有先前平方梯度的衰减平均值。作为与动量项相似的分数γ在t时刻的滑动平均值Eg²仅仅取决于先前的平均值和当前梯度值。Eg²γ.Eg²(1−γ).g²(t)其中γ设置为与动量项相近的值约为0.9。Δθ(t)−η⋅g(t,i).θ(t1)θ(t)Δθ(t)AdaDelta方法的另一个优点是已经不需要设置一个默认的学习率。目前已完成的改进1)为每个参数计算出不同学习率2)也计算了动量项momentum3)防止学习率衰减或梯度消失等问题的出现。还可以做什么改进在之前的方法中计算了每个参数的对应学习率但是为什么不计算每个参数的对应动量变化并独立存储呢这就是Adam算法提出的改良点。2.5Adam算法Adam算法即自适应时刻估计方法Adaptive Moment Estimation能计算每个参数的自适应学习率。这个方法不仅存储了AdaDelta先前平方梯度的指数衰减平均值而且保持了先前梯度M(t)的指数衰减平均值这一点与动量类似M(t)为梯度的第一时刻平均值V(t)为梯度的第二时刻非中心方差值。则参数更新的最终公式为其中β1设为0.9β2设为0.9999ϵ设为10-8。在实际应用中Adam方法效果良好。与其他自适应学习率算法相比其收敛速度更快学习效果更为有效而且可以纠正其他优化技术中存在的问题如学习率消失、收敛过慢或是高方差的参数更新导致损失函数波动较大等问题。3.对优化算法进行可视化从上面的动画可以看出自适应算法能很快收敛并快速找到参数更新中正确的目标方向而标准的SGD、NAG和动量项等方法收敛缓慢且很难找到正确的方向。4.结论我们应该使用哪种优化器在构建神经网络模型时选择出最佳的优化器以便快速收敛并正确学习同时调整内部参数最大程度地最小化损失函数。Adam在实际应用中效果良好超过了其他的自适应技术。如果输入数据集比较稀疏SGD、NAG和动量项等方法可能效果不好。因此对于稀疏数据集应该使用某种自适应学习率的方法且另一好处为不需要人为调整学习率使用默认参数就可能获得最优值。如果想使训练深层网络模型快速收敛或所构建的神经网络较为复杂则应该使用Adam或其他自适应学习速率的方法因为这些方法的实际效果更优。希望你能通过这篇文章很好地理解不同优化算法间的特性差异。5.相关链接二阶优化算法https://web.stanford.edu/class/msande311/lecture13.pdfNesterov梯度加速法http://cs231n.github.io/neural-networks-3/