深度学习优化算法：Adam算法

原文链接：动手学深度学习pytorch版：7.8 Adam算法
github：https://github.com/ShusenTang/Dive-into-DL-PyTorch

[1] Kingma, D. P., & Ba, J. (2014). Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980.
论文链接

Adam算法

Adam算法在RMSProp算法基础上对小批量随机梯度也做了指数加权移动平均 [1]。下面我们来介绍这个算法。

所以Adam算法可以看做是RMSProp算法与动量法的结合。

算法

Adam 算法使用了动量变量 vtv_tvt 和 RMSProp 算法中小批量随机梯度按元素平方的指数加权移动平均变量 sts_tst，并子时间步0将它们中每个元素初始化为0。给定超参数 0≤β1<10 ≤ β_1 < 10≤β1<1 （算法作者建议设置为 0.9），时间步 ttt 的动量变量 vtv_tvt 即小批量随机梯度 gtg_tgt 的质数加权移动平均：
vt←β1vt−1+(1−β1)gt{{\text{v}}_{t}}\leftarrow {{\beta }_{1}}{{\text{v}}_{t-1}}+(1-{{\beta }_{1}}){{g}_{t}} vt←β1vt−1+(1−β1)gt

和RMSProp算法中一样，给定超参数0≤β2<10 ≤ β_2 < 10≤β2<1（算法作者建议设为0.999），将小批量随机梯度按元素平方后的项 gt⊙gt{{g}_{t}}\odot {{g}_{t}}gt⊙gt 做指数加权移动平均得到 sts_tst：
st←β2st−1+(1−β2)gt⊙gt{{s}_{t}}\leftarrow {{\beta }_{2}}{{s}_{t-1}}+(1-{{\beta }_{2}}){{g}_{t}}\odot {{g}_{t}} st←β2st−1+(1−β2)gt⊙gt

由于我们将 v0v_0v0 和 s0s_0s0 中的元素都初始化为0，在时间步 ttt 我们得到 vt=(1−β1)∑i=1tβ1t−igi{{v}_{t}}=(1-{{\beta }_{1}})\sum\nolimits_{i=1}^{t}{\beta _{1}^{t-i}{{g}_{i}}}vt=(1−β1)∑i=1tβ1t−igi。将过去各时间步小批量随机梯度的权值相加，得到 (1−β1)∑i=1tβ1t−i=1−β1t(1-{{\beta }_{1}})\sum\nolimits_{i=1}^{t}{\beta _{1}^{t-i}=1-}\beta _{1}^{t}(1−β1)∑i=1tβ1t−i=1−β1t 。需要注意的是，当 ttt 较小时，过去各时间步小批量随机梯度权值之和会较小。例如，当 β1=0.9{{\beta }_{1}}=0.9β1=0.9时，v1=0.1g1{{v}_{1}}=0.1{{g}_{1}}v1=0.1g1。为了消除这样的影响，对于任意时间步 ttt，我们可以将 vtv_tvt 再除以 1−β1t1-\beta _{1}^{t}1−β1t，从而使过去各时间步小批量随机梯度权值之和为1.这也叫做偏差修正。在 Adam 算法中，我们对变量 vtv_tvt 和 sts_tst 均作偏差修正：
v^t←vt1−β1t{{\hat{v}}_{t}}\leftarrow \frac{{{v}_{t}}}{1-\beta _{1}^{t}} v^t←1−β1tvt
s^←st1−β2t\hat{s}\leftarrow \frac{{{s}_{t}}}{1-\beta _{2}^{t}} s^←1−β2tst

接下来，Adam算法使用以上偏差修正后的变量 v^t{{{\hat{v}}}_{t}}v^t 和 s^{\hat{s}}s^ ，将模型参数中每个元素的学习率通过按元素运算重新调整：
g′t←ηv^ts^t+εg{{'}_{t}}\leftarrow \frac{\eta {{{\hat{v}}}_{t}}}{\sqrt{{{{\hat{s}}}_{t}}}+\varepsilon } g′t←s^t+εηv^t
其中 η\etaη 是学习率，ϵ\epsilonϵ 是为了维持数值稳定性而添加的常数，如 10−810^{-8}10−8。和 AdaGrad 算法、RMSProp 算法以及AdaDelta 算法一样，目标函数自变量中每个元素都分别拥有自己的学习率。最后，使用 gt′g'_tgt′ 迭代自变量：
xt←xt−1−gt′{{x}_{t}}\leftarrow {{x}_{t-1}}-g_{t}^{'} xt←xt−1−gt′

从零开始实现

我们按照Adam算法中的公式实现该算法。其中时间步 ttt 通过 hyperparams 参数传入 adam 函数。

%matplotlib inline
import torch
import sys
sys.path.append("..")
import d2lzh_pytorch as d2lfeatures, labels = d2l.get_data_ch7()def init_adam_states():v_w, v_b = torch.zeros((features.shape[1], 1), dtype=torch.float32), torch.zeros(1, dtype=torch.float32)s_w, s_b = torch.zeros((features.shape[1], 1), dtype=torch.float32), torch.zeros(1, dtype=torch.float32)return ((v_w, s_w), (v_b, s_b))def adam(params, states, hyperparams):beta1, beta2, eps = 0.9, 0.999, 1e-6for p, (v, s) in zip(params, states):v[:] = beta1 * v + (1 - beta1) * p.grad.datas[:] = beta2 * s + (1 - beta2) * p.grad.data**2v_bias_corr = v / (1 - beta1 ** hyperparams['t'])s_bias_corr = s / (1 - beta2 ** hyperparams['t'])p.data -= hyperparams['lr'] * v_bias_corr / (torch.sqrt(s_bias_corr) + eps)hyperparams['t'] += 1

使用学习率为0.01的Adam算法来训练模型。

d2l.train_ch7(adam, init_adam_states(), {'lr': 0.01, 't': 1}, features, labels)

输出：

loss: 0.245370, 0.065155 sec per epoch

简洁实现

通过名称为“Adam”的优化器实例，我们便可使用PyTorch提供的Adam算法。

d2l.train_pytorch_ch7(torch.optim.Adam, {'lr': 0.01}, features, labels)

输出：

loss: 0.242066, 0.056867 sec per epoch

小结

Adam算法在RMSProp算法的基础上对小批量随机梯度也做了指数加权移动平均。
Adam算法使用了偏差修正。