深度学习优化算法详解从 SGD 到 AdamW1. 背景与动机优化算法是深度学习训练的核心选择合适的优化器直接影响模型的收敛速度和最终性能。本文深入分析主流优化算法的原理和适用场景。2. 梯度下降家族2.1 SGDimport torch import torch.nn as nn optimizer torch.optim.SGD(model.parameters(), lr0.01, momentum0.9)2.2 Adamoptimizer torch.optim.Adam(model.parameters(), lr0.001, betas(0.9, 0.999))2.3 AdamWoptimizer torch.optim.AdamW(model.parameters(), lr0.001, weight_decay0.01)3. 学习率调度from torch.optim.lr_scheduler import * # 阶梯衰减 scheduler StepLR(optimizer, step_size30, gamma0.1) # 余弦退火 scheduler CosineAnnealingLR(optimizer, T_max100) # 预热 余弦退火 scheduler CosineAnnealingWarmRestarts(optimizer, T_010, T_mult2)4. 自适应学习率算法对比算法优点缺点适用场景SGD Momentum泛化好需要调参计算机视觉Adam收敛快泛化一般NLP、语音AdamW解耦权重衰减计算量大TransformerRMSprop适合RNN需要调整学习率RNN训练5. 实战技巧5.1 学习率预热class WarmupScheduler: def __init__(self, optimizer, warmup_steps, base_lr): self.optimizer optimizer self.warmup_steps warmup_steps self.base_lr base_lr self.step_num 0 def step(self): self.step_num 1 if self.step_num self.warmup_steps: lr self.base_lr * (self.step_num / self.warmup_steps) for param_group in self.optimizer.param_groups: param_group[lr] lr5.2 梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)6. 结论优化算法的选择应基于任务类型、模型架构和数据规模。现代深度学习推荐使用 AdamW 配合适当的学习率调度策略同时注意权重衰减的设置。