学习率调度（预热与余弦退火）

让学习率随训练步数变化：先预热升上去，再按余弦曲线慢慢降下来。

学习率调度指按预先设定的规则在训练中改变学习率，而不是全程用同一个值。最常见的组合是「预热 + 余弦退火」。预热是在训练开头一段步数里把学习率从接近 0 线性升到峰值：这时参数刚随机初始化或刚接上新模块，梯度很不稳定，一上来就用大学习率容易发散。Goyal 等人 2017 年用渐进预热配合线性缩放规则，把 ResNet-50 的批大小扩到 8192 仍保持精度。预热之后，学习率按余弦曲线平滑降到很小的值，让模型在后期细致收敛，这种余弦形状来自 Loshchilov 和 Hutter 的 SGDR 论文（ICLR 2017）。其他常见调度还有阶梯衰减、指数衰减和线性衰减。

例子openpi 微调 π0 的默认配置：前 1000 步把学习率线性升到 2.5e-5，之后在 30000 步内按余弦曲线降到 2.5e-6。

也叫

学习率预热、warmup、余弦退火、cosine decay、学习率衰减

相关

学习率、优化器、AdamW 优化器、批大小、收敛、微调

来源

SGDR: Stochastic Gradient Descent with Warm Restarts (arXiv 1608.03983)
Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour (arXiv 1706.02677)
openpi optimizer.py（CosineDecaySchedule 默认参数）