指数移动平均

对历史值按指数衰减加权求平均，常用来得到更平滑稳定的模型权重。

EMA 是一种加权平均，每步按「平均值 ← β × 平均值 +（1 − β）× 当前值」更新，β 叫衰减率，越接近 1，平均的时间窗越长。深度学习里最常见的用法是维护一份模型权重的 EMA 副本：训练照常更新原权重，评测和部署时改用更平滑的 EMA 权重，通常更稳定；扩散模型尤其依赖它，DDPM 论文用的衰减率是 0.9999。强化学习里目标网络的软更新（Polyak 平均）也是 EMA，让 Q 值目标变化更平稳。Adam 优化器对梯度一阶、二阶矩的估计同样是 EMA。

例子扩散策略（Diffusion Policy）官方代码默认开启 EMA，衰减率随训练从 0 逐步升到上限 0.9999，推演评测时使用 EMA 模型而不是原始权重。

也叫

指数滑动平均、EMA 权重、Polyak 平均、Polyak Averaging

相关

目标网络、扩散策略、检查点、优化器、去噪扩散概率模型、软演员-评论家

来源

Denoising Diffusion Probabilistic Models (arXiv:2006.11239)
diffusion_policy: train_diffusion_unet_image_workspace.yaml
OpenAI Spinning Up: Soft Actor-Critic