去噪损失

扩散模型的训练目标：给干净数据加噪，让网络预测出加进去的噪声。

去噪损失是训练扩散模型用的损失函数，最常见的形式来自 Ho、Jain、Abbeel 2020 年的 DDPM 论文：随机选一个加噪步 t，按噪声调度把高斯噪声混进真实样本，让网络根据带噪样本和 t 预测所加的噪声，损失就是预测噪声与真实噪声的均方误差。论文称之为简化目标 L_simple，它是变分下界的一种加权形式，并与去噪分数匹配相对应，实践中生成质量比直接优化完整下界更好。网络也可以改为预测干净样本 x0 或速度 v，即不同的预测目标参数化。机器人里的扩散策略（Diffusion Policy）把动作序列当作要生成的数据、以观测为条件，用同样的噪声预测均方误差训练；π0 这类流匹配模型用的是形式相近的流匹配损失。

例子训练扩散策略时，从演示中取一段未来动作序列，随机选一个噪声步加噪；网络看着当前相机画面和带噪动作，输出它认为混进去的噪声，与真实噪声算均方误差后反向传播。

也叫

扩散损失、噪声预测损失、ε 预测损失、L_simple

相关

扩散模型、去噪扩散概率模型、噪声调度、预测目标参数化（ε / v / x₀ 预测）、流匹配损失、扩散策略

来源

Denoising Diffusion Probabilistic Models (arXiv 2006.11239)
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion (arXiv 2303.04137)