去噪扩散概率模型

2020 年提出的扩散模型经典形式：逐步加噪，再学会逐步去噪来生成数据。

去噪扩散概率模型由 Jonathan Ho、Ajay Jain 和 Pieter Abbeel 在 2020 年提出，是今天各类扩散模型的基础版本。它定义两个过程：前向过程按固定的噪声调度（每一步加多少噪声的时间表）往真实图片里一点点加高斯噪声，直到变成纯噪声；反向过程训练一个神经网络，在每一步预测加进去的噪声并把它减掉。训练目标很简单，就是预测噪声与真实噪声的均方误差。生成时从纯噪声出发，一步步去噪得到新样本。论文取 T=1000 步、用 U-Net 作网络，在 CIFAR-10 上 FID 达到 3.17。缺点是采样要跑很多步，后来的 DDIM 等方法把步数大幅压缩。机器人领域的 Diffusion Policy 就是把这套方法用在动作序列上。

例子Diffusion Policy 训练时用 100 步扩散过程给示范动作序列加噪，让网络学会把噪声逐步还原成动作；实机部署时改用 DDIM 只采样 10 步，在 RTX 3080 上推理约 0.1 秒。

也叫

DDPM 扩散模型

相关

扩散模型、去噪扩散隐式模型、噪声调度、去噪步数、U-Net、扩散策略

来源

Denoising Diffusion Probabilistic Models (arXiv 2006.11239)
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion (arXiv 2303.04137)