证据下界

数据对数似然的一个可计算下界，VAE 和扩散模型都靠最大化它来训练。

生成模型想最大化数据的对数似然 log p(x)（也叫「证据」），但含隐变量时通常算不出来。ELBO 引入近似后验 q(z|x)，得到 log p(x) ≥ E_q[log p(x|z)] − KL(q(z|x) ‖ p(z))：第一项衡量重建质量，第二项让编码分布贴近先验，两边差距正是 q 与真实后验的 KL 散度。Kingma 与 Welling 2013 年的 VAE 论文用重参数化技巧让 ELBO 能直接用梯度下降优化；Ho 等人 2020 年的 DDPM 也从变分下界出发，化简加权后得到常用的预测噪声损失。机器人里的 ACT 按条件 VAE 训练。

例子ACT 的训练损失 = 动作块重建误差 + β × 编码分布与标准正态分布之间的 KL 散度，也就是带权重 β 的 ELBO 形式。

也叫

变分下界、Variational Lower Bound、VLB

相关

变分自编码器、条件变分自编码器、KL 散度、去噪扩散概率模型、最大似然估计 / 负对数似然、ACT

来源

Auto-Encoding Variational Bayes (arXiv:1312.6114)
Denoising Diffusion Probabilistic Models (arXiv:2006.11239)
Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ACT, arXiv:2304.13705)