具身智能新手名词表English

无分类器引导

Classifier-Free GuidanceCFG进阶

同时算有条件和无条件两种预测并按比例外推,让生成结果更贴合条件

无分类器引导由 Jonathan Ho 和 Tim Salimans 提出(2021 年 NeurIPS 研讨会短文,2022 年 arXiv 完整版),用于扩散模型、流匹配这类逐步去噪的生成模型。训练时随机丢掉一部分样本的条件(如文本提示),让同一个网络既学有条件预测、也学无条件预测;生成时每一步两种预测都算,用「无条件结果 + w ×(有条件结果 − 无条件结果)」作为最终方向,w 叫引导强度。w 越大,结果越贴合条件,但多样性下降,过大还会出现伪影。它替代了需要额外训练一个分类器的「分类器引导」,成为文生图、文生视频模型的常用设置,代价是每步多一次前向计算。具身领域里基于扩散的视频世界模型和动作生成模型也可以用它调节对语言指令的遵循程度。

例子在 Diffusers 里用 Stable Diffusion v1.5 文生图,把 guidance_scale 从 2.5 调到 10.5,图像会越来越贴合提示词,过高时开始出现伪影。

也叫
引导强度、Guidance Scale
相关
扩散模型、流匹配、去噪步数、文生视频 / 图生视频、生成模型、视频生成模型
来源
Classifier-Free Diffusion Guidance (arXiv 2207.12598)
Hugging Face Diffusers: Text-to-image(guidance_scale 说明)

在完整名词表里查看 →