提示微调 / 软提示

冻结整个模型，只训练拼在输入前面的一小段可学习向量来适配任务。

提示微调是一种参数高效微调方法，由谷歌的 Lester 等人 2021 年提出。人写的文字提示属于「硬提示」；软提示则是一串直接在嵌入空间里学出来的向量，不对应任何具体文字。训练时模型全部参数冻结，只用梯度下降更新这一小段向量，每个任务只需额外存一份很小的软提示，同一个模型可以服务多个任务。论文发现模型越大效果越接近全参数微调，在数十亿参数规模时已基本持平。前缀微调（在每层注意力前加可学习前缀）和视觉提示微调是同类思路。在机器人领域，软提示也被用来标记不同本体或数据来源。

例子X-VLA 给每个数据来源（不同机器人本体和采集设置）配一组可学习的软提示嵌入，主干用标准 Transformer，0.9B 参数的模型即可做跨本体训练，并在多个仿真和真机平台上测试。

也叫

软提示、Soft Prompt、软提示微调

相关

参数高效微调、提示词 / 提示工程、低秩适配、适配器、X-VLA、嵌入向量

来源

Lester, Al-Rfou, Constant 2021: The Power of Scale for Parameter-Efficient Prompt Tuning
Zheng et al. 2025: X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment VLA Model

信息截至

2025-10