免训练
Training-free常用不更新任何模型参数,直接组合现成模型或算法来完成新任务。
免训练指一个方法用于新任务时不做任何梯度更新:直接调用已训练好的基础模型(大语言模型、视觉语言模型、分割或位姿估计模型等),靠提示词、代码生成、搜索或优化求解把它们串起来。它的吸引力在于不用采集机器人数据、换任务只需换指令,适合数据稀缺的具身场景;局限是效果受限于现成模型的能力和中间表示的设计,精细、接触丰富的动作通常做不好。它和零样本不完全相同:零样本强调没见过目标任务的样本,模型本身可能专门训练过;免训练强调整个方法不再训练。论文里也常用它描述即插即用的推理加速手段,如免训练的视觉 token 剪枝。
例子斯坦福的 VoxPoser 让大语言模型写代码调用视觉语言模型,把「把毛巾挂到架子上」「关上最上层抽屉」这类指令转成 3D 价值地图,再由运动规划生成轨迹,论文明确说整个过程不涉及任何额外训练。
- 也叫
- 无需训练、零训练、Training-free Method
- 相关
- 零样本、基础模型、VoxPoser、ReKep、代码即策略、视觉 token 剪枝
- 来源
- VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models (project page)
ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation (arXiv 2409.01652)