任务泛化

策略完成训练中没出现过的新任务或新指令的能力。

泛化的一个维度，指模型能否做训练数据里没有的任务，例如只学过「把苹果放进碗里」和「打开抽屉」，能否完成「把苹果放进抽屉」。它通常比换物体、换场景更难，因为要把学过的动作重新组合，还要理解新的语义。谷歌 BC-Z（2022）在 100 多个任务上训练后，在 24 个没有任何示范的新任务上取得平均 44% 的成功率；RT-Trajectory（2023）指出只用语言作条件的策略很难从抓放迁移到折叠这类动作不同的任务，于是改用粗略的轨迹草图作条件。VLA 借助大模型的语义知识，也被寄望提升这类泛化。

例子只学过「把苹果放进碗里」和「打开抽屉」的机械臂被要求「把苹果放进抽屉」——这是训练数据里没有的任务组合，能做成就体现了任务泛化。

也叫

新任务泛化、跨任务泛化

相关

泛化、零样本、组合泛化、语义泛化、RT-Trajectory、指令跟随

来源

BC-Z: Zero-Shot Task Generalization with Robotic Imitation Learning
RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches