ProgPrompt

用类 Python 程序格式提示大模型，生成机器人能执行的任务计划

南加州大学与英伟达的 Ishika Singh、Animesh Garg 等人 2022 年 9 月发布，ICRA 2023 论文（扩展版刊于 Autonomous Robots）。直接让大语言模型用自然语言写计划，常会冒出机器人不会的动作或环境里没有的物体。ProgPrompt 把提示写成代码：开头用 import 语句列出可用动作，接着给出场景物体列表和几个写成 Python 函数的示例任务（函数名是任务，函数体是步骤），再让 LLM 续写新任务的函数。计划里用注释给步骤分组（类似思维链），用 assert 检查前置条件、不满足时触发补救动作。它在 VirtualHome 家庭仿真中取得当时最好结果，也在真实机械臂的桌面任务上做了验证，和 SayCan、代码即策略同属「LLM 做任务规划」的早期代表。

例子提示里先写 from actions import walk, grab, putin, open, close，列出 objects = ['salmon', 'microwave', ...]，再给一个示例函数 def throw_away_lime():；LLM 就接着写出 def microwave_salmon(): 的逐步动作。

相关

大模型任务规划、SayCan、代码即策略、Inner Monologue、VirtualHome 家庭活动仿真、提示词 / 提示工程

来源

arXiv 2209.11302: ProgPrompt
ProgPrompt 项目主页

信息截至

2023-05