CALVIN

考机器人能否连续听懂并完成 5 条语言指令的桌面操作仿真基准。

CALVIN（Composing Actions from Language and Vision）是德国弗莱堡大学 Oier Mees、Wolfram Burgard 等人发布的开源仿真基准，发表于 RA-L 2022，获当年该刊最佳论文奖。场景是一张桌子加一台 7 自由度 Franka 机械臂，桌上有抽屉、滑门、按钮、开关和三个彩色方块，用 PyBullet 仿真；共有 A、B、C、D 四个环境，结构相同，但纹理和部件位置不同。它提供约 24 小时的遥操作「玩耍」数据（其中只有 1% 配了语言标注），定义了 34 种任务，主评测要求连续执行 5 条语言指令，用平均完成长度打分。最常用的 ABC→D 设置在三个环境训练、在第四个没见过的环境测试，考察泛化能力。

例子论文给出的一条测试链：「打开抽屉」→「把方块推进抽屉」→「从抽屉里拿出方块」→「把方块叠起来」→「关上抽屉」，机器人每完成一步才进入下一步。

也叫

CALVIN ABC→D、Composing Actions from Language and Vision

相关

平均完成长度、语言条件策略、长程任务、LIBERO、PyBullet、玩耍数据

来源

CALVIN: A Benchmark for Language-Conditioned Policy Learning for Long-Horizon Robot Manipulation Tasks (arXiv 2112.03227)
CALVIN GitHub 仓库