VIMA-Bench

用图文交错的多模态提示描述任务的桌面操作仿真基准，带四级泛化测试。

VIMA-Bench 随 VIMA 模型一起提出，第一作者 Yunfan Jiang，合作者包括李飞飞、Anima Anandkumar 等，发表于 ICML 2023。它在 Ravens 仿真器（基于 PyBullet 的桌面操作环境）上扩展出 17 个元任务，任务指令写成文字和图片交错的多模态提示，覆盖简单物体操作、视觉目标到达、新概念理解、单样本视频模仿、视觉约束满足和视觉推理等类别，并提供 65 万条成功演示轨迹。评测分四级：L1 只随机物体摆放位置；L2 已见过的物体和纹理以新组合出现；L3 出现新物体和新纹理；L4 是全新任务，17 个任务里留出 4 个专门测零样本泛化。动作空间是一个抓取位姿加一个放置位姿。

例子VIMA 论文报告，在最难的零样本泛化设置下，同样训练数据时 VIMA 的任务成功率最多是其他方案的 2.9 倍；训练数据少 10 倍时仍高出 2.7 倍。

也叫

VIMABench

相关

VIMA、基准测试、组合泛化、零样本、桌面操作、Transporter Networks

来源

VIMA: General Robot Manipulation with Multimodal Prompts (arXiv 2210.03094)
vimalabs/VIMABench GitHub 仓库

信息截至

2023-05