GenManip

上海 AI 实验室基于 Isaac Sim、用大模型自动造任务的操作仿真评测平台。

GenManip 由上海人工智能实验室牵头，联合浙大、西安交大、南大等提出，发表于 CVPR 2025，是建在 NVIDIA Isaac Sim 上的桌面操作仿真平台，关注策略能否听懂多样的语言指令。它用大语言模型生成面向任务的场景图（描述场景里有哪些物体、目标关系是什么），配合 1 万个带标注的 3D 物体资产，自动合成大量多样的任务和演示数据；评测部分 GenManip-Bench 含 200 个人工精修场景，考察空间关系、外观理解、常识推理和长程任务四类泛化。论文比较了两条路线：用基础模型做感知和规划的模块化系统，以及用行为克隆训练的端到端策略，发现前者零样本泛化更好，后者随数据量增加而提升。代码已在 GitHub 开源。

例子在 GenManip-Bench 上，表现最好的模块化系统 CoPa（配 GPT-4.5）整体成功率为 23.0%；到了长程任务，参评模型平均只有 9.07%。

也叫

GenManip-Bench、GenManip Suite

相关

Isaac Sim、指令跟随、生成式仿真、合成数据、CoPa、上海人工智能实验室

来源

GenManip: LLM-driven Simulation for Generalizable Instruction-Following Manipulation (arXiv 2506.10966)
GenManip Suite project page

信息截至

2025-06