开放词汇移动操作基准

让机器人在没见过的房子里找到任意指定物体，并放到指定家具上的评测基准。

HomeRobot OVMM 是 Meta FAIR、佐治亚理工、卡内基梅隆和西蒙弗雷泽大学在 2023 年推出的基准，也是 NeurIPS 2023 的一项竞赛。任务形如「把某物体从 A 家具移到 B 家具」，物体用文字指定，可以是训练时没见过的类别（开放词汇），机器人要在陌生房屋里依次完成找物体、抓取、找目标家具、放置。仿真部分基于 Habitat 和 HSSD 合成场景，共 60 个多房间住宅、129 类 2535 个物体；真机部分用低成本的 Hello Robot Stretch，配套开源软件栈 HomeRobot。它把导航、感知和抓取串在一起评，论文基线的真机成功率约 20%。

例子指令「把玩具大象从椅子上移到桌子上」，玩具大象属于训练时没出现过的类别；机器人每完成找到物体、拿起、找到桌子、放好中的一个阶段就得 1 分，四步全成才算成功。

也叫

HomeRobot、HomeRobot OVMM、OVMM Challenge、HomeRobot OVMM Challenge

相关

移动操作、开放词汇、Habitat、Hello Robot Stretch、物体重排、进度分数

来源

HomeRobot: Open-Vocabulary Mobile Manipulation (arXiv 2306.11565)
NeurIPS 2023 HomeRobot OVMM Challenge

信息截至

2023-12