CoW（CLIP on Wheels）

把 CLIP 等开放词汇模型装上移动机器人，不经导航训练按文字找物体的基线。

哥伦比亚大学宋舒然组与华盛顿大学 2022 年提出，发表于 CVPR 2023。它研究「语言驱动的零样本物体导航」：机器人要在陌生房子里按一句描述（如「床底下的玩具飞机」）找到目标，而且没在这些物体或场景上做过导航训练。CoW 的做法很朴素：还没有把握认出目标时，用经典探索策略在房子里转；一旦 CLIP 这类开放词汇模型（能按任意文字识别物体的模型）在画面里足够自信地定位到目标，就规划路径开过去。作者评测了 21 种 CoW 变体，并提出 Pasture 基准，考察罕见物体、带外观/空间描述的物体和被遮住的物体。最好的 CoW 在 RoboTHOR 物体子集上成功率比此前最佳方法高 15.6 个百分点。

例子目标是「扎染冲浪板（tie-dye surfboard）」这种导航数据集里没有的类别，CoW 先探索房间，等 CLIP 判断某处画面与这句话足够匹配，再把那里当目标点规划过去。

也叫

CLIP on Wheels、CoWs on Pasture

相关

物体目标导航、CLIP、开放词汇、零样本、前沿探索、VLFM（视觉语言前沿地图）

来源

CoWs on Pasture (arXiv:2203.10421)
CoWs on Pasture 项目主页（CVPR 2023）

信息截至

2023-06