具身智能新手名词表English

语义地图

Semantic Map进阶

在几何地图上标注「这里是什么」,能按物体或自然语言查询的地图

普通 SLAM 地图只记录哪里有障碍、表面在哪;语义地图在此基础上给地图中的点、栅格或物体附上类别标签或特征,能回答「冰箱在哪」「厨房在哪」。早期做法是用固定类别的检测或分割网络打标签;近几年流行开放词汇语义地图,把 CLIP、LSeg 等视觉语言模型的特征直接存进地图,用任意自然语言查询。代表工作 VLMaps(2022,弗赖堡大学与谷歌等)从 RGB-D 视频提取像素级视觉语言特征,借助深度反投影到 3D,再存进俯视栅格地图,能执行「去沙发和电视之间」这类带空间关系的导航指令。语义地图也可组织成 3D 场景图,是物体目标导航、视觉语言导航和移动操作常用的中间表示。

例子VLMaps 让 LoCoBot 和无人机共用同一张语言地图,按「移到椅子右边三米」这类指令导航。

也叫
开放词汇语义地图、语言地图
相关
语义SLAM、VLMaps、ConceptGraphs、3D场景图、物体目标导航、占据栅格地图
来源
VLMaps 项目主页
arXiv 2210.05714: Visual Language Maps for Robot Navigation

在完整名词表里查看 →