具身智能新手名词表English

鸟瞰图

Bird's-Eye ViewBEV进阶

从正上方往下看的二维栅格表示,把多个传感器的信息统一铺到地面平面上。

鸟瞰图(BEV)是一种以地面为平面、从正上方俯视的二维网格表示,每个格子存该位置的特征或语义。自动驾驶最先大规模使用它:Lift-Splat-Shoot(NVIDIA,ECCV 2020)先给每个像素预测深度分布,再把图像特征「拍扁」到 BEV 网格;BEVFormer(ECCV 2022,上海人工智能实验室等)用 Transformer 的交叉注意力从多路相机特征中查询 BEV 特征,并融合历史帧。好处是多相机、激光雷达都能对齐到同一坐标系,检测、分割和路径规划直接在这张图上做。机器人导航用的占据栅格、高程图和语义地图本质上也是 BEV 形式;它压缩了高度信息,所以桌面操作等更依赖高度的任务通常改用点云或体素。

例子自动驾驶车把 6 路环视相机的图像转成一张以自车为中心、前后左右各几十米范围的 BEV 特征图,在上面同时框出车辆、画出车道线,再交给规划模块。

也叫
BEV 感知、BEV 表示、俯视图
相关
自动驾驶、3D目标检测、占用网络、高程图、多传感器融合、语义地图
来源
BEVFormer (arXiv 2203.17270, ECCV 2022)
Lift, Splat, Shoot (arXiv 2008.05711, ECCV 2020)

在完整名词表里查看 →