多传感器融合
Multi-Sensor Fusion常用把相机、激光雷达、IMU 等多个传感器的数据合起来,得到更准更稳的估计。
多传感器融合是把相机、激光雷达、IMU(惯性测量单元,测加速度和角速度)、关节编码器、触觉等多个传感器的数据合在一起估计同一件事,使结果的不确定性比单用任何一个都小。按合并发生的阶段,常分为数据级(前融合,直接合并原始数据)、特征级(各自提特征后再合并)和决策级(后融合,各自给出结果再投票或加权)。经典做法是卡尔曼滤波一类的概率估计,现在也常用神经网络直接学怎么融合。它重要是因为每种传感器都有盲区:相机怕暗和反光,IMU 会漂移,激光雷达看不出颜色。机器人状态估计、SLAM、自动驾驶感知都靠它,前提是各传感器已做好标定和时间同步。
例子四足机器人估计自身速度:IMU 提供高频的加速度和角速度,关节编码器配合足端触地判断算出腿式里程计,两者用扩展卡尔曼滤波合并,减少单用任一来源时的漂移。
- 也叫
- 传感器融合、Sensor Fusion、前融合 / 后融合、数据级 / 特征级 / 决策级融合
- 相关
- 多模态感知、卡尔曼滤波、扩展卡尔曼滤波、紧耦合 / 松耦合融合、视觉惯性里程计、多传感器时间同步
- 来源
- Wikipedia: Sensor fusion
ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual-Inertial and Multi-Map SLAM (arXiv 2007.11898)