多模态数据

Multimodal Data常用

同一时刻同步记录的图像、深度、关节状态、力触觉、语言等多路信号。

在具身智能里，多模态数据指机器人干活时同步采下的多路信号：多视角 RGB 图像、深度图、本体感知（关节角、末端位姿等机器人自身状态）、力或触觉读数、语言指令，有时还有声音。只靠相机看不到被手挡住的接触点，也看不出用了多大力，所以精细操作往往要把视觉之外的信号一起记下。以北京人形机器人创新中心和北大的 RoboMIND 为例，每条轨迹存成一个 HDF5 文件，里面有多视角 RGB-D、本体状态、末端状态和遥操作者的身体状态；RoboMIND 2.0 又加了 1.2 万条带触觉的片段。难点在各路信号的时间同步、存储体积，以及某一路缺失时怎么训练。