跨本体

Cross-Embodiment入门必知

用多种不同机器人的数据训练一个模型，让它能控制不同机器人。

本体指机器人的具体身体：几条臂、几个关节、用夹爪还是灵巧手、装了哪些相机。每种机器人单独采的数据都不多，跨本体学习就是把不同本体的数据合起来训练一个策略，让知识在机器人之间共享，并能迁移或微调到新机器人上。难点是各机器人的观测和动作空间不同，维度、坐标系、控制频率都不一样。2023 年 21 家机构合作的 Open X-Embodiment 汇集了 22 种机器人的数据，在其上训练的 RT-1-X、RT-2-X 出现正迁移，即其他机器人的数据让本机器人做得更好；2024 年的 CrossFormer 用 20 种本体的 90 万条轨迹训练单个策略，同时控制机械臂、轮式机器人、四足和无人机。