RT-1

RT-1: Robotics Transformer for Real-World Control at Scale入门必知

谷歌 2022 年发布、用 13 万条真机轨迹训练的机器人 Transformer 策略。

RT-1 是谷歌机器人团队与 Everyday Robots 于 2022 年 12 月发布的机器人控制模型。当时机器人学习多是一个任务训一个小模型，RT-1 想验证语言和视觉领域的做法——大容量模型加大而杂的数据——能否用到机器人上。团队用 13 台移动机械臂花 17 个月采集了 13 万多条演示，覆盖 700 多个任务。模型输入图像和语言指令：图像经 EfficientNet 提特征，用 FiLM（让语言指令调制视觉特征的层）融入指令，再用 TokenLearner 压缩 token 数，交给 Transformer 输出离散化的动作，以 3Hz 闭环控制手臂和底盘。它在训练指令上成功率 97%，对新任务、干扰物和新背景的泛化好于当时的基线。其数据后来并入 Open X-Embodiment，架构和数据也是 RT-2 的基础。