RT-X
RT-X (RT-1-X / RT-2-X, trained on Open X-Embodiment)常用在 Open X-Embodiment 跨本体数据集上重新训练的 RT-1 和 RT-2。
RT-X 是谷歌 DeepMind 牵头、21 家机构 34 个实验室合作,于 2023 年 10 月随 Open X-Embodiment 数据集一起发布的一组模型。这份数据集汇集 60 个已有机器人数据集、22 种机器人本体、100 万条以上真机轨迹。RT-1-X 和 RT-2-X 分别沿用 RT-1(专门的机器人 Transformer)和 RT-2(在视觉语言模型上微调的 VLA)的结构,只把训练数据换成这份混合数据。结果显示跨本体训练有正迁移:RT-1-X 在小数据场景下比各实验室原有方法平均高约 50%,RT-2-X 在涌现技能评测上约为 RT-2 的 3 倍。它带动了跨本体数据共享,Octo、OpenVLA 等后续模型都用这份数据训练。
例子RT-2-X 学到了其他实验室数据里才有的空间概念,能分清「把苹果放到布上」和「把苹果放到布旁边」这类只差一个介词的指令。
- 也叫
- RT-1-X、RT-2-X
- 相关
- Open X-Embodiment 数据集、RT-1、RT-2、跨本体、Octo、OpenVLA
- 来源
- Open X-Embodiment: Robotic Learning Datasets and RT-X Models 项目主页
- 信息截至
- 2023-10