RDT2

RDT2 (Robotics Diffusion Transformer 2): Exploring the Scaling Limit of UMI Data Towards Zero-Shot Cross-Embodiment Generalization进阶

清华用上万小时 UMI 数据训练、可零样本换机械臂部署的 VLA 基础模型

清华大学朱军团队（RDT 团队）2025 年 9 月开源，论文 2026 年 2 月发布，是 RDT-1B 的后续。它想解决换一台机械臂就得重新采数据微调的问题：团队改进了手持夹爪采集设备 UMI（通用操作接口），在约 100 个地点（多为真实家庭）采了一万多小时演示；采集和部署用统一的 UMI 夹爪，本体差异很小。模型以 70 亿参数的 Qwen2.5-VL 为骨干，三阶段训练：先用残差向量量化把动作变成离散 token（RDT2-VQ），再换成约 4 亿参数的动作专家输出连续动作（RDT2-FM），最后蒸馏加速。官方称它是首个能在没见过的本体上零样本完成抓取放置等简单任务的基础模型，还演示了打乒乓球。