Robot Utility Models

Robot Utility Models: General Policies for Zero-Shot Deployment in New EnvironmentsRUM进阶

不用微调就能在陌生家里执行开柜门、开抽屉等单项任务的策略

Robot Utility Models（RUM）由纽约大学、Hello Robot 和 Meta 的研究者在 2024 年 9 月发布。它针对的问题是：机器人策略换个房间通常就得重新采数据、微调，而语言和视觉模型可以拿来即用。作者为开柜门、开抽屉、拿纸巾、拿纸袋、扶正倒下的物体 5 个任务各训练一个专用策略：用装着 iPhone 的手持采集夹 Stick-v2，每个任务在约 40 个环境里采约 1000 条演示，策略结构选用 VQ-BeT；部署时再用 GPT-4o 判断是否成功，失败就重试。结果在未见过的环境和物体上成功率约 90%，并能迁移到 xArm 等其他机器人。作者的主要结论是数据的多样性比训练算法和策略结构更关键。代码、数据和硬件设计均已开源。