AutoRT

DeepMind 2024 年的系统：用大模型给一群机器人自动出任务、采真机数据。

AutoRT 是 Google DeepMind 2024 年 1 月公布的系统，作者包括 Karol Hausman、Fei Xia、Chelsea Finn、Sergey Levine 等。训练具身基础模型缺真实数据，而一人盯一台机器人采数据难以扩大规模。AutoRT 让现成大模型当调度员：机器人在办公楼里自主探索，视觉语言模型描述场景和物体，大语言模型据此提出任务；任务先经「机器人宪法」筛选（受阿西莫夫三定律启发的基本规则，加上安全规则和本体能力规则），再按人力情况分给遥操作、脚本抓取策略或 RT-2 执行。7 个月里它在 4 栋楼调度机器人（同时最多 20 多台），采集了 7.7 万条真机回合、6650 多条不同指令，一人可同时看管 3–5 台。

例子若 LLM 提出「打开冰箱拿出饮料」，会因为机器人只有一条手臂、而这件事需要两只手，被宪法中的本体规则过滤；涉及人或动物、尖锐易碎物品、电器的任务则会被安全规则拦下。

也叫

Auto RT

相关

自主数据采集、机器人三定律 / 机器人宪法、RT-2、RT-1、SayCan、大模型任务规划

来源

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents (arXiv 2401.12963)
Shaping the future of advanced robotics (Google DeepMind blog, 2024-01-04)
AutoRT 项目页

信息截至

2024-01