RoboAgent（MT-ACT）

RoboAgent: Generalization and Efficiency in Robot Manipulation via Semantic Augmentations and Action ChunkingMT-ACT进阶

CMU 与 Meta 用 7500 条演示训出的多技能厨房操作智能体

RoboAgent 是卡内基梅隆大学和 Meta AI 在 2023 年 9 月发布的工作（ICRA 2024 录用），想回答：真机数据很贵，能不能用少量数据训出会多种技能的机器人。做法有两点：一是语义增强，用分割一切模型 SAM 分出画面中的物体，再改变其形状、颜色、纹理，把现有数据成倍扩充；二是提出 MT-ACT（多任务动作分块 Transformer），把 ACT 的动作分块（一次预测一小段未来动作）扩展到用语言指令区分任务的多任务场景。只用 7500 条遥操作轨迹，一个策略就学会 12 种技能、覆盖厨房里 38 个任务，在未见场景中比已有方法高出 40% 以上。相关数据以 RoboSet 名义开源。