无本体采集
Robot-free (Embodiment-free) Data Collection常用采数据时不用真机器人,由人手持或穿戴仿机器人末端的装置直接演示。
常规遥操作要人操纵一台真机器人,设备贵,也很难搬进真实家庭。无本体采集让人手持或穿戴一个照机器人末端设计的装置直接干活,装置上的相机和传感器记下画面与动作,事后把动作换算到机器人上训练。代表是 Cheng Chi、宋舒然等人 2024 年提出的 UMI(通用操作接口):手持夹爪上装 GoPro 当腕部相机,每条演示约 30 秒,号称两分钟内就能在任意家庭或餐厅开始采集,训出的策略可部署到不同机械臂。DexUMI 把思路推到灵巧手,用手部外骨骼对齐运动学,再把视频里的人手修补成机器人手。关键是装置和真机的外形、视角、动作能力要尽量一致,否则会留下本体差异。
例子UMI 的摆杯子任务:采集者拿着手持夹爪在不同场所示范把杯子摆到碟子上,回去用这些数据训练策略,直接部署到机械臂上执行。
- 也叫
- 无机器人采集、离本体采集、Robot-free Data Collection
- 相关
- 通用操作接口、手持夹爪采集、DexUMI、可穿戴采集、采执同构、本体差异
- 来源
- Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots
UMI 项目主页
DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation - 信息截至
- 2025-10