具身智能新手名词表English

Phantom(无机器人训练)

Phantom: Training Robots Without Robots Using Only Human Videos进阶

只用人类操作视频、把人手换成渲染机械臂来训练机器人策略的方法

斯坦福大学 Jeannette Bohg 组(Marion Lepert 等)2025 年 3 月发布,CoRL 2025 论文。遥操作采数据太贵,人类视频便宜,但人手和机械臂长得不一样,视频里也没有机器人动作标签。Phantom 的做法:先估计每帧的手部姿态,换算成机器人末端动作;再用图像修复(inpainting)把人手从画面里抹掉,渲染一只虚拟机械臂叠上去,让训练图像看起来像机器人在干活。这样不用任何机器人数据就能训练策略,并零样本部署到 Franka 和 Kinova Gen3 上,完成抓放、叠杯、绑绳、扫物、插入等任务,报告最高成功率 92%。它属于「人类视频机器人化」路线。

例子研究者用自己的手在桌上演示「把杯子叠起来」,Phantom 自动把视频里的手换成渲染的夹爪并生成动作标签,训出的策略直接在 Franka 机械臂上执行。

也叫
Phantom
相关
人类视频机器人化(人→机视频转换)、人类视频数据、无本体采集、手部姿态估计、EgoMimic、本体差异
来源
arXiv 2503.00779: Phantom
Phantom 项目主页
信息截至
2025-09

在完整名词表里查看 →