PH2D 数据集（HAT）

用 VR 头显采集的人类第一人称操作数据，和人形机器人数据一起训练策略

PH2D（Physical Human-Humanoid Data）出自论文《Humanoid Policy ~ Human Policy》，由加州大学圣地亚哥分校牵头，联合 CMU、MIT、苹果等发表于 CoRL 2025。作者让人戴 Apple Vision Pro 或 Meta Quest 3 等消费级头显直接做操作任务，自动记录第一人称画面和头、手腕、指尖的 3D 位置，共约 2.7 万条带语言标注的演示。配套的 HAT（Human Action Transformer）把人和人形机器人放进同一个状态-动作空间，输出再重定向到机器人关节。思路是人自己采数据比遥操作机器人快得多，只要表示对齐，就能与少量机器人数据协同训练，提升泛化和鲁棒性。

例子人戴 Vision Pro 快速录下大量抓取放置演示，再配少量宇树 H1 遥操作数据一起训练 HAT，得到的策略直接部署到 H1 上。

也叫

PH2D、HAT、Human Action Transformer、Humanoid Policy ~ Human Policy

相关

第一人称视频、人类视频数据、协同训练、本体差异、Open-TeleVision、宇树 H1

来源

Humanoid Policy ~ Human Policy (arXiv 2503.13441)
Humanoid Policy ~ Human Policy 项目主页

信息截至

2025-09