H2O（人到人形）

H2O: Learning Human-to-Humanoid Real-Time Whole-Body TeleoperationH2O进阶

CMU 2024 年的人形遥操作框架，用一个 RGB 相机让机器人实时模仿人的全身动作。

H2O 由卡内基梅隆大学石冠亚、Changliu Liu、Kris Kitani 等团队 2024 年 3 月发布，发表于 IROS 2024（口头报告），一作为 Tairan He 和 Zhengyi Luo。它只用一个普通 RGB 相机：姿态估计器 HybrIK 从画面实时算出人体姿态，再由强化学习训练的全身跟踪策略驱动宇树 H1 照着做。关键一步是「sim-to-data」：先把 AMASS 人体动捕数据集里约 1 万段动作重定向到 H1 身上，再在仿真里用一个能看到特权信息的模仿策略去试做，把机器人做不到的动作筛掉，剩约 8500 段用来训练；训练好的策略不做额外调参就部署到真机。作者称这是首个基于学习的实时全身人形遥操作。后续工作 OmniH2O 扩展到 VR 遥操作和从遥操作数据自主学习。