DexCap
DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation进阶斯坦福的穿戴式手部动捕系统,用人手采数据教机器人灵巧手。
DexCap 是斯坦福李飞飞团队(第一作者 Chen Wang)提出的便携式手部动作捕捉采集系统,发表于 RSS 2024,配套提出从人手数据学策略的算法 DexIL。遥操作采灵巧手数据慢、贵,还得有机器人在场;DexCap 让人戴上设备直接用自己的手干活:Rokoko 电磁场动捕手套测手指相对手掌的位置,不怕被物体遮挡;胸前支架装一台 RGB-D 激光雷达相机和三台 SLAM 追踪相机,记录手腕位姿和场景点云;背包里的迷你电脑和充电宝支持约 40 分钟采集。DexIL 用逆运动学把人手动作转成 LEAP 机器人手的动作,再用点云模仿学习训练策略,部署时还可让人介入纠正。
例子论文展示了只用约 30 分钟人手动捕数据、不做任何遥操作训练出的策略,以及双手泡茶、用剪刀剪东西等任务。
- 相关
- 动作捕捉、数据手套、无本体采集、DexUMI、LEAP Hand、人在回路
- 来源
- DexCap 项目主页
DexCap (arXiv)
DexCap GitHub 仓库(RSS 2024) - 信息截至
- 2024-03