Bunny-VisionPro

进阶

用 Vision Pro 实时遥操作双臂双灵巧手、带振动触觉反馈的采集系统。

Bunny-VisionPro 是香港大学与 UCSD 王小龙组 2024 年 7 月发布的开源遥操作系统，用来为模仿学习采集双手灵巧操作演示。它用 Apple Vision Pro 跟踪人的手和手腕，实时映射到两台 xArm-7 机械臂和两只 6 自由度 Ability 灵巧手（共 24 个自由度）。手指重定向用优化方法对齐人手与机器手的指尖关键点；系统内置碰撞和奇异位形（机械臂失去某方向运动能力的姿态）规避，还用低成本振动马达把机器手指尖的触觉信号反馈给操作者。论文用它采的数据训练 ACT、扩散策略和 DP3，成功率高于用基线系统采的数据。

例子操作者戴着 Vision Pro 远程控制双臂双手完成擦玻璃、扫地、做咖啡这类多步骤长程任务，机器手指尖碰到物体时，操作者手上的振动马达随之振动。

也叫: Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning
相关: VR 遥操作、Apple Vision Pro、AnyTeleop、双臂操作、灵巧操作、动作重定向
来源: Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning (arXiv 2407.03162)
Bunny-VisionPro 项目主页
信息截至: 2024-07