Open-TeleVision

戴 VR 头显、以机器人视角立体观察来遥操作人形机器人的开源系统

Open-TeleVision 是加州大学圣地亚哥分校王小龙团队与 MIT 提出的开源遥操作系统（CoRL 2024）。操作者戴 Apple Vision Pro（代码也支持 Meta Quest 3），转头时机器人的云台或颈部跟着转，头部 ZED Mini 双目相机把立体画面实时传回头显，操作者看到的就是机器人视角的 3D 画面；手臂和手指动作经 dex-retargeting 库映射到机器人上。它针对普通遥操作视角固定、缺深度感、精细操作难的问题。作者在宇树 H1 和傅利叶 GR-1 上采集演示，用改进的 ACT 训练策略完成罐子分拣、叠衣服等任务，还演示了相隔约 3000 英里的远程操作。

例子操作者戴 Apple Vision Pro 转头看向桌面，宇树 H1 的头部云台随之转动；操作者伸手抓取，机器人灵巧手同步把罐子分拣进不同盒子，这些过程被录成模仿学习的演示数据。

也叫

TeleVision、OpenTeleVision、OpenTV

相关

VR 遥操作、Apple Vision Pro、dex-retargeting、ACT、宇树 H1、PH2D 数据集（HAT）

来源

Open-TeleVision: Teleoperation with Immersive Active Visual Feedback (arXiv 2407.01512)
Open-TeleVision 项目主页
OpenTeleVision/TeleVision (GitHub)

信息截至

2024-07