XRoboToolkit

XRoboToolkit: A Cross-Platform Framework for Robot Teleoperation进阶

PICO 团队开源的跨平台 XR 遥操作框架，用头显和手柄操控各类机器人采数据。

由字节跳动旗下 XR 公司 PICO 的团队（Zhigen Zhao、Liuchuan Yu、Ke Jing、Ning Yang）开发，论文 2025 年 7 月挂上 arXiv，获 SII 2026 最佳论文奖。它针对 VLA 模型对大规模示范数据的需求：头显一侧遵循 OpenXR 标准（跨厂商的 XR 设备接口规范），支持头部、手柄、手势追踪和额外的动作追踪器（如绑在手肘上控制肘部位置）；机器人一侧提供 Python 和 C++ 接口，用基于优化的逆运动学把操作员的手部位姿换算成关节指令，并把机器人的双目画面低延迟回传到头显。框架是模块化的，已接入 MuJoCo 仿真、双 UR5 机械臂、移动机器人和灵巧手等。论文用它采的数据训练 VLA，验证了精细操作任务的效果。