EgoDex 数据集

EgoDex常用

苹果用 Vision Pro 采集、带双手 3D 关节标注的第一人称操作视频数据集。

EgoDex 由苹果研究团队 2025 年 5 月发布，论文被 ICLR 2026 接收。采集者戴 Apple Vision Pro 完成桌面日常操作，头显的多路标定相机和设备端 SLAM（同时定位与建图）在录制时就同步算出头部、上半身以及每只手 25 个关节的 3D 位置和朝向。数据共 829 小时、约 9000 万帧、33.8 万条演示，覆盖 194 种桌面任务，并用 GPT-4 生成语言描述。它补上了 Ego4D 等视频数据缺少精确手部姿态的短板，可用来训练手部轨迹预测模型，再迁移到灵巧手机器人。数据以 CC BY-NC-ND 许可发布，仅限非商用。