第一人称视频

用头戴或眼镜式相机从本人视角拍的视频，能看清自己的双手。

第一人称视频由佩戴者头部或眼镜上的相机拍摄，画面就是人眼看到的样子，双手和正在操作的物体通常在画面中央，与之相对的是第三视角视频。它对机器人有用，是因为视角接近机器人头部相机，手部操作细节也看得清。代表数据集有 Meta 牵头、13 所大学参与的 Ego4D（2022 年发布，3670 多小时日常活动），以及苹果用 Vision Pro 采集、带 3D 手部关节标注的 EgoDex（829 小时）。这类视频没有机器人动作标签，要靠手部姿态估计、潜在动作（从前后帧推断出的抽象动作）等方法转换后才能训练策略。

例子EgoDex 用 Apple Vision Pro 记录 194 种桌面操作任务，同时保存每个手指关节的 3D 位置，可直接当作手部动作轨迹使用。

也叫

第一人称视角、第一视角视频、自我中心视频、第一人称视频数据、Egocentric View、Egocentric Video Data

相关

第三视角视频、人类视频数据、Ego4D 数据集、EgoDex 数据集、Project Aria 眼镜、手部姿态估计

来源

Ego4D 官网
EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video (arXiv 2505.11709)

信息截至

2025-05