具身智能新手名词表English

Ego4D 数据集

Ego4D常用

Meta 与 13 所高校合作采集、约 3670 小时的第一人称日常视频数据集。

Ego4D 由 Facebook AI(现 Meta)和 13 所大学组成的联盟采集,2021 年 10 月发布论文、2022 年发表于 CVPR。900 多名参与者在 9 个国家、74 个地点戴头戴相机记录做饭、修理、购物、社交等日常活动,共 3670 小时,部分还附带音频、眼动、3D 场景网格和多机位同步视频,并配有情景记忆、手-物交互、社交、未来预测等基准任务。对机器人来说,它是规模最大的人类第一视角视频来源之一,常用来预训练视觉表征;但它没有原生的手部 3D 姿态标注,也没有机器人动作,不能直接拿来模仿。使用前需签署许可协议。

例子R3M 在 Ego4D 视频上用时间对比学习和视频-语言对齐做预训练,冻结后给 Franka 机械臂当视觉模块,只用 20 条演示就学会了多个操作任务。

也叫
Ego4D
相关
第一人称视频、人类视频数据、Ego-Exo4D 数据集、R3M、EgoDex 数据集、预训练视觉表征
来源
Ego4D: Around the World in 3,000 Hours of Egocentric Video (arXiv 2110.07058)
Ego4D 官网
R3M: A Universal Visual Representation for Robot Manipulation (arXiv 2203.12601)
信息截至
2022-02

在完整名词表里查看 →