VC-1

VC-1 (Visual Cortex; Where are we in the search for an Artificial Visual Cortex for Embodied Intelligence?)进阶

Meta 用 4000 多小时第一人称视频 MAE 预训练、给具身任务用的视觉编码器

Meta AI（FAIR）2023 年 3 月发布的研究，也是当时规模最大的一次预训练视觉表征（给机器人当「眼睛」的现成视觉编码器）系统评测。作者先搭了 CortexBench，含行走、导航、灵巧操作、移动操作等 17 个任务；再把 7 个来源、4000 多小时的第一人称视频加上 ImageNet 拼起来，用掩码自编码器（MAE，遮住图像块再还原）训练不同大小的 ViT，最大的 ViT-L 即 VC-1。结论是：没有哪个视觉表征在所有任务上都最好，扩大数据规模和多样性只在平均意义上有用；针对任务再做适配后的 VC-1 在各项上达到或超过已知最好结果。模型和代码已开源。