人类视频预训练

Pretraining on Human Videos常用

先用大量人类做事的视频预训练机器人模型，再用少量机器人数据微调。

真机数据采集贵、规模小，而人类日常操作的视频（如第一人称数据集 Ego4D、互联网视频）量大、场景多，于是先在人类视频上预训练，再用少量机器人数据微调。难点有两个：视频里没有机器人动作标签；人手和机械手结构不同（本体差异）。主要路线有三类：一是只学视觉表征，如 R3M（CoRL 2022）在 Ego4D 上用时间对比学习和视频-语言对齐训练视觉编码器；二是从前后帧变化里提取潜在动作当伪标签，如 LAPA 用 VQ-VAE 得到离散潜在动作来预训练 VLA；三是估计人手的三维运动当作动作，如 Being-H0 把人手当通用操作器来预训练 VLA。