VPT（视频预训练）

Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online VideosVPT进阶

OpenAI 先训逆动力学模型给网络视频打动作标签、再模仿学习玩 Minecraft

OpenAI 2022 年 6 月发布，发表于 NeurIPS 2022。决策类任务的难点是网上视频很多，却没有「每一刻按了什么键」的动作标签。VPT 先花钱请人玩 Minecraft 并记录键鼠操作（约 1962 小时），用它训练逆动力学模型（IDM，看前后画面推断中间的动作）；再用 IDM 给约 7 万小时网络游戏视频自动打上伪动作标签，然后用行为克隆训练出一个基础策略，直接用人类的键盘鼠标接口以 20Hz 操作。这个策略有一定零样本能力，经模仿学习和强化学习微调后，首次做到让 AI 合成钻石工具（熟练玩家约需 20 分钟、2.4 万步操作）。「少量标注训 IDM + 大量视频打伪标签」的思路后来被机器人领域广泛借鉴。