潜在动作

从前后画面变化里自动学出的抽象动作编码，不需要真实动作标签。

潜在动作是模型从视频相邻帧的变化中自动归纳出的动作表示，通常是少量离散编码或一个低维向量。它针对的问题是：互联网上的人类视频、游戏视频极多，却没有关节角、按键这类真实动作标签，没法直接用来训练策略。潜在动作不对应任何具体机器人的关节，只描述「画面发生了哪类变化」，所以人手视频和不同机器人的视频都能共用一套编码。DeepMind 2024 年的 Genie 从约 3 万小时平台跳跃游戏视频中学出 8 个离散潜在动作，用来操控生成的游戏世界；LAPA、UniVLA、智元 GO-1 等则让 VLA 先预测潜在动作做预训练，再用少量真机数据学会把它映射成真实动作。

例子Genie 学出的 8 个潜在动作编号在不同生成游戏里效果一致，大致对应向左、向右、跳跃这类操作，用户按编号就能操控从没见过的画面里的角色。

也叫

隐动作、潜动作、隐式动作

相关

潜在动作模型、潜在动作预训练、无动作标签视频、Genie（初代）、LAPA、智元 GO-1（启元大模型）

来源

Genie: Generative Interactive Environments (arXiv 2402.15391)
Latent Action Pretraining from Videos (LAPA, arXiv 2410.11758)
AgiBot World Colosseo (GO-1, arXiv 2503.06669)