Dreamer 4

Dreamer 4: Training Agents Inside of Scalable World Models进阶

谷歌 DeepMind 2025 年的世界模型智能体，只用离线数据在 Minecraft 里挖到钻石。

Dreamer 4 是谷歌 DeepMind 的 Danijar Hafner、Wilson Yan 和 Timothy Lillicrap 于 2025 年 9 月发布的智能体，是 Dreamer 系列（DreamerV3 等）的新一代。Dreamer 路线的核心是「想象中学习」：先学一个世界模型，再让策略在模型生成的虚拟经历里做强化学习，不必和真实环境反复交互。Dreamer 4 把世界模型做到约 20 亿参数（4 亿的视频分词器加 16 亿的动力学模型），用「捷径强制」（shortcut forcing）训练目标和高效 Transformer，实现单张 GPU 上的实时交互推理；它主要从无动作标签的视频学知识，只需少量带动作的数据就能学会动作条件化。它是首个纯靠离线数据就在 Minecraft 中拿到钻石的智能体。真机试错慢且不安全，这类在世界模型里训练的方法对机器人很有参考价值。

例子在 Minecraft 里挖到钻石需要从原始像素连续做出两万多次鼠标键盘操作；Dreamer 4 只用 2541 小时的离线玩家录像训练，有 0.7% 的回合拿到钻石，表现超过 OpenAI 的 VPT 离线智能体，所用数据少约 100 倍。

也叫: Training Agents Inside of Scalable World Models
相关: 世界模型、想象中学习、DreamerV3、基于模型的强化学习、VPT（视频预训练）、离线强化学习
来源: Training Agents Inside of Scalable World Models (arXiv 2509.24527)
Dreamer 4 项目页（danijar.com）
信息截至: 2025-09