GameNGen（神经游戏引擎）

谷歌 2024 年的工作：用扩散模型实时生成可玩的《毁灭战士》画面，替代游戏引擎。

GameNGen 是 Google Research 与 Google DeepMind 的研究者在 2024 年 8 月发布的论文，演示了用神经网络模拟一款复杂游戏并能实时游玩。游戏选的是经典第一人称射击游戏《毁灭战士》（DOOM）。做法分两步：先训练一个强化学习智能体玩游戏，录下画面和按键；再把 Stable Diffusion 1.4 改造成以过去若干帧和玩家操作为条件、预测下一帧的扩散模型。自回归生成（用自己生成的帧接着生成下一帧）容易越跑越糊，作者在训练时给历史帧加高斯噪声，让模型学会纠偏，因此能稳定运行几分钟；另外单独微调了图像解码器以减少压缩失真。它在单个 TPU 上达到每秒 20 帧左右。这项工作让可交互世界模型受到广泛关注，常与 DIAMOND、Genie 2 并列讨论。

例子玩家按键开枪、开门、捡血包，画面以及血量、弹药数字都由扩散模型逐帧生成；生成画面的 PSNR 为 29.4，与有损 JPEG 压缩相当，人类评估者区分短片真假只比随机猜略好。

也叫

神经游戏引擎、Diffusion Models Are Real-Time Game Engines

相关

可交互世界模型、扩散模型、自回归视频生成、DIAMOND（扩散世界模型）、Genie 2、世界模型

来源

Diffusion Models Are Real-Time Game Engines (arXiv 2408.14837)
GameNGen 项目主页

信息截至

2024-08