循环状态空间模型

Dreamer 系列世界模型的核心结构，用确定性循环状态加随机隐变量预测未来。

循环状态空间模型是 Danijar Hafner 等人（Google Brain、DeepMind 等）2019 年在 PlaNet 论文中提出的隐空间动力学模型，后来成为 Dreamer 到 DreamerV3 世界模型的核心。它的状态分两部分：一个确定性的循环隐状态 h，由 GRU 这类循环网络更新，负责记住历史；一个随机隐变量 z，表示当前时刻的不确定信息。给定上一步状态和动作，模型先更新 h，再预测下一步的 z；训练时另用编码器从真实图像推出 z 作对照，并要求能重建图像、预测奖励。PlaNet 的对比实验显示，纯确定性或纯随机的版本都不如两者结合。有了它，智能体可以在隐空间里「想象」多步未来来规划或训练策略，大幅减少和真实环境的交互。DreamerV3 把 z 改成离散类别分布；2025 年的 Dreamer 4 则改用 Transformer 架构的世界模型。

例子DreamerV3 用 RSSM 世界模型生成想象轨迹，在上面训练行动者和评论家网络，论文称它是首个不借助人类数据、从零在 Minecraft 里挖到钻石的算法。

也叫

递归状态空间模型

相关

世界模型、隐空间世界模型、DreamerV3、Dreamer 4、想象中学习、循环神经网络

来源

Learning Latent Dynamics for Planning from Pixels (PlaNet, arXiv 1811.04551)
Mastering Diverse Domains through World Models (DreamerV3, arXiv 2301.04104)
Training Agents Inside of Scalable World Models (Dreamer 4, arXiv 2509.24527)

信息截至

2025-09