Decision Diffuser（决策扩散器）

用以回报为条件的扩散模型生成未来状态轨迹，再反推动作，绕开动态规划。

MIT Pulkit Agrawal 组（Improbable AI Lab）与 CSAIL 2022 年 11 月提出，ICLR 2023 口头报告。离线强化学习通常要学价值函数、做动态规划（反复用贝尔曼方程估计长期回报），训练不稳定。Decision Diffuser 把决策当成条件生成：扩散模型只生成未来的状态序列，以期望回报、约束或技能为条件，并用无分类器引导加强条件；再用逆动力学模型从相邻两个状态反推出该执行的动作。它在 D4RL 离线强化学习基准上超过当时的主流方法；训练时只见过单个约束或技能，测试时还能把多个条件组合起来。它是 Diffuser 之后扩散模型做决策的代表工作，与后来 UniPi 等「先生成未来、再用逆动力学反推动作」的路线一脉相承。

例子Kuka 机械臂堆方块实验中，训练数据每条只满足一个「A 在 B 上面」式的约束，测试时把多个约束同时作为条件，Decision Diffuser 能生成同时满足它们的堆叠方案。

也叫

决策扩散器、Decision Diffuser

相关

Diffuser、扩散模型、无分类器引导、逆动力学模型、离线强化学习、回报条件化

来源

Is Conditional Generative Modeling all you need for Decision-Making? (arXiv:2211.15657)
Decision Diffuser 项目主页（ICLR 2023 Oral）

信息截至

2023-07