决策 Transformer

Decision Transformer: Reinforcement Learning via Sequence ModelingDT进阶

把强化学习当序列建模：给定想要的回报，用 GPT 式模型逐步预测动作。

伯克利、Facebook AI Research 与 Google Brain 的 Lili Chen、Kevin Lu 等 2021 年 6 月提出，发表于 NeurIPS 2021。它不拟合价值函数、也不算策略梯度，而是把轨迹写成「剩余回报（return-to-go，从这一步到结束还想拿多少奖励）、状态、动作」交替排列的 token 序列，用带因果掩码的 GPT 式 Transformer 做监督学习，预测下一个动作。测试时先设定目标回报，每走一步把拿到的奖励从中扣掉。它只用离线数据，在 Atari、OpenAI Gym 和 Key-to-Door 任务上达到或超过当时的无模型离线强化学习方法，让「用序列模型做决策」成为主流思路之一。