终止与截断

回合结束分两种：任务本身到头叫终止，因步数上限被人为打断叫截断。

这是强化学习环境接口里的一对概念。终止指智能体进入了马尔可夫决策过程的终止状态，比如任务完成、机器人摔倒；截断指因为任务之外的原因被打断，最常见的是训练时设的最大步数到了。两者对训练的影响不同：终止之后没有未来回报，价值目标就是当步奖励；截断时的状态并不是终点，算目标时仍应用下一状态的价值来自举（用估计值代替还没看到的后续回报）。Pardo 等人在 ICML 2018 的论文专门分析过把时间上限当终止带来的问题。Gymnasium 从 0.26 版起让 step() 分别返回 terminated 和 truncated，取代原来的单个 done；Isaac Lab 也用 time_out 标记来区分。

例子legged_gym 里，机身等指定部位接触力超过阈值算终止；回合步数超过上限算超时截断，通过 extras 中的 time_outs 传给 rsl_rl，PPO 在超时步把折扣后的价值估计加回奖励，相当于继续自举。

也叫

terminated / truncated、超时截断

相关

回合、提前终止、价值函数、自举、环境（Env）与 reset / step 接口、Gymnasium

来源

Gymnasium: Handling Time Limits
Time Limits in Reinforcement Learning (arXiv 1712.00378, ICML 2018)
rsl_rl PPO 实现（time_outs 自举）