提前终止

训练中一旦出现摔倒等失败状态，就立刻结束本回合并重置环境。

提前终止是强化学习训练的常用技巧：回合（episode）不必跑满固定时长，一旦触发预设条件，如躯干触地、机身倾角过大、跟踪误差过大，就立即结束并重置，剩余时间不再得奖励。Peng 等人 2018 年的 DeepMimic 专门评估了它，发现它和参考状态初始化一起，是仿真角色学会后空翻等高动态技能的关键。它一方面相当于隐式惩罚，策略会主动避开失败；另一方面不把样本浪费在摔倒后的无用状态上。实现时要区分失败终止和超时截断，后者不代表失败，算价值时通常仍要自举。

例子legged_gym 的足式机器人环境里，只要机身等指定部位的接触力超过阈值就判定摔倒并重置该环境；超过最长回合时长则单独记为 time_out，不给终止惩罚。

也叫

ET、终止条件、提前结束回合

相关

终止与截断、参考状态初始化、奖励塑形、回合、DeepMimic、大规模并行强化学习

来源

DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills (arXiv:1804.02717)
legged_gym: legged_robot.py (check_termination)