回合
Episode入门必知从环境重置开始,到任务完成、失败或超时为止的一次完整尝试。
回合是强化学习和机器人学习里的时间单位:环境重置到初始状态后,智能体一步步行动,直到任务完成、失败或达到步数上限,这一整段就是一个回合,记录下的观测和动作序列就是一条轨迹。Gymnasium 用两个标志区分结束原因:terminated 表示任务本身完成或失败,truncated 表示被时间上限等外部条件截断。在机器人模仿学习中,一条演示数据通常对应一个回合;评测时说「每个任务跑 50 个回合」,就是让机器人从头尝试 50 次再统计成功率。注意它和训练轮次(epoch,把整个数据集过一遍)不是一回事。
例子叠衣服任务里,从把一件皱衣服摊到桌上开始,到机器人叠好或 2 分钟超时为止,算一个回合。
- 也叫
- 轮次、一集、幕
- 相关
- 轨迹、推演、成功率、训练轮次、终止与截断、演示数据
- 来源
- Gymnasium Documentation: Basic Usage
OpenAI Spinning Up: Key Concepts in RL