环境（Env）与 reset / step 接口

强化学习和机器人仿真的标准交互接口：reset 开一局，step 执行一步动作。

在强化学习里，环境就是智能体与之交互的世界。OpenAI Gym 把和环境打交道的方式做成了通用编程接口，现由 Farama 基金会维护的后继项目 Gymnasium 规定：reset() 开始新回合，返回初始观测和附加信息 info；step(action) 执行一个动作，返回新观测、奖励、terminated（任务意义上结束，如成功或摔倒）、truncated（被外部截断，如超时）和 info。环境还用 action_space、observation_space 规定动作和观测的格式。Isaac Lab 等框架沿用类似写法，同一套训练算法因此能换着环境用。旧版 Gym 只有一个 done 标志；拆成两个，是因为超时截断时任务其实没结束，估算后续还能拿多少奖励时仍要把没走完的部分算进去，混在一起会算错。

例子典型循环：obs, info = env.reset()，然后反复执行 obs, reward, terminated, truncated, info = env.step(policy(obs))，任一结束标志为真就重新 reset。

也叫

Gym 接口、Gymnasium API、环境接口

相关

智能体与环境、回合、观测、动作空间、终止与截断、Gymnasium

来源

Gymnasium Documentation: Env API