仿真吞吐量

仿真器每秒能产出多少环境步或帧，决定造数据和训练有多快

仿真吞吐量指仿真器单位时间内产出的交互数据量，常用每秒环境步数（steps per second）或每秒帧数（FPS）表示；在 GPU 并行仿真里，通常把成千上万个并行环境的步数加总来算。强化学习往往需要上亿步交互，吞吐量直接决定一次训练要几天还是几分钟。2021 年英伟达的 Isaac Gym 把物理仿真和神经网络都放在 GPU 上、数据不经过 CPU，报告比「CPU 仿真 + GPU 训练」的做法快 2 到 3 个数量级。影响吞吐量的主要因素有并行环境数、模型和接触的复杂度、仿真步长与子步数、求解器迭代次数，以及是否渲染相机图像（带渲染通常慢得多）。它和实时因子不同，后者衡量单个环境比真实时间快多少倍。横向比较时要看同一任务、同一硬件、是否渲染。

例子ETH 的 legged_gym 工作在单张 GPU 上同时仿真数千只 ANYmal 四足机器人，平地行走策略不到 4 分钟训完，崎岖地形约 20 分钟；ManiSkill3 报告带渲染的仿真在其基准环境中可达每秒 3 万帧以上。

也叫

仿真 FPS、每秒步数、Steps Per Second

相关

GPU 并行仿真、并行环境、实时因子、大规模并行强化学习、批量渲染、样本效率

来源

arXiv 2108.10470 - Isaac Gym: High Performance GPU-Based Physics Simulation For Robot Learning
arXiv 2109.11978 - Learning to Walk in Minutes Using Massively Parallel Deep RL
arXiv 2410.00425 - ManiSkill3