虚实差距

仿真和真实世界之间的差异，导致仿真里练好的策略上真机后变差。

虚实差距指仿真环境与真实世界不一致，使仿真中训练好的策略迁移到真机后性能下降甚至失效。来源大致有几类：物理参数不准（摩擦、质量、阻尼、电机特性）、物理建模本身的简化（如软接触、柔性物体）、画面差异（渲染的光照纹理和真实相机不同），以及传感器噪声、控制延迟等仿真里没建模的因素。仿真训练便宜、安全、可大规模并行，所以缩小这道差距是仿真到现实迁移的核心问题。常见对策有系统辨识（把仿真参数校准准）、域随机化（让策略适应一大片参数范围）、领域自适应（让仿真数据分布向真实靠拢），以及用少量真机数据微调。

例子仿真里训好的四足行走策略，上真机后因为电机响应比仿真慢而原地抖动甚至摔倒，就是典型的虚实差距。

也叫

现实差距、Reality Gap、Sim2Real Gap、虚实鸿沟

相关

仿真到现实迁移、域随机化、系统辨识、领域自适应、执行器建模、现实到仿真

来源

Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a Survey (arXiv 2009.13303)
Lilian Weng: Domain Randomization for Sim2Real Transfer