仿真到现实迁移

把在仿真里训练好的策略搬到真机上，并让它照样能用。

仿真到现实迁移指先在仿真器里训练机器人策略，再部署到真实机器人上。仿真里能同时跑成千上万个环境，摔坏了也不花钱，所以四足、人形行走和灵巧手的强化学习策略大多先在仿真里练。难点是虚实差距：仿真中的摩擦、质量、电机响应和画面与现实不完全一致，策略到了真机可能失效。常用对策有域随机化（训练时随机改物理和视觉参数，让现实只是其中一种情况）、系统辨识（用真机数据校准仿真参数）、执行器建模（按真机数据给仿真里的电机建模，让它响应得像真电机）和教师-学生蒸馏（先训练能看到仿真全部状态的教师策略，再让只用真机上也有的传感器输入的学生策略模仿它）。2017 年 Tobin 等人只用随机纹理的仿真图像训练物体检测器，在真实场景定位误差约 1.5 厘米，是早期代表。

例子ETH 苏黎世的 ANYmal 四足机器人：在仿真里用强化学习训练行走策略，并接入从真机数据学到的执行器网络，之后直接部署到真机，跑得比以往方法更快，还能摔倒后自己爬起。

也叫

Sim-to-Real、sim2real、虚实迁移、仿真到真实迁移

相关

虚实差距、域随机化、系统辨识、执行器建模、现实到仿真、教师-学生蒸馏

来源

Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World (Tobin et al., 2017)
Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a Survey (Zhao et al., 2020)
Learning agile and dynamic motor skills for legged robots (Hwangbo et al., 2019)