现实到仿真

把真实场景、物体和机器人复刻进仿真器，让仿真尽量贴近现实。

现实到仿真是和仿真到现实（Sim-to-Real）方向相反的一步：从真实世界采集信息，在仿真器里搭出对应版本。它包括几何与外观重建（用手机扫描、NeRF 或 3D 高斯泼溅重建房间和物体）、物理参数辨识（质量、摩擦、关节阻尼等）以及机器人控制器的对齐，做出的仿真版本常被称为数字孪生。主要用途有两个：一是评测，把真实实验环境搬进仿真，用仿真分数预测真机表现，省下大量真机测试；二是训练，在复刻场景里生成数据或做强化学习，再迁回真机，即真-仿-真闭环。难点在于重建出的视觉和物理误差会直接变成新的虚实差距。

例子SIMPLER（SimplerEnv）为谷歌机器人和 WidowX 机械臂的真实实验搭建对应的仿真环境，重点缩小控制和视觉两方面的差异；论文显示策略在其中的表现与真机结果强相关，还能复现策略对各种分布变化的敏感程度。

也叫

实到虚、Real-to-Sim Reconstruction、Real2Sim

相关

真-仿-真闭环、数字孪生、仿真到现实迁移、虚实差距、SimplerEnv、高斯泼溅仿真

来源

Evaluating Real-World Robot Manipulation Policies in Simulation (SIMPLER, arXiv 2405.05941)
RialTo: Real-to-Sim-to-Real Approach for Robust Manipulation (arXiv 2403.03949)