RoboGSim

用 3D 高斯泼溅重建真实场景、再接上物理引擎的机器人仿真器

RoboGSim 是 2024 年 11 月发布的论文与系统，作者来自哈工大（深圳）、中科院计算所、旷视科技和浙江大学。它把 3D 高斯泼溅（用大量彩色椭球来重建场景、渲染效果接近照片的三维表示）和 Isaac Sim 物理引擎结合，由高斯重建器、数字孪生构建器、场景组合器和交互引擎四部分组成：先把真实桌面场景重建进仿真，再在仿真里换视角、换物体、换轨迹、换场景合成新数据，最后用到真机上，即 Real2Sim2Real。论文报告，只用它合成的数据训练的策略能零样本在真机上运行，效果与用真机数据相当，在新视角、新场景下还更好。它也可作为闭环评测环境，用来测试 VLA 模型。

例子先用相机拍一段实验台视频，在 RoboGSim 里重建出桌面和机械臂，再换成新的相机视角批量生成抓取-放置轨迹，用这些合成数据训练策略后直接部署到真实机械臂。

相关

高斯泼溅仿真、真-仿-真闭环、3D高斯泼溅、数字孪生、仿真到现实迁移、Isaac Sim

来源

arXiv 2411.11839 - RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator
RoboGSim 项目主页

信息截至

2025-08