具身智能新手名词表English

仿真-真机相关性

Sim-to-Real Correlation (Pearson r)常用

衡量仿真评测成绩能否反映真机表现,常用皮尔逊相关系数 r 表示。

用仿真做评测前,要先确认仿真里分高的策略在真机上也强。常见做法是挑一组策略,分别在仿真和真机上测成功率,再算两组数字的皮尔逊相关系数 r(-1 到 1,越接近 1 越一致)。2024 年的 SIMPLER(SimplerEnv)论文用 RT-1、RT-1-X、Octo 等策略在 Google Robot 和 WidowX 上做了这类对比,并指出 r 只看线性拟合、看不出排名是否被搞反,因此另提出平均最大排名违背(MMRV,越低越好)。相关性高,仿真基准才能代替昂贵的真机测试挑模型;相关性低,仿真里的提升可能只是拟合了仿真器。

例子SIMPLER 靠视觉匹配(绿幕贴真实背景、对齐纹理)和控制参数的系统辨识缩小差距,基于约 1500 个评测回合展示仿真与真机成绩强相关。

也叫
真机对齐度、Sim-Real Alignment、皮尔逊相关系数
相关
仿真评测、真机评测、平均最大排名违背、SimplerEnv、视觉匹配、虚实差距
来源
Evaluating Real-World Robot Manipulation Policies in Simulation (SIMPLER, arXiv 2405.05941)
SIMPLER 项目页
信息截至
2024-05

在完整名词表里查看 →