视觉匹配

SimplerEnv 的一种评测设置：把仿真画面做得尽量和真机相机画面一样。

视觉匹配是 SimplerEnv（SIMPLER，UCSD、斯坦福、伯克利和谷歌 DeepMind 于 2024 年 5 月发布）的两种评测设置之一，用来在仿真里评测用真机数据训练的操作策略。这类策略直接进仿真常因画面差异失灵。视觉匹配用「绿幕」把仿真物体和机械臂叠到真实背景照片上，再把真实纹理投到仿真模型、按真实视频调机械臂颜色，让画面接近真机。另一种设置「变体聚合」则换背景、光照、干扰物等生成多个变体取平均。两者都用皮尔逊相关系数和平均最大排名违背（MMRV）检验仿真与真机成绩是否一致。

例子VLA 论文在 SimplerEnv 谷歌机器人任务（拿可乐罐、移到物体旁、开关抽屉）上，通常把成功率分成「视觉匹配」和「变体聚合」两栏分别报告。

也叫

SimplerEnv 视觉匹配、SIMPLER Visual Matching

相关

SimplerEnv、变体聚合、仿真-真机相关性、平均最大排名违背、虚实差距、现实到仿真

来源

Evaluating Real-World Robot Manipulation Policies in Simulation (arXiv 2405.05941)
SIMPLER 项目主页
SimplerEnv GitHub 仓库

信息截至

2024-05