RoboArena

多个实验室分布式做真机双盲对比，再汇总成排名的通用机器人策略评测平台。

RoboArena 是 2025 年 6 月发布的真机评测框架，由 Karl Pertsch、Chelsea Finn、Sergey Levine 等来自 7 所学术机构的研究者提出。它借鉴大模型评测里「竞技场」的做法：评测员在自己实验室里自由布置场景、下达任务，系统派来两个匿名策略在同一初始条件下各跑一次，评测员给出偏好、0–100 的进度分和文字理由；再用考虑任务难度的扩展 Bradley-Terry 模型把大量两两比较汇总成排名。策略以远程推理服务器形式接入，评测端只需机器人和网络。首轮统一用 DROID 平台（Franka 机械臂），论文报告其排名比单实验室固定任务的传统评测更接近穷举测试得到的参考排名。

例子首轮评测比较了 π0-flow-DROID、π0-FAST-DROID 和 5 个基于 PaliGemma、动作表示各不相同的 DROID 策略，在 7 所机构累计完成 600 多组双盲成对对比。

也叫

Robo Arena、RoboArena 分布式真机评测

相关

双盲成对比较、Elo 评分、真机评测、DROID 数据集、进度分数、策略服务器

来源

RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies (arXiv 2506.18123)
RoboArena project page

信息截至

2025-11