成功率
Success RateSR入门必知策略多次试做同一任务时成功的比例,是最常用的机器人评测指标。
成功率是机器人学习里最常用的评测指标:让策略在同一任务上反复执行 N 次(每次叫一个回合,物体初始位置通常随机),按事先定义的判据(如方块被放进目标区域)数出成功次数,再除以 N。它直观、便于跨方法比较,但信息量有限:只看最终结果,不区分差一点成功和完全失败,所以常配合子任务成功率、进度分数或平均完成长度一起报告。试验次数少时成功率波动很大,25 次试验里多成功一次就差 4 个百分点,所以严谨的论文会写明试验次数和随机种子数,最好再给置信区间。仿真里一次能跑成百上千个回合,真机通常只有几十次。
例子ACT 论文的仿真任务用 3 个随机种子、每个种子 50 次试验取平均成功率;真机任务每个跑 25 次试验,其中「拉开密封袋」成功率 88%。
- 也叫
- 任务成功率
- 相关
- 进度分数、平均完成长度、回合、仿真评测、真机评测、评测统计显著性(置信区间 / 序贯检验 / 多随机种子)
- 来源
- Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ACT)
Evaluating Real-World Robot Manipulation Policies in Simulation (SIMPLER)