刷榜
Leaderboard Chasing (Benchmark Hacking)常用专门针对某个评测榜单优化,把分数做高但能力未必真提升
刷榜是 AI 圈的口语,指研究者或公司围绕某个公开基准测试反复调参、挑设置、甚至针对测试集特点做专门设计,让分数冲到榜首。适度追榜能推动进步,但过度追榜会让分数和真实能力脱节,这就是古德哈特定律说的「指标一旦成为目标就不再是好指标」。具身智能里常见的是仿真基准饱和:多个 VLA 在 LIBERO 上成功率接近满分,可换个相机角度、加点干扰就大幅下降。所以看论文时要同时看泛化测试和真机评测。
例子不少 VLA 在 LIBERO 上报告 95% 以上成功率,而 LIBERO-Plus、LIBERO-PRO 加入扰动后分数明显下滑。
- 也叫
- 打榜
- 相关
- 基准测试、基准饱和、LIBERO、LIBERO-Plus、真机评测、cherry-pick(挑结果)
- 来源
- Goodhart's law - Wikipedia
LIBERO Benchmark