消融实验
Ablation Study常用去掉或替换方法里的某个组件,看性能怎么变,以判断它到底有没有用。
消融实验是在完整方法的基础上,一次去掉或替换一个组件(某个模块、损失项、输入模态、数据来源或训练技巧),在同样的设置下重新训练和评测,比较性能变化,从而判断每个设计各自贡献多少。这个说法借自生物学里切除部分组织来研究其功能的做法;据维基百科,AI 先驱 Allen Newell 在 1974 年一篇语音识别教程里就用过。它是论文说明「为什么这样设计」的主要证据:去掉某模块后性能几乎不变,就说明它不是关键。做消融时要保持其他变量不动,并用足够多的试验次数比较,否则差异可能只是噪声。
例子ACT 论文的消融实验分别拿掉动作分块、时序集成和 CVAE 训练,发现用人类演示数据训练时,去掉 CVAE 会让成功率明显下降。
- 也叫
- 消融研究、消融分析、Ablation
- 相关
- 基线方法、最先进水平、成功率、动作分块、时序集成
- 来源
- Wikipedia: Ablation (artificial intelligence)
Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ACT)