炼丹 / 调参（黑话）

中文圈对训练模型、反复试超参数的戏称，指主要靠经验和试错出结果。

「炼丹」是国内深度学习圈的黑话，把训练模型比作炼丹：数据和模型放进 GPU 服务器（「丹炉」），定好学习率、批大小等超参数（训练前人为设定的配置，俗称「火候」），等几小时到几天看结果，好坏常常说不清原因，只能反复尝试。「调参」就是调整这些超参数，做这件事的人自嘲为「调参侠」「炼丹师」。英文圈也有类似批评：2017 年 NIPS 时间检验奖演讲中，Ali Rahimi 直言「机器学习已经变成了炼金术」，指领域依赖大量不理解原理的技巧。更系统的调参方法有网格搜索、随机搜索、贝叶斯优化和基于群体的训练。

例子某个 VLA 微调效果不好，同学把学习率从 1e-4 改成 2e-5、批大小从 32 改成 128、再多训 2 万步看看——这样一轮轮试错就是「炼丹」。

也叫

炼丹、调参、调参侠、炼丹师、炼丹炉

相关

超参数、学习率、批大小、基于群体的训练、消融实验、随机种子与可复现性

来源

Reflections on Random Kitchen Sinks (Ali Rahimi & Ben Recht, NIPS 2017 Test-of-Time talk)
Wikipedia: Hyperparameter optimization