训练集 / 验证集 / 测试集

把数据分成三份：一份用来学，一份用来调参挑模型，一份留到最后检验。

这是机器学习划分数据的标准做法。训练集用来更新模型参数；验证集在训练过程中评估模型，据此挑选超参数和检查点（训练中途保存的模型权重）；测试集只在最后使用，给出模型在没见过的数据上的表现。谷歌机器学习速成课程举的例子是 70% / 15% / 15%，但比例并不固定，关键是验证集和测试集要足够大、结论才可靠。三者之间不能有重复样本，否则等于偷看答案，成绩会虚高；验证集被反复拿来做决策后也会逐渐失去代表性。机器人领域常用真机或仿真评测充当测试集，同样要保证测试场景和物体没有出现在训练数据里。

例子训练一个抓取策略：用 8 个厨房采的数据训练，另 1 个厨房的数据做验证、决定训练多少步，最后在从没出现过的第 10 个厨房里做真机测试并报告成功率。

也叫

训练集、验证集、测试集、数据集划分、train/val/test split

相关

过拟合、超参数、检查点、泛化、分布外、数据泄漏 / 测试集污染

来源

Google Machine Learning Crash Course: Dividing the original dataset
Google Machine Learning Glossary: validation set