从零训练

参数随机初始化、不借用任何预训练权重，直接在目标数据上训练模型。

从零训练指网络权重从随机值开始，只用当前任务的数据训练，与「加载预训练模型再微调」相对。好处是不受预训练数据分布和模型结构的约束、流程简单；缺点是需要更多数据和训练时间，数据少时容易过拟合。何恺明等人 2018 年的《Rethinking ImageNet Pre-training》发现，目标检测只要训练足够久，从零训练也能追平 ImageNet 预训练，说明预训练的主要作用之一是加快收敛。机器人数据稀缺，论文里常把从零训练作为基线，用来衡量预训练表征或大规模预训练带来的收益；但并非总是预训练更好，比如扩散策略的视觉编码器就是不带预训练的 ResNet-18，端到端从零训练。

例子R3M 论文在 12 个仿真操作任务上对比：用 Ego4D 人类视频预训练的视觉表征，比从零训练视觉编码器的成功率高出 20% 以上。

也叫

随机初始化训练、From Scratch

相关

预训练、微调、基线方法、过拟合、迁移学习、预训练视觉表征

来源

Rethinking ImageNet Pre-training (He et al., arXiv 1811.08883)
R3M: A Universal Visual Representation for Robot Manipulation (arXiv 2203.12601)
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion (arXiv 2303.04137)