基于群体的训练

同时训练一群模型，边训练边让差的复制好的权重，并随机调整超参数。

基于群体的训练是 DeepMind 的 Jaderberg 等人 2017 年提出的超参数优化方法。它并行训练一批模型，每隔一段时间比较表现：表现差的成员直接复制表现好的成员的权重（利用），再随机扰动学习率等超参数继续训练（探索）。这样不必先调完参数再正式训练，而是在一次训练中自动找出一条随时间变化的超参数日程，总算力和并行跑同样多组普通实验差不多。原论文在深度强化学习、机器翻译和 GAN 上都验证有效。强化学习对超参数特别敏感，PBT 常和 GPU 大规模并行仿真搭配使用。

例子英伟达的 DexPBT（RSS 2023）在 Isaac Gym 中用去中心化的 PBT 训练装有多指灵巧手的单臂和双臂机器人，完成重新抓取、抓取后抛掷、物体重定向等任务，探索效果明显好于常规的端到端训练。

也叫

基于种群的训练、种群训练、Population Based Training

相关

超参数、大规模并行强化学习、探索与利用、GPU 并行仿真、强化学习、Isaac Gym

来源

Jaderberg et al. 2017: Population Based Training of Neural Networks
Google DeepMind Blog: Population based training of neural networks
Petrenko et al. 2023: DexPBT