Accelerate 库

Hugging Face 的训练封装库，让同一份 PyTorch 代码轻松跑多卡

Accelerate 是 Hugging Face 开源的 PyTorch 辅助库。写好的单卡训练脚本只需加几行（创建 Accelerator、用它包装模型、优化器和数据加载器），就能在单卡、多卡、多机、混合精度等环境下运行，并可切换到 DeepSpeed、FSDP（全分片数据并行）等分布式后端，不用自己写进程初始化和梯度同步。配套命令 `accelerate config` 生成配置，`accelerate launch` 启动训练。VLA 等大模型微调动辄需要多卡，很多开源机器人学习代码用它管理分布式训练。

例子用 accelerate launch 在 8 张 GPU 上启动一个 VLA 微调脚本，并开启 bf16 混合精度。

也叫

accelerate

相关

分布式数据并行、全分片数据并行、DeepSpeed、混合精度训练、PyTorch、Hugging Face

来源

Accelerate 官方文档