LLaMA-Factory / ms-swift（大模型与 VLM 微调框架）

两个常用的开源大模型微调框架，改配置就能微调 LLM 和 VLM。

LLaMA-Factory 是开发者 hiyouga（郑耀威等）维护的开源微调框架，论文发表于 ACL 2024 系统演示；ms-swift 是阿里魔搭（ModelScope）团队的对应框架。两者都把全参数微调、LoRA/QLoRA 这类参数高效微调、DPO、GRPO 等偏好对齐和强化学习方法封装成配置文件或命令行，支持 Qwen-VL、InternVL 等多模态模型。具身方向常用它们给 VLM 做监督微调，比如训练具身推理、空间问答或任务规划模型，再作为 VLA 的骨干或高层规划器。

例子用 LLaMA-Factory 写一个 YAML，拿自己标注的机器人场景问答数据对 Qwen2.5-VL 做 LoRA 微调。

也叫

LlamaFactory、SWIFT、ms-swift

相关

微调(Fine-tuning)、低秩适配(Low-Rank Adaptation)、监督微调(Supervised Fine-Tuning)、通义千问 Qwen-VL(Qwen-VL series (Qwen2.5-VL / Qwen3-VL))、魔搭社区(ModelScope)、Transformers 库(Hugging Face Transformers)

来源

LLaMA-Factory GitHub
ms-swift GitHub

信息截至

2026-09