LLaMA-Factory — 零代码 LLM 全流程训练平台

被 Amazon、NVIDIA、阿里云 等使用

支持者 ❤️

Warp，面向开发者的智能终端 适用于 MacOS、Linux 和 Windows

---

通过零代码 CLI 和 Web UI 轻松微调 100+ 大语言模型

👋 加入我们的 微信、NPU、Lab4AI、LLaMA Factory Online 用户群。

[ English | 中文 ]

微调大语言模型可以像这样简单...

https://github.com/user-attachments/assets/3991a3a8-4276-4d30-9cab-4cb0c4b9b99e

开始本地训练：
- 请参考 使用指南

开始云端训练：
- Colab (免费): https://colab.research.google.com/drive/1eRTPn37ltBbYsISy9Aw2NuI2Aq5CQrD9?usp=sharing
- PAI-DSW (免费试用): https://gallery.pai-ml.com/#/preview/deepLearning/nlp/llama_factory
- LLaMA Factory Online: https://www.llamafactory.com.cn/?utm_source=LLaMA-Factory
- Alaya NeW (云GPU优惠): https://docs.alayanew.com/docs/documents/useGuide/LLaMAFactory/mutiple/?utm_source=LLaMA-Factory

阅读技术笔记：
- 文档 (进行中): https://llamafactory.readthedocs.io/en/latest/
- 文档 (AMD GPU): https://rocm.docs.amd.com/projects/ai-developer-hub/en/latest/notebooks/fine_tune/llama_factory_llama3.html
- 官方博客: https://blog.llamafactory.net/en/
- 官方课程: https://www.lab4ai.cn/course/detail?id=7c13e60f6137474eb40f6fd3983c0f46&utm_source=LLaMA-Factory

[!NOTE]
除上述链接外，其他网站均为未经授权的第三方网站，请谨慎使用。

目录

• 特性
• 博客
• 更新日志
• 支持的模型
• 支持的训练方法
• 提供的数据集
• 环境要求
• 快速开始
• 安装
• 数据准备
• 快速开始
• 使用 LLaMA Board GUI 进行微调
• LLaMA Factory Online
• 构建 Docker
• 使用 OpenAI 风格 API 和 vLLM 部署
• 从 ModelScope Hub 下载
• 从 Modelers Hub 下载
• 使用 W&B 记录器
• 使用 SwanLab 记录器
• 使用 LLaMA Factory 的项目
• 许可证
• 引用
• 致谢

特性

• 多种模型: LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen3、Qwen3-VL、DeepSeek、Gemma、GLM、Phi 等。
• 集成方法: (持续) 预训练、(多模态) 监督微调、奖励建模、PPO、DPO、KTO、ORPO 等。
• 可扩展资源: 16位全参数微调、冻结微调、LoRA 以及通过 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 实现的 2/3/4/5/6/8 位 QLoRA。
• 先进算法: GaLore、BAdam、APOLLO、Adam-mini、Muon、OFT、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 PiSSA。
• 实用技巧: FlashAttention-2、Unsloth、Liger Kernel、KTransformers、RoPE 缩放、NEFTune 和 rsLoRA。
• 广泛任务: 多轮对话、工具调用、图像理解、视觉定位、视频识别、音频理解等。
• 实验监控: LlamaBoard、TensorBoard、Wandb、MLflow、SwanLab 等。
• 更快推理: 通过 vLLM worker 或 SGLang worker 提供 OpenAI 风格 API、Gradio UI 和 CLI。

前沿模型微调支持时效

博客

[!TIP]
我们现在为 LLaMA Factory 开设了专属博客！

网址: https://blog.llamafactory.net/en/

• 💡 KTransformers Fine-Tuning × LLaMA Factory: 使用 2 块 4090-GPU + CPU 微调 1000B 模型 (英文)
• 💡 Easy Dataset × LLaMA Factory: 让 LLMs 高效学习领域知识 (英文)
• 使用 LLaMA-Factory 微调心理健康 LLM (中文)
• 使用 LLaMA-Factory 微调 GPT-OSS 进行角色扮演 (中文)
• 基于 LLaMA-Factory 和 EasyR1 的一站式免代码模型强化学习与部署平台 (中文)
• Apoidea Group 如何使用 LLaMA-Factory 在 Amazon SageMaker HyperPod 上通过多模态模型增强银行文档的视觉信息提取 (英文)

更新日志

[25/10/26] 我们通过 mcore_adapter 支持 Megatron-core 训练后端。查看 PR #9237 开始使用。

[25/08/22] 我们支持了 OFT 和 OFTv2。查看 示例 了解用法。

[25/08/20] 我们支持微调 Intern-S1-mini 模型。查看 PR #8976 开始使用。

[25/08/06] 我们支持微调 GPT-OSS 模型。查看 PR #8826 开始使用。