Axolotl — LLM 微调框架

一个免费开源的大语言模型微调框架

🎉 最新动态

• 2025年12月：Axolotl 现已支持 Kimi-Linear、Plano-Orchestrator、MiMo、InternVL 3.5、Olmo3、Trinity 和 Ministral3。
• 2025年10月：Axolotl 新增了对以下模型的支持：Qwen3 Next、Qwen2.5-vl, Qwen3-vl、Qwen3, Qwen3MoE、Granite 4、HunYuan、Magistral 2509、Apertus 和 Seed-OSS。
• 2025年09月：Axolotl 现已支持文本扩散训练。详情请见此处。
• 2025年08月：量化感知训练（QAT）已更新，支持 NVFP4。参见 PR。
• 2025年07月：
• Axolotl 已加入 ND 并行支持。可在单节点和多节点内组合使用上下文并行（CP）、张量并行（TP）和全分片数据并行（FSDP）。查看博客文章了解更多信息。
• Axolotl 新增更多模型：GPT-OSS、Gemma 3n、Liquid Foundation Model 2 (LFM2) 和 Arcee Foundation Models (AFM)。
• 现在可以通过 torchao 在 Axolotl 中进行 FP8 微调（使用 fp8 gather 操作）。从这里开始！
• 支持 mistral-common 分词器的 Voxtral、Magistral 1.1 和 Devstral 已集成到 Axolotl 中！
• 已添加 TiledMLP 支持，用于单 GPU 到多 GPU 训练（支持 DDP、DeepSpeed 和 FSDP），以支持 Arctic 长序列训练（ALST）。查看示例，了解如何在 Axolotl 中使用 ALST！
• 2025年05月：量化感知训练（QAT）支持已添加到 Axolotl。探索文档了解更多！

✨ 概述

Axolotl 是一个免费开源的工具，旨在简化最新大语言模型（LLM）的后训练和微调流程。

特性：

• 多模型支持：训练多种模型，如 GPT-OSS、LLaMA、Mistral、Mixtral、Pythia 以及 Hugging Face Hub 上的许多其他模型。
• 多模态训练：微调视觉语言模型（VLM），包括 LLaMA-Vision、Qwen2-VL、Pixtral、LLaVA、SmolVLM2，以及支持图像、视频和音频的音频模型，如 Voxtral。
• 训练方法：全参数微调、LoRA、QLoRA、GPTQ、QAT、偏好调优（DPO、IPO、KTO、ORPO）、强化学习（GRPO）以及奖励建模（RM）/过程奖励建模（PRM）。
• 简易配置：在完整的微调流程（数据集预处理、训练、评估、量化和推理）中复用单个 YAML 配置文件。
• 性能优化：多包处理、Flash Attention、Xformers、Flex Attention、Liger Kernel、Cut Cross Entropy、序列并行（SP）、LoRA 优化、多 GPU 训练（FSDP1、FSDP2、DeepSpeed）、多节点训练（Torchrun、Ray） 以及更多！
• 灵活的数据集处理：从本地、HuggingFace 和云端（S3、Azure、GCP、OCI）加载数据集。
• 云就绪：我们提供 Docker 镜像 和 PyPI 包，适用于云平台和本地硬件。

🚀 快速开始 - 几分钟内开始 LLM 微调

要求：

• NVIDIA GPU（Ampere 或更新架构，支持 bf16 和 Flash Attention）或 AMD GPU
• Python 3.11
• PyTorch ≥2.8.0

Google Colab

安装

使用 pip

pip3 install -U packaging==26.0 setuptools==75.8.0 wheel ninja
pip3 install --no-build-isolation axolotl[flash-attn,deepspeed]

# 下载示例 axolotl 配置、deepspeed 配置
axolotl fetch examples
axolotl fetch deepspeed_configs  # 可选

使用 Docker

使用 Docker 安装比在自己的环境中安装更不容易出错。

docker run --gpus '"all"' --rm -it axolotlai/axolotl:main-latest

其他安装方法请参见此处。

云服务提供商

你的第一次微调

# 获取 axolotl 示例
axolotl fetch examples

# 或者，指定自定义路径
axolotl fetch examples --dest path/to/folder

# 使用 LoRA 训练一个模型
axolotl train examples/llama-3/lora-1b.yml

就这么简单！查看我们的入门指南获取更详细的步骤说明。

📚 文档

• 安装选项 - 不同环境的详细设置说明
• 配置指南 - 完整的配置选项和示例
• 数据集加载 - 从各种来源加载数据集
• 数据集指南 - 支持的格式及使用方法
• 多 GPU 训练
• 多节点训练
• 多包处理
• API 参考 - 自动生成的代码文档
• 常见问题 - 常见问题解答

🤝 获取帮助

• 加入我们的 Discord 社区 获取支持
• 查看我们的 示例 目录
• 阅读我们的 调试指南
• 需要专门的支持？请联系 ✉️wing@axolotl.ai 了解选项

🌟 贡献

欢迎贡献！请参阅我们的贡献指南了解详情。

📈 遥测

Axolotl 包含可选的遥测功能，帮助我们了解项目的使用情况并确定改进的优先级。我们收集基本的系统信息、模型类型和错误率——从不收集个人数据或文件路径。遥测功能默认启用。要禁用它，请设置 AXOLOTL_DO_NOT_TRACK=1。更多详情，