Axolotl — 适合指令微调与 LoRA 训练的轻量工具链

一个免费开源的大语言模型微调框架

🎉 最新动态

• 2026年03月：
• Axolotl 新增对以下模型的支持：Qwen3.5, Qwen3.5 MoE、GLM-4.7-Flash、GLM-4.6V 和 GLM-4.5-Air。
• 新增 MoE 专家量化 支持（通过 quantize_moe_experts: true），可在训练 MoE 模型时大幅降低 VRAM 使用（兼容 FSDP2）。
• 2026年02月：
• 新增 ScatterMoE LoRA 支持。使用自定义 Triton 内核直接在 MoE 专家权重上进行 LoRA 微调。
• Axolotl 现已支持 SageAttention 和 GDPO（广义 DPO）。
• 2026年01月：
• 新增 EAFT（熵感知焦点训练）集成，根据 top-k 对数分布熵对损失加权；以及 Scalable Softmax，改进注意力机制中的长上下文处理。
• 2025年12月：
• Axolotl 新增对以下模型的支持：Kimi-Linear、Plano-Orchestrator、MiMo、InternVL 3.5、Olmo3、Trinity 和 Ministral3。
• 为 FSDP2 预训练新增 Distributed Muon Optimizer 支持。
• 2025年10月：Axolotl 新增对以下模型的支持：Qwen3 Next、Qwen2.5-vl, Qwen3-vl、Qwen3, Qwen3MoE、Granite 4、HunYuan、Magistral 2509、Apertus 和 Seed-OSS。

✨ 概述

Axolotl 是一个免费开源的工具，旨在简化最新大语言模型（LLM）的后训练和微调流程。

特性：

• 多模型支持：训练多种模型，如 GPT-OSS、LLaMA、Mistral、Mixtral、Pythia 以及 Hugging Face Hub 上的许多其他模型。
• 多模态训练：微调视觉语言模型（VLM），包括 LLaMA-Vision、Qwen2-VL、Pixtral、LLaVA、SmolVLM2、GLM-4.6V、InternVL 3.5、Gemma 3n，以及支持图像、视频和音频的音频模型如 Voxtral。
• 训练方法：全参数微调、LoRA、QLoRA、GPTQ、QAT、偏好调优（DPO、IPO、KTO、ORPO）、强化学习（GRPO、GDPO）以及奖励建模（RM）/过程奖励建模（PRM）。
• 简易配置：在整个微调流程（数据集预处理、训练、评估、量化和推理）中复用单个 YAML 配置文件。
• 性能优化：多包处理、Flash Attention、Xformers、Flex Attention、SageAttention、Liger Kernel、Cut Cross Entropy、ScatterMoE、序列并行（SP）、LoRA 优化、多 GPU 训练（FSDP1、FSDP2、DeepSpeed）、多节点训练（Torchrun、Ray） 以及更多！
• 灵活的数据集处理：从本地、HuggingFace 以及云端（S3、Azure、GCP、OCI）数据集加载。
• 云就绪：我们提供 Docker 镜像 和 PyPI 包，便于在云平台和本地硬件上使用。

🚀 快速开始 - 几分钟内开始 LLM 微调

要求：

• NVIDIA GPU（Ampere 或更新架构以支持 bf16 和 Flash Attention）或 AMD GPU
• Python 3.11
• PyTorch ≥2.8.0

Google Colab

安装

使用 pip

pip3 install -U packaging==26.0 setuptools==75.8.0 wheel ninja
pip3 install --no-build-isolation axolotl[flash-attn,deepspeed]

# 下载示例 axolotl 配置和 deepspeed 配置
axolotl fetch examples
axolotl fetch deepspeed_configs  # 可选

使用 Docker

使用 Docker 安装比在自有环境中安装更不易出错。

docker run --gpus '"all"' --rm -it axolotlai/axolotl:main-latest

其他安装方法详见此处。

云服务提供商