[](https://github.com/volcengine/verl/stargazers) [](https://twitter.com/verl_project) [](https://verl.readthedocs.io/en/latest/)

verl: 火山引擎大语言模型强化学习库

verl 是一个灵活、高效且可用于生产的大语言模型（LLM）强化学习训练库。

verl 是论文 HybridFlow: A Flexible and Efficient RLHF Framework 的开源实现。

verl 灵活易用，具有以下特点：

• 轻松扩展多样化的 RL 算法：混合控制器编程模型能够灵活表示并高效执行复杂的后训练数据流。只需几行代码即可构建 GRPO、PPO 等 RL 数据流。
• 通过模块化 API 无缝集成现有 LLM 基础设施：解耦计算与数据依赖，可与现有 LLM 框架（如 FSDP、Megatron-LM、vLLM、SGLang 等）无缝集成。
• 灵活的设备映射：支持将模型灵活部署到不同的 GPU 集合上，以实现高效的资源利用和跨不同集群规模的可扩展性。
• 开箱即用的 HuggingFace 模型集成

verl 性能卓越，具有以下优势：

• 业界领先的吞吐量：集成了 SOTA 的 LLM 训练和推理引擎，并提供 SOTA 的 RL 训练吞吐量。
• 通过 3D-HybridEngine 实现高效的 Actor 模型重分片：消除内存冗余，并显著减少训练和生成阶段切换时的通信开销。

最新动态

• [2026/01] verl 已迁移至 verl-project 组织。
• [2026/01] verl 首次线下见面会于 01/10 在上海成功举办，由火山引擎和 NVIDIA 联合主办，相关幻灯片已上传至 verl-data。
• [2026/01] recipe 目录已迁移至独立仓库：verl-recipe 并作为子模块添加。详情见 https://github.com/volcengine/verl/pull/4795。执行 git submodule update --init --recursive recipe 后即可正常使用。请注意，transfer_queue、fully_async_policy、one_step_off_policy 和 vla 仍保留在 verl/experimental 目录下，因为它们计划合并到主库中。可通过 verl.experimental.{module} 使用它们。
• [2025/12] Mind Lab 成功使用 verl 和 Megatron-bridge 在 64 张 H800 GPU 上为万亿参数模型训练了 GRPO LoRA - 参见他们的技术博客。
• [2025/10] verl 在 PyTorch Conference 2025 上进行了展示。
• [2025/08] verl 在 PyTorch Expert Exchange Webinar 上进行了展示。幻灯片 已发布。
• [2025/07] ReTool 配方已完全开源。博客
• [2025/07] 首次 verl 线下见面会将于 7 月 16 日在 ICML 温哥华举行！如果您在 ICML，请加入我们！（仅限现场）
• [2025/06] 结合 Megatron 后端，verl 支持训练大型 MoE 模型，如 DeepSeek-671B 和 Qwen3-235B。
• [2025/03] DAPO 是开源的 SOTA RL 算法，基于 Qwen2.5-32B 预训练模型在 AIME 2024 上取得了 50 分，超越了之前由 DeepSeek 的 GRPO（DeepSeek-R1-Zero-Qwen-32B）创造的 SOTA。DAPO 的训练完全由 verl 驱动，复现代码现已在 recipe/dapo 中提供。

核心特性

• 训练支持：FSDP、FSDP2 和 Megatron-LM。
• 生成支持：vLLM、SGLang 和 HF Transformers。
• 兼容 Hugging Face Transformers 和 Modelscope Hub：Qwen-3、Qwen-2.5、Llama3.1、Gemma2、DeepSeek-LLM 等。
• 监督微调。
• 强化学习算法支持：PPO、GRPO、GSPO、ReMax、REINFORCE++、RLOO、PRIME、DAPO、DrGRPO、KL_Cov & Clip_Cov 等。
• 支持基于模型的奖励和基于函数的奖励（可验证奖励），适用于数学、代码等任务。
• 支持视觉语言模型（VLM）和多模态 RL，如 Qwen2.5-vl、Kimi-VL。
• 支持多轮对话与工具调用。
• LLM 对齐配方，如 自对弈偏好优化 (SPPO)。
• 支持 Flash attention 2、序列打包、通过 DeepSpeed Ulysses 实现的序列并行、LoRA、Liger-kernel。
• 通过专家并行可扩展至 671B 模型和数百张 GPU。
• 多 GPU LoRA RL 支持以节省内存。
• 实验跟踪支持 wandb、swanlab、mlflow 和 tensorboard。
• 硬件支持：支持 NVIDIA、AMD、昇腾。

即将推出的功能与变更

• Q3 路线图 https://github.com/volcengine/verl/issues/2388
• 结合 Megatron 优化 DeepSeek 671b https://github.com/volcengine/verl/issues/1033
• 多轮生成与工具调用的优化 https://github.com/volcengine/verl/issues/1882
• 智能体集成
• 异步和离策略架构 https://github.com/volcengine/verl/pull/2231
• v0.4 以来的破坏性变更列表 https://github.com/volcengine/verl/discussions/2270

快速开始

文档

快速入门：

• 安装
• 快速开始
• [编程指南](https://verl.readthed