OpenRLHF — 面向大模型对齐训练的 RLHF 框架

[ English | 中文 | 日本語 ]

OpenRLHF 是首个结合 Ray + vLLM 分布式架构与基于智能体的统一设计范式的高性能、生产就绪的开源 RLHF 框架，旨在实现可扩展、可扩展的人类反馈强化学习。

📚 了解更多: 文档 | 演示文稿 | 技术报告 | 视频

📖 目录

• 🗞️ 新闻
• 🏗️ 架构基础 - Ray + vLLM + DeepSpeed 分布式基础设施
• 🎯 设计范式 - 统一的基于智能体的执行流水线
• 🚀 RL 算法 - PPO, REINFORCE++, GRPO, RLOO
• 📋 功能概览 - 完整的 RLHF 流水线能力
• 🎬 快速开始 - 安装与典型工作流
• 🎓 训练指南 - SFT, 奖励模型, RL 训练
• 🎯 单轮智能体 - 自定义奖励函数
• 🤖 多轮智能体 - 复杂环境
• 🔧 高级主题 - LoRA, 性能调优

新闻

🏗️ 架构基础：Ray + vLLM 分布式

OpenRLHF 是首个基于 Ray + vLLM 分布式架构构建的 RLHF 框架，可高效协调跨 GPU 的多个组件：

核心基础设施组件

Ray - 分布式调度器与控制器
OpenRLHF 利用 Ray 实现高效的分布式调度。它将 Actor、Reward、Reference 和 Critic 模型分离到不同的 GPU 上，支持对高达 70B+ 参数的模型进行可扩展训练。

混合引擎调度：所有模型和 vLLM 引擎可以共享 GPU 资源——最大限度地减少空闲时间并最大化 GPU 利用率。这使得在有限的硬件上运行完整的 RLHF 流水线成为可能。

vLLM - 高性能推理引擎
RLHF 训练 80% 的时间用于样本生成。借助 vLLM 的自动张量并行 (AutoTP) 和流水线并行 (PP)，OpenRLHF 提供了高吞吐量、内存高效的生成能力。

DeepSpeed - 内存高效训练
基于 DeepSpeed ZeRO-3、deepcompile、AutoTP 和 RingAttention。无需重量级框架即可实现大模型训练，同时直接与 HuggingFace 模型协同工作。

Transformers - 模型接口
与 HuggingFace Transformers 原生集成，实现无缝的模型加载、状态管理和预训练模型的微调。

NCCL / CUDA IPC - 高速通信
高效的 GPU 间通信，用于分布式训练和推理。

🎯 设计范式：基于智能体的执行

在 Ray 分布式架构之上，OpenRLHF 是首个实现统一的基于智能体范式的 RLHF 框架。每次训练运行——无论是标准的 PPO 还是复杂的多轮推理——都遵循一致的智能体执行流水线。

为什么基于智能体？

OpenRLHF 通过令牌输入-令牌输出的智能体执行统一了生成和训练，确保了完美的一致性、易于单/多轮扩展以及零文本级不匹配。

智能体架构

                 ┌─────────────────────────────┐
                 │    AgentExecutorBase        │
                 │  (Token-in-Token-out Core)  │
                 └─────────────────────────────┘
                              │
                 ┌────────────┴────────────┐
                 ↓                         ↓
         SingleTurnExecutor        MultiTurnExecutor
                 │                         │
      ┌──────────┴──────────┐   ┌─────────┴──────────┐
      ↓                     ↓   ↓                    ↓
  Standard RLHF      Custom Reward   Multi-Step    External Env
  (One-shot gen)     Function      Reasoning     (OpenAI Agent Server)
      ↓                     ↓           ↓                ↓
      └─────────────────────┴───────────┴────────────────┘
                              │
                    Consistent Token Trajectories
                              │
                    ┌─────────┴─────────┐
                    │  RL Algorithms    │
                    │  (Decoupled)      │
                    │                   │
                    │  PPO, REINFORCE++ │
                    │  GRPO, RLOO, etc. │
                    └───────────────────┘

核心设计原则

两种执行模式（与 RL 算法正交）

智能体执行模式独立于你选择的 RL 算法。你可以将任何算法（PPO、REINFORCE++、GRPO 等）与任何执行模式一起使用：

🚀 先进的 RL 算法

OpenRLHF 实现了 PPO、REINFORCE++、REINFORCE++-baseline、GRPO、RLOO，并采用了受实践指南和社区最佳实践启发的高级优化技巧。

关键设计：RL 算法与智能体执行模式解耦。所有算法都能与单轮和多轮智能体执行器无缝协作，通过统一的令牌输入-令牌输出流水线运行，确保行为一致。

参考：知乎文章 | Notion 最佳实践

📋 全面功能

OpenRLHF 提供了一个完整的 RLHF 流水线，并具备基于智能体的灵活性：

🎯 基于智能体的 RL 训练（核心创新）

🎓 监督训练与偏好学习

⚡ 高级能力