OpenPipe — 为模型微调与数据闭环构建的开源平台

dojo · 2026-04-08 11:00:26 · 2 次点击 · 0 条评论

注意：我们已暂时停止 OpenPipe 开源版本的开发，以集成一些专有的第三方代码。一旦我们有足够的人力，我们希望采用开放核心模式，将仓库的非专有部分重新开源！

OpenPipe

开源的精调与模型托管平台。

演示 - 本地运行 - 文档

使用功能强大但昂贵的大语言模型，来精调出更小、更便宜且完全符合你需求的模型。查询历史请求，并在不同模型之间进行评估。只需一行代码，即可在 OpenAI 模型和精调模型之间切换。

特性

轻松与 OpenAI 的 Python 和 TypeScript SDK 集成。
Python SDK
TypeScript SDK
兼容 OpenAI 的聊天补全接口。
精调 GPT 3.5、Mistral 和 Llama 2 模型。可在平台上托管或下载权重文件。
模型输出兼容 OpenAI 格式。
从 GPT-4 切换到精调的 Mistral 模型只需更改模型名称。
使用强大的内置过滤器查询日志。
导入兼容 OpenAI 格式的 JSONL 数据集文件。
修剪大量重复文本（如系统提示词）。
与基础模型（如 gpt-3.5-turbo）比较输出准确性。

支持的基础模型

文档

查看文档

本地运行

安装 Postgresql。
安装 NodeJS 20（早期版本很可能也能运行，但未经测试）。
安装 pnpm：npm i -g pnpm
克隆此仓库：git clone https://github.com/openpipe/openpipe
安装依赖：cd openpipe && pnpm install
创建 .env 文件（cd app && cp .env.example .env）并填入你的 OPENAI_API_KEY。
如果你刚安装了 postgres 并希望使用默认的 DATABASE_URL，请运行以下命令：

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD 'postgres';
ALTER ROLE postgres SUPERUSER;

如有必要，更新 DATABASE_URL 以指向你的 Postgres 实例，并在 app 目录下运行 pnpm prisma migrate dev 以创建数据库。
创建一个 GitHub OAuth 应用，将回调 URL 设置为 <你的本地实例>/api/auth/callback/github，例如 http://localhost:3000/api/auth/callback/github。
从 GitHub OAuth 应用更新 GITHUB_CLIENT_ID 和 GITHUB_CLIENT_SECRET 的值（注意：如果有人提交 PR，使本地运行时身份验证变为可选，那将是一个很好的贡献！）。
在 app 目录下运行 pnpm dev 以启动应用。
访问 http://localhost:3000

本地使用

import os
from openpipe import OpenAI

client = OpenAI(
    api_key="Your API Key",
    openpipe={
        "api_key": "Your OpenPipe API Key",
        "base_url": "http://localhost:3000/api/v1", # 本地 OpenPipe 实例
    }
)

completion = client.chat.completions.create(
    model="gpt-3.5-turbo",
    messages=[{"role": "system", "content": "count to 10"}],
    openpipe={
        "tags": {"prompt_id": "counting"},
        "log_request": True
    },
)

本地测试

将你的 .env 文件复制为 .env.test。
更新 DATABASE_URL，使其数据库名称与开发环境不同。
运行 DATABASE_URL=[你的新数据库URL] pnpm prisma migrate dev --skip-seed --skip-generate
运行 pnpm test

项目地址：https://github.com/openpipe/openpipe

2 次点击 ∙ 0 人收藏

登录后收藏

0 条回复