OGX

快速开始 | 文档 | OpenAI API 兼容性 | Discord

[!IMPORTANT]
Llama Stack 现已更名为 OGX。 名称变了，使命也变了——模型无关、多 SDK、生产级。 阅读完整公告 →

用于构建AI应用的开源智能体API服务器。兼容OpenAI。支持任意模型，任意基础设施。

OGX 是 OpenAI API 的即插即用替代品，可在任何地方运行——你的笔记本电脑、数据中心或云端。使用任何兼容 OpenAI 的客户端或智能体框架。无需更改应用程序代码即可切换 Llama、GPT、Gemini、Mistral 或任何模型。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8321/v1", api_key="fake")
response = client.chat.completions.create(
    model="llama-3.3-70b",
    messages=[{"role": "user", "content": "Hello"}],
)

功能概览

• 聊天补全 & 嵌入 — 标准 /v1/chat/completions、/v1/completions 和 /v1/embeddings 端点，兼容任何 OpenAI 客户端
• 响应 API — 服务端智能体编排，支持工具调用、MCP 服务器集成以及内置文件搜索（RAG），仅需一次 API 调用（了解更多）
• 向量存储 & 文件 — /v1/vector_stores 和 /v1/files，用于托管式文档存储和搜索
• 批处理 — /v1/batches，用于离线批处理
• 技能 — /v1alpha/skills，用于管理带版本控制的技能包（包含 SKILL.md 清单的 zip 存档），智能体可调用
• Open Responses 一致性 — 响应 API 实现通过了 Open Responses 一致性测试套件
• 多 SDK 支持 — 可原生使用 Anthropic SDK (/v1/messages) 或 Google GenAI SDK (/v1alpha/interactions) 以及 OpenAI API

使用任意模型，运行在任意基础设施上

OGX 采用可插拔的提供商架构。本地开发使用 Ollama，生产环境部署使用 vLLM，或连接到托管服务——API 保持一致。

查看提供商文档获取完整列表。

快速开始

安装并运行 OGX 服务器：

# 一键安装
curl -LsSf https://github.com/ogx-ai/ogx/raw/main/scripts/install.sh | bash

# 或通过 uv 安装
uv pip install ogx[starter]

# 启动服务器（使用 starter 分发版，集成 Ollama）
uv run ogx run starter

然后连接到任何 OpenAI、Anthropic 或 Google GenAI 客户端——Python、TypeScript、curl 或任何支持这些 API 的框架。

详情请参阅快速开始指南。

资源

• 文档 — 完整参考
• OpenAI API 兼容性 — 端点覆盖范围和提供商矩阵
• 入门笔记本 — 文本和视觉推理示例
• 参与贡献 — 如何贡献

客户端 SDK：

OGX 为 Python 和 TypeScript 提供官方客户端 SDK：

语言	SDK	包
Python	ogx-client-python
TypeScript	ogx-client-typescript

替代 Python SDK：

对于偏好基于 OpenAPI Generator 的 SDK 的用户，还有一个备选 Python 客户端可用：

• ogx-open-client — 从 OpenAPI 规范自动生成，提供类似功能但采用不同的生成方法
• 使用示例 — 所有主要功能的端到端代码示例
• 策略与理由 — 为何提供两个 SDK、何时使用哪个以及长期规划

官方 ogx_client SDK 推荐用于大多数场景。ogx_open_client 包为具有特定 OpenAPI 工具需求的团队提供备选方案。

社区

我们每周四上午 9:00（太平洋时间）举行定期社区电话会议——详情请查看 Discord 上的社区活动。

感谢所有出色的贡献者！