OpenLit — 面向 LLM 应用的可观测性与追踪平台

OpenLIT 能够简化您的 AI 开发工作流，特别是针对生成式 AI 和大语言模型 (LLM)。它整合了实验 LLM、组织和版本化提示词、安全处理 API 密钥等核心任务。只需一行代码，您即可启用 原生 OpenTelemetry 可观测性，提供涵盖 LLM、向量数据库和 GPU 的全栈监控。这使得开发者能够自信地构建 AI 功能和应用，并平稳地从测试过渡到生产。

本项目自豪地遵循并与 OpenTelemetry 社区共同维护 语义约定，持续更新以符合可观测性的最新标准。

⚡ 功能特性

• 📈 分析仪表盘：通过详细的仪表盘监控 AI 应用的健康状况和性能，追踪指标、成本和用户交互，清晰呈现整体效率。

• 🔌 原生 OpenTelemetry 可观测性 SDK：厂商中立的 SDK，可将追踪和指标数据发送到您现有的可观测性工具中。

• 💲 自定义与微调模型的成本追踪：使用自定义定价文件为特定模型定制成本估算，实现精准预算。

• 🐛 异常监控仪表盘：通过专门的监控仪表盘快速发现并解决常见异常和错误。

• 💭 提示词管理：使用提示词中心管理和版本化提示词，确保跨应用的一致性和便捷访问。

• 🔑 API 密钥与密钥管理：集中安全地管理您的 API 密钥和密钥，避免不安全操作。

• 🎮 实验不同 LLM：使用 OpenGround 探索、测试并并排比较各种 LLM。

• 🚀 用于 OpAMP 管理的 Fleet Hub：使用 OpAMP（开放代理管理协议）通过安全的 TLS 通信，集中管理和监控您基础设施中的 OpenTelemetry Collector。

🚀 开始使用 LLM 可观测性

flowchart TB;
    subgraph " "
        direction LR;
        subgraph " "
            direction LR;
            OpenLIT_SDK[OpenLIT SDK] -->|Sends Traces & Metrics| OTC[OpenTelemetry Collector];
            OTC -->|Stores Data| ClickHouseDB[ClickHouse];
        end
        subgraph " "
            direction RL;
            OpenLIT_UI[OpenLIT] -->|Pulls Data| ClickHouseDB;
        end
    end

步骤 1：部署 OpenLIT 栈

1. 克隆 OpenLIT 仓库

   打开命令行或终端并运行：

   shell git clone git@github.com:openlit/openlit.git

2. 使用 Docker 自托管

   使用以下命令部署并运行 OpenLIT：

   shell docker compose up -d

有关使用 Helm 在 Kubernetes 中安装的说明，请参阅 Kubernetes Helm 安装指南。

步骤 2：安装 OpenLIT SDK

打开命令行或终端并运行：

pip install openlit

有关使用 TypeScript SDK 的说明，请访问 TypeScript SDK 安装指南。

步骤 3：在您的应用中初始化 OpenLIT

通过将以下代码行添加到您的代码中，将 OpenLIT 集成到您的 AI 应用中。

import openlit

openlit.init()

按如下方式配置遥测数据目的地：

💡 提示：如果未提供 otlp_endpoint 或 OTEL_EXPORTER_OTLP_ENDPOINT，OpenLIT SDK 将直接向控制台输出追踪数据，这在开发阶段是推荐的。

示例

步骤 4：可视化与优化

现在，可观测性数据正在被收集并发送到 OpenLIT，下一步是可视化并分析这些数据，以深入了解您的 AI 应用性能、行为，并识别改进领域。

只需在浏览器中访问 127.0.0.1:3000 即可开始探索。您可以使用以下默认凭据登录：

• 邮箱：user@openlit.io
• 密码：openlituser

📦 支持的集成

OpenLIT 通过一行代码自动检测 44+ 个 LLM 提供商、AI 框架和向量数据库。每个集成都会生成 原生 OpenTelemetry 追踪和指标。点击任意卡片查看集成文档。

_{Python SDK   
TypeScript SDK}

LLM 提供商

OpenAI	Anthropic	Cohere	Mistral AI
Groq	Google AI Studio	Together AI	Ollama
AWS Bedrock	Azure AI Inference	Vertex AI	vLLM
Reka	LiteLLM	Hugging Face	AI21
GPT4All	PremAI	Sarvam AI	Julep
MultiOn

AI 框架

LangChain