OpenLLMetry — 构建 LLM 可观测性的开源遥测方案

为您的 LLM 应用提供开源可观测性

快速开始 »

Slack | 文档 | 官方网站

🎉 新特性：
我们的语义约定现已纳入 OpenTelemetry！欢迎加入讨论，与我们共同塑造 LLM 可观测性的未来。

寻找 JS/TS 版本？请查看 OpenLLMetry-JS。

OpenLLMetry 是一组基于 OpenTelemetry 构建的扩展，可为您的 LLM 应用提供全面的可观测性。由于底层使用 OpenTelemetry，它可以连接到您现有的可观测性解决方案——如 Datadog、Honeycomb 等。

该项目由 Traceloop 在 Apache 2.0 许可下构建和维护。

此仓库包含针对 LLM 提供商和向量数据库的标准 OpenTelemetry 插桩，以及一个 Traceloop SDK，该 SDK 使您能够轻松上手 OpenLLMetry，同时仍能输出可连接到您的可观测性堆栈的标准 OpenTelemetry 数据。
如果您已经对 OpenTelemetry 进行了插桩，也可以直接添加我们的任何插桩。

🚀 快速开始

最简单的入门方式是使用我们的 SDK。
完整指南请参阅我们的文档。

安装 SDK：

pip install traceloop-sdk

然后，只需在代码中添加以下一行即可开始插桩：

from traceloop.sdk import Traceloop

Traceloop.init()

就这么简单。现在您已经通过 OpenLLMetry 对代码进行追踪了！
如果您在本地运行，可能需要禁用批量发送，以便立即查看追踪结果：

Traceloop.init(disable_batch=True)

⏫ 支持的（且经过测试的）目标平台

• ✅ Traceloop
• ✅ Axiom
• ✅ Azure Application Insights
• ✅ Braintrust
• ✅ Dash0
• ✅ Datadog
• ✅ Dynatrace
• ✅ Google Cloud
• ✅ Grafana
• ✅ Highlight
• ✅ Honeycomb
• ✅ HyperDX
• ✅ IBM Instana
• ✅ KloudMate
• ✅ Laminar
• ✅ New Relic
• ✅ OpenTelemetry Collector
• ✅ Oracle Cloud
• ✅ Scorecard
• ✅ Service Now Cloud Observability
• ✅ SigNoz
• ✅ Sentry
• ✅ Splunk
• ✅ Tencent Cloud

请参阅我们的文档了解如何连接以上每个平台。

🪗 我们插桩哪些内容？

OpenLLMetry 可以插桩 OpenTelemetry 已支持的所有内容——例如数据库、API 调用等。在此基础上，我们还构建了一组自定义扩展，用于插桩对 OpenAI 或 Anthropic 的调用，以及 Chroma、Pinecone、Qdrant 或 Weaviate 等向量数据库。

• ✅ Aleph Alpha
• ✅ Anthropic
• ✅ Bedrock (AWS)
• ✅ Cohere
• ✅ Google Generative AI (Gemini)
• ✅ Groq
• ✅ HuggingFace
• ✅ IBM Watsonx AI
• ✅ Mistral AI
• ✅ Ollama
• ✅ OpenAI / Azure OpenAI
• ✅ Replicate
• ✅ SageMaker (AWS)
• ✅ Together AI
• ✅ Vertex AI (GCP)
• ✅ WRITER

向量数据库

• ✅ Chroma
• ✅ LanceDB
• ✅ Marqo
• ✅ Milvus
• ✅ Pinecone
• ✅ Qdrant
• ✅ Weaviate

框架

• ✅ Agno
• ✅ AWS Strands（内置 OTEL 支持）
• ✅ CrewAI
• ✅ Haystack
• ✅ LangChain
• ✅ Langflow
• ✅ LangGraph
• ✅ LiteLLM
• ✅ LlamaIndex
• ✅ OpenAI Agents

协议

• ✅ MCP

🔎 遥测

我们已不再在 SDK 或插桩中记录或收集任何遥测数据。请确保升级到 v0.49.2 及以上版本。

我们曾收集遥测数据的原因

• 主要目的是检测插桩中的异常。由于 LLM 提供商经常更新其 API，这有助于我们快速识别并修复任何破坏性变更。
• 我们只收集匿名数据，不包含任何个人身份信息。您可以在我们的隐私文档中查看我们收集的确切数据。
• 遥测仅在 SDK 中收集。如果您直接使用插桩而不通过 SDK，则不会收集任何遥测数据。

🌱 贡献

无论贡献大小，我们都非常欢迎 ❤️ 请查看我们的指南了解如何开始。

不确定从哪里开始？您可以：

• 与我们的一位团队成员预约免费结对编程时段！
• 加入我们的 Slack，在那里向我们提问。

💚 社区与支持

• Slack（与社区和 Traceloop 团队进行实时讨论）
• GitHub Discussions（获取构建帮助和深入探讨功能）
• GitHub Issues（报告您在使用 OpenLLMetry 时遇到的任何错误）
• Twitter（快速获取新闻）

🙏 特别感谢

感谢 @patrickdebois，他提出了这个很棒的名称，我们现在正在使用这个名称！

💫 贡献者