AnythingLLM — 企业级私有全能 AI 知识库

AnythingLLM：你一直在寻找的全能 AI 应用。
与你的文档对话、使用 AI 智能体、高度可配置、多用户支持，且无需繁琐的设置。

| | 文档 | 托管实例

English · 简体中文 · 日本語

👉 AnythingLLM 桌面版（Mac、Windows 和 Linux）！ 立即下载

AnythingLLM 是一个全栈应用程序，能够将任何文档、资源或内容转化为上下文，供任何大型语言模型（LLM）在聊天时作为参考。你可以自由选择要使用的 LLM 或向量数据库，并支持多用户管理和权限控制。

产品概述

AnythingLLM 是一个全栈应用程序，你可以使用商业现成的 LLM 或流行的开源 LLM 和向量数据库解决方案，构建一个功能完备的私有 ChatGPT。它既可以在本地运行，也可以远程托管，并能智能地与你提供的任何文档进行对话。

AnythingLLM 将你的文档组织成称为 工作空间 的对象。工作空间的功能类似于一个线程，但增加了文档容器化的特性。工作空间可以共享文档，但它们彼此独立，互不干扰，从而保持每个工作空间的上下文清晰。

AnythingLLM 的酷炫功能

• 🆕 完全兼容 MCP
• 🆕 无代码 AI 智能体构建器
• 🖼️ 多模态支持（闭源和开源 LLM 均可！）
• 自定义 AI 智能体
• 👤 多用户实例支持和权限管理 仅限 Docker 版本
• 🦾 工作空间内的智能体（例如浏览网页等）
• 💬 为你的网站提供可嵌入的自定义聊天小部件 仅限 Docker 版本
• 📖 支持多种文档类型（PDF、TXT、DOCX 等）
• 简洁的聊天界面，支持拖放功能和清晰的引用来源。
• 100% 支持云端部署。
• 兼容所有流行的闭源和开源 LLM 提供商。
• 内置成本与时间优化措施，相比其他聊天界面，能更高效地管理超大型文档。
• 完整的开发者 API，支持自定义集成！
• 更多功能……安装体验吧！

支持的 LLMs、嵌入模型、语音模型和向量数据库

大型语言模型（LLMs）：

• 任何与 llama.cpp 兼容的开源模型
• OpenAI
• OpenAI（通用）
• Azure OpenAI
• AWS Bedrock
• Anthropic
• NVIDIA NIM（聊天模型）
• Google Gemini Pro
• Hugging Face（聊天模型）
• Ollama（聊天模型）
• LM Studio（所有模型）
• LocalAI（所有模型）
• Together AI（聊天模型）
• Fireworks AI（聊天模型）
• Perplexity（聊天模型）
• OpenRouter（聊天模型）
• DeepSeek（聊天模型）
• Mistral
• Groq
• Cohere
• KoboldCPP
• LiteLLM
• Text Generation Web UI
• Apipie
• xAI
• Z.AI（聊天模型）
• Novita AI（聊天模型）
• PPIO
• Gitee AI
• Moonshot AI
• Microsoft Foundry Local
• CometAPI（聊天模型）
• Docker Model Runner
• PrivateModeAI（聊天模型）
• SambaNova Cloud（聊天模型）
• Lemonade by AMD

嵌入模型：

• AnythingLLM 原生嵌入器（默认）
• OpenAI
• Azure OpenAI
• LocalAI（全部）
• Ollama（全部）
• LM Studio（全部）
• Cohere

音频转录模型：

• AnythingLLM 内置（默认）
• OpenAI

TTS（文本转语音）支持：

• 原生浏览器内置（默认）
• PiperTTSLocal - 在浏览器中运行
• OpenAI TTS
• ElevenLabs
• 任何 OpenAI 兼容的 TTS 服务。

STT（语音转文本）支持：

• 原生浏览器内置（默认）

向量数据库：

• LanceDB（默认）
• PGVector
• Astra DB
• Pinecone
• Chroma & ChromaCloud
• Weaviate
• Qdrant
• Milvus
• Zilliz

技术概述

此单体仓库包含六个主要部分：

• frontend：一个基于 viteJS + React 的前端，可用于轻松创建和管理 LLM 可以使用的所有内容。
• server：一个 NodeJS express 服务器，用于处理所有交互、向量数据库管理和 LLM 交互。
• collector：NodeJS express 服务器，用于处理和解析来自 UI 的文档。
• docker：Docker 指令、构建过程以及从源代码构建的信息。
• embed：用于生成和创建网页嵌入小部件的子模块。
• browser-extension：Chrome 浏览器扩展的子模块。

🛳 自托管

Mintplex Labs 和社区维护了多种部署方法、脚本和模板，供你在本地运行 AnythingLLM。请参考下表，了解如何在首选环境中部署或自动部署。

或在不使用 Docker 的情况下设置生产级 AnythingLLM 实例 →

如何设置开发环境

• yarn setup 用于填充每个应用程序部分所需的 .env 文件（在仓库根目录执行）。
• 在继续之前，请填写这些文件。确保 server/.env.development 已填写，否则功能可能无法正常工作。
• yarn dev:server 用于在本地启动服务器（在仓库根目录执行）。
• yarn dev:frontend 用于在本地启动前端（在仓库根目录执行）。
• yarn dev:collector 用于运行文档收集器（在仓库根目录执行）。

了解文档

了解向量缓存

外部应用与集成

这些应用并非由 Mintplex Labs 维护，但与 AnythingLLM 兼容。此处列出不代表官方认可。

• Midori AI Subsystem Manager - 使用 Docker 容器技术部署 AI 系统的简化高效方法。
• Coolify - 一键部署 AnythingLLM。
• GPTLocalhost for Microsoft Word - 一个本地 Word 插件，让你可以在 Microsoft Word 中使用 AnythingLLM。

遥测与隐私

Mintplex Labs Inc. 出品的 AnythingLLM 包含一个遥测功能