GPT4All

现已支持 DeepSeek R1 蒸馏模型

官方网站 • 文档 • Discord • YouTube 教程

GPT4All 可在日常的台式机和笔记本电脑上私有化运行大型语言模型（LLMs）。

无需 API 调用或 GPU——只需下载应用程序即可开始使用。

在我们的博客中了解最新动态。

订阅新闻通讯

https://github.com/nomic-ai/gpt4all/assets/70534565/513a0f15-4964-4109-89e4-4f9a9011f311

GPT4All 的实现得益于我们的计算合作伙伴 Paperspace。

下载链接

— Windows 安装程序 —

— Windows ARM 安装程序 —

— macOS 安装程序 —

— Ubuntu 安装程序 —

Windows 和 Linux 版本要求 Intel Core i3 第二代 / AMD Bulldozer 或更高性能的处理器。

Windows ARM 版本支持 Qualcomm Snapdragon 和 Microsoft SQ1/SQ2 处理器。

Linux 版本仅支持 x86-64 架构（不支持 ARM）。

macOS 版本要求 Monterey 12.6 或更高版本。在 Apple Silicon M 系列处理器上效果最佳。

更多详情请参阅完整的系统要求。

Flathub（社区维护）

安装 GPT4All Python 包

gpt4all 通过我们的 Python 客户端，让你能够访问基于 llama.cpp 实现的 LLMs。

Nomic 致力于为开源软件（如 llama.cpp）做出贡献，旨在让 LLMs 对所有人 都易于访问且高效运行。

pip install gpt4all

from gpt4all import GPT4All
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf") # 下载/加载一个 4.66GB 的 LLM
with model.chat_session():
    print(model.generate("如何在我的笔记本电脑上高效运行 LLMs？", max_tokens=1024))

集成

:parrot::link: Langchain
:card_file_box: Weaviate 向量数据库 - 模块文档
:telescope: OpenLIT（原生 OTel 监控） - 文档

发布历史

• 2024年7月2日: V3.0.0 发布
  • 聊天应用 UI 全新设计
  • 改进了 LocalDocs 的用户工作流程
  • 扩展了对更多模型架构的访问
• 2023年10月19日: 推出 GGUF 支持，包括：
  • Mistral 7b 基础模型，网站上更新的模型库，以及包括 Rift Coder v1.5 在内的多个新的本地代码模型
  • 在 GGUF 的 Q4_0 和 Q4_1 量化中支持 Nomic Vulkan。
  • 离线构建支持，用于运行旧版本的 GPT4All 本地 LLM 聊天客户端。
• 2023年9月18日: Nomic Vulkan 发布，支持在 NVIDIA 和 AMD GPU 上进行本地 LLM 推理。
• 2023年7月: 稳定支持 LocalDocs 功能，允许你私有且本地化地与你的数据对话。
• 2023年6月28日: 推出基于 Docker 的 API 服务器，允许通过 OpenAI 兼容的 HTTP 端点进行本地 LLM 推理。

贡献

GPT4All 欢迎来自开源社区的贡献、参与和讨论！
请参阅 CONTRIBUTING.md 并遵循问题、错误报告和 PR 的 Markdown 模板。

请查看项目 Discord、与项目所有者沟通或查阅现有问题/PR，以避免重复工作。
请确保为所有相关内容添加相关项目标识符标签，否则你的贡献可能会被遗漏。
示例标签：backend、bindings、python-bindings、documentation 等。

引用

如果你在下游项目中使用了此仓库、模型或数据，请考虑引用：

@misc{gpt4all,
  author = {Yuvanesh Anand and Zach Nussbaum and Brandon Duderstadt and Benjamin Schmidt and Andriy Mulyar},
  title = {GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/nomic-ai/gpt4all}},
}