llama.cpp

宣言 / ggml / 运算

使用 C/C++ 进行 LLM 推理

近期 API 变更

• libllama API 变更日志
• llama-server REST API 变更日志

热点话题

• 指南：使用 llama.cpp 的新 WebUI
• 指南：使用 llama.cpp 运行 gpt-oss
• [反馈] 为 llama.cpp 提供更好的打包方案以支持下游用户 🤗
• 已添加对原生 MXFP4 格式 gpt-oss 模型的支持 | PR | 与 NVIDIA 的合作 | 评论
• 多模态支持已登陆 llama-server：#12898 | 文档
• 用于 FIM 补全的 VS Code 扩展：https://github.com/ggml-org/llama.vscode
• 用于 FIM 补全的 Vim/Neovim 插件：https://github.com/ggml-org/llama.vim
• Hugging Face Inference Endpoints 现已开箱即用地支持 GGUF！https://github.com/ggml-org/llama.cpp/discussions/9669
• Hugging Face GGUF 编辑器：讨论 | 工具

快速开始

开始使用 llama.cpp 非常简单。以下是几种在您的机器上安装的方法：

• 使用 brew, nix 或 winget 安装 llama.cpp
• 使用 Docker 运行 - 查看我们的 Docker 文档
• 从 发布页面 下载预编译的二进制文件
• 通过克隆此仓库从源代码构建 - 查看 我们的构建指南

安装完成后，您需要一个模型来运行。请前往 获取与量化模型 部分了解更多信息。

示例命令：

# 使用本地模型文件
llama-cli -m my_model.gguf

# 或直接从 Hugging Face 下载并运行模型
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

# 启动 OpenAI 兼容的 API 服务器
llama-server -hf ggml-org/gemma-3-1b-it-GGUF

项目描述

llama.cpp 的主要目标是在广泛的硬件上（本地和云端）以最少的设置实现最先进的 LLM 推理性能。

• 纯 C/C++ 实现，无任何依赖
• Apple Silicon 是一等公民 - 通过 ARM NEON、Accelerate 和 Metal 框架进行优化
• 对 x86 架构支持 AVX、AVX2、AVX512 和 AMX
• 对 RISC-V 架构支持 RVV、ZVFH、ZFH、ZICBOP 和 ZIHINTPAUSE
• 支持 1.5 位、2 位、3 位、4 位、5 位、6 位和 8 位整数量化，以加速推理并减少内存使用
• 自定义 CUDA 内核，用于在 NVIDIA GPU 上运行 LLM（通过 HIP 支持 AMD GPU，通过 MUSA 支持摩尔线程 GPU）
• 支持 Vulkan 和 SYCL 后端
• CPU+GPU 混合推理，以部分加速超过总 VRAM 容量的模型

llama.cpp 项目是开发 ggml 库新功能的主要试验场。