:bulb: 获取帮助 - ❓常见问题 💭讨论区 :speech_balloon: Discord :book: 文档网站

💻 快速开始 🖼️ 模型库 🚀 路线图 🛫 示例 在 Telegram 上试用

LocalAI 是一个免费、开源的 OpenAI 替代方案。它作为一个即插即用的 REST API，兼容 OpenAI（Elevenlabs、Anthropic...）的 API 规范，用于本地 AI 推理。它允许你在本地或私有环境中使用消费级硬件运行 LLM、生成图像、音频（以及更多功能），支持多种模型系列。无需 GPU。由 Ettore Di Giacinto 创建和维护。

本地栈家族

喜欢 LocalAI？LocalAI 是集成 AI 基础设施工具套件的一部分，你可能也会喜欢：

• LocalAGI - 具有 OpenAI Responses API 兼容性和高级代理功能的 AI 代理编排平台
• LocalRecall - 为 AI 代理提供持久化内存和存储的 MCP/REST API 知识库系统
• 🆕 Cogito - 用于构建智能、协作的代理软件和 LLM 驱动工作流的 Go 库，专注于提升小型开源语言模型的效果，并可扩展到任何 LLM。为 LocalAGI 和 LocalAI 的 MCP/代理功能提供支持
• 🆕 Wiz - 可通过 Ctrl+Space 快捷键访问的终端 AI 代理。便携、支持本地 LLM 的 Shell 助手，具有 TUI/CLI 模式、带批准的工具执行、MCP 协议支持和多 Shell 兼容性（zsh、bash、fish）
• 🆕 SkillServer - 通过 MCP 为 AI 代理提供的简单、集中式技能数据库。将技能作为 Markdown 文件管理，具有 MCP 服务器集成、用于编辑的 Web UI、Git 同步和全文搜索功能

截图 / 视频

Youtube 视频

截图

对话界面	生成音频

模型概览	生成图像

聊天界面	主页

登录	集群

💻 快速开始

macOS 下载：

注意：DMG 文件未经过苹果签名，会被隔离。解决方法请参阅 https://github.com/mudler/LocalAI/issues/6268，修复进度跟踪：https://github.com/mudler/LocalAI/issues/6244

容器（Docker, podman, ...）

💡 Docker Run 与 Docker Start 的区别

• docker run 创建并启动一个新容器。如果已存在同名容器，此命令将失败。
• docker start 启动一个之前通过 docker run 创建的现有容器。

如果你之前已经运行过 LocalAI 并想再次启动它，请使用：docker start -i local-ai

仅 CPU 镜像：

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

NVIDIA GPU 镜像：

# CUDA 13.0
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-13

# CUDA 12.0
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12

# NVIDIA Jetson (L4T) ARM64
# CUDA 12（适用于 Nvidia AGX Orin 及类似平台）
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-nvidia-l4t-arm64

# CUDA 13（适用于 Nvidia DGX Spark）
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-nvidia-l4t-arm64-cuda-13

AMD GPU 镜像（ROCm）：

docker run -ti --name local-ai -p 8080:8080 --device=/dev/kfd --device=/dev/dri --group-add=video localai/localai:latest-gpu-hipblas

Intel GPU 镜像（oneAPI）：

docker run -ti --name local-ai -p 8080:8080 --device=/dev/dri/card1 --device=/dev/dri/renderD128 localai/localai:latest-gpu-intel

Vulkan GPU 镜像：

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-gpu-vulkan

AIO 镜像（预下载模型）：

# CPU 版本
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-aio-cpu

# NVIDIA CUDA 13 版本
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-aio-gpu-nvidia-cuda-13

# NVIDIA CUDA 12 版本
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-aio-gpu-nvidia-cuda-12

# Intel GPU 版本
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-aio-gpu-intel

# AMD GPU 版本
docker run -ti --name local-ai -p 8080:8080 --device=/dev/kfd --device=/dev/dri --group-add=video localai/localai:latest-aio-gpu-hipblas

有关 AIO 镜像和预下载模型的更多信息，请参阅容器文档。

加载模型：

# 从模型库加载（使用 `local-ai models list` 查看可用模型，或在 WebUI 的模型选项卡中查看，或访问 https://models.localai.io）
local-ai run llama-3.2-1b-instruct:q4_k_m
# 直接从 huggingface 启动 LocalAI 并加载 phi-2 模型
local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf
# 从 Ollama OCI 注册表安装并运行模型
local-ai run ollama://gemma:2b
# 从配置文件运行模型
local-ai run https://gist.githubusercontent.com/.../phi-2.yaml
# 从标准 OCI 注册表（例如 Docker Hub）安装并运行模型
local-ai run oci://localai/phi-2:latest

⚡ 自动后端检测：当你从模型库或 YAML 文件安装模型时，LocalAI 会自动检测你系统的 GPU 能力（NVIDIA、AMD、Intel）并下载合适的后端。有关高级配置选项，请参阅 GPU 加速。

更多信息，请参阅 💻 快速开始。如果你对我们的路线图项目和未来增强功能感兴趣，可以查看标记为 Roadmap 的议题。

📰 最新项目动态

• 2026年2月：支持工具调用的音频到音频实时 API，ACE-Step 1.5 支持
• 2026年1月：LocalAI 3.10.0 - 主要版本，包含 Anthropic API 支持、用于有状态代理的 Open Responses API、视频和图像生成套件（LTX-2）、统一的 GPU 后端、工具流式传输和 XML 解析、系统感知的后端库、针对仅支持 AVX 的 CPU 和 AMD VRAM 报告的崩溃修复、请求追踪，以及新的后端：Moonshine（超快转录）、Pocket-TTS（轻量级 TTS）。现已提供 Vulkan arm64 构建。发布说明。
• 2025年12月：动态内存资源回收器，自动将模型适配到多个 GPU（llama.cpp），添加 Vibevoice 后端
• 2025年11月：用户体验的重大改进。其中包括：通过 URL 导入模型 和 多聊天和历史记录
• 2025年10月：🔌 添加了 模型上下文协议（MCP） 支持，用于与外部工具进行代理交互，以及 LocalAGI 的代理功能
• 2025年9月：适用于 macOS 和 Linux 的新启动器应用程序，扩展了对 Mac 和 Nvidia L4T 设备的许多后端支持。模型：添加了 MLX-Audio、WAN 2.2。WebUI 改进，Python 后端现在提供便携式 Python 环境。
• 2025年8月：MLX、MLX-VLM、Diffusers 和 llama.cpp 现在支持 Mac M1/M2/M3+ 芯片（在模型库中带有 development 后缀）：https://github.com/mudler/LocalAI/pull/6049 https://github.com/mudler/LocalAI/pull/6119 https://github.com/mudler/LocalAI/pull/6121 https://github.com/mudler/LocalAI/pull/6060
• 2025年7月/8月：🔍 API 中添加了目标检测功能，采用 rf-detr
• 2025年7月：所有后端已从主二进制文件中迁移出来。LocalAI 现在更轻量、小巧，并自动下载运行模型所需的后端。阅读发布说明
• 2025年6月：添加了后端管理。注意：从下一个版本开始，extras 镜像将被弃用！阅读后端管理 PR。
• 2025年5月