OA0

OA0 是一个探索 AI 的社区

现在注册

已注册用户请登录

OA0 › 代码 › LocalAI WebUI — 本地 AI 服务的轻量可视化管理界面

LocalAI WebUI — 本地 AI 服务的轻量可视化管理界面

meander · 2026-05-02 11:00:24 · 210 次点击 · 0 条评论

LocalAI 是一个开源 AI 引擎。您可以在任何硬件上运行任何模型（包括大语言模型、视觉、语音、图像、视频等），且无需 GPU。

即插即用的 API 兼容性 — 兼容 OpenAI、Anthropic、ElevenLabs 的 API
36 个以上后端 — 支持 llama.cpp、vLLM、transformers、whisper、diffusers、MLX 等
任意硬件 — 支持 NVIDIA、AMD、Intel、Apple Silicon、Vulkan 或纯 CPU
多位用户就绪 — API 密钥认证、用户配额、基于角色的访问控制
内置 AI 代理 — 支持工具调用、RAG、MCP 和技能集的自主代理
隐私优先 — 您的数据永远不会离开您的基础设施

由 Ettore Di Giacinto 创建和维护。

:book: 文档 | :speech_balloon: Discord | 💻 快速入门 | 🖼️ 模型 | ❓常见问题

导览

https://github.com/user-attachments/assets/08cbb692-57da-48f7-963d-2e7b43883c18

点击展开更多内容！

#### 用户与认证 https://github.com/user-attachments/assets/228fa9ad-81a3-4d43-bfb9-31557e14a36c #### 代理 https://github.com/user-attachments/assets/6270b331-e21d-4087-a540-6290006b381a #### 用户使用指标 https://github.com/user-attachments/assets/cbb03379-23b4-4e3d-bd26-d152f057007f #### 微调与量化 https://github.com/user-attachments/assets/5ba4ace9-d3df-4795-b7d4-b0b404ea71ee #### WebRTC https://github.com/user-attachments/assets/ed88e34c-fed3-4b83-8a67-4716a9feeb7b

快速入门

macOS

注意： 该 DMG 文件未经 Apple 签名。安装后，请运行：sudo xattr -d com.apple.quarantine /Applications/LocalAI.app。详情请参见 #6268。

容器 (Docker, podman, ...)

之前运行过 LocalAI？使用 docker start -i local-ai 重新启动现有容器。

仅 CPU：

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

NVIDIA GPU：

# CUDA 13
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-13

# CUDA 12
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12

# NVIDIA Jetson ARM64 (CUDA 12, 适用于 AGX Orin 及类似设备)
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-nvidia-l4t-arm64

# NVIDIA Jetson ARM64 (CUDA 13, 适用于 DGX Spark)
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-nvidia-l4t-arm64-cuda-13

AMD GPU (ROCm)：

docker run -ti --name local-ai -p 8080:8080 --device=/dev/kfd --device=/dev/dri --group-add=video localai/localai:latest-gpu-hipblas

Intel GPU (oneAPI)：

docker run -ti --name local-ai -p 8080:8080 --device=/dev/dri/card1 --device=/dev/dri/renderD128 localai/localai:latest-gpu-intel

Vulkan GPU：

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-gpu-vulkan

加载模型

# 从模型库加载 (使用 `local-ai models list` 查看可用模型，或访问 https://models.localai.io)
local-ai run llama-3.2-1b-instruct:q4_k_m
# 从 Huggingface 加载
local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf
# 从 Ollama OCI 仓库加载
local-ai run ollama://gemma:2b
# 从 YAML 配置加载
local-ai run https://gist.githubusercontent.com/.../phi-2.yaml
# 从标准 OCI 仓库 (例如 Docker Hub)
local-ai run oci://localai/phi-2:latest

自动后端检测：LocalAI 会自动检测您的 GPU 能力并下载相应的后端。有关高级选项，请参见 GPU 加速。

更多详情，请参阅快速入门指南。

功能特性

文本生成（llama.cpp、transformers、vllm ... 等更多）
文本转音频
音频转文本
图像生成
兼容 OpenAI 的工具 API
实时 API （语音转语音）
嵌入生成
约束文法
从 Huggingface 下载模型
视觉 API
目标检测
重排器 API
P2P 推理
分布式模式 — 使用 PostgreSQL + NATS 进行水平扩展
模型上下文协议 (MCP)
内置代理 — 支持工具调用、RAG、技能、SSE 流式传输和代理中心的自主 AI 代理
后端库 — 通过 OCI 镜像即时安装/移除后端
语音活动检测 (Silero-VAD)
集成 WebUI

支持的后端与加速

LocalAI 支持 36 个以上后端，包括 llama.cpp、vLLM、transformers、whisper.cpp、diffusers、MLX、MLX-VLM 等。硬件加速支持 NVIDIA (CUDA 12/13)、AMD (ROCm)、Intel (oneAPI/SYCL)、Apple Silicon (Metal)、Vulkan 和 NVIDIA Jetson (L4T)。所有后端均可从后端库即时安装。

请查看完整的后端与模型兼容性表和 GPU 加速指南。

资源

自主开发团队

LocalAI 由一个由 AI Scrum Master 领导的自主 AI 代理团队协助维护。

实时报告：reports.localai.io
项目看板：代理任务跟踪
博文：了解更多实验详情

引用

如果您在后续项目中使用此仓库或数据，请考虑引用：

@misc{localai,
  author = {Ettore Di Giacinto},
  title = {LocalAI: The free, Open source OpenAI alternative},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/go-skynet/LocalAI}},

赞助商

觉得 LocalAI 有用吗？

通过成为赞助者或支持者来支持该项目。您的 Logo 将显示在此处，并附上指向您网站的链接。

衷心感谢我们慷慨的赞助商支持本项目，覆盖 CI 费用，以及我们的赞助商列表：

个人赞助商

特别感谢个人赞助商，完整列表可在 GitHub 和 buymeacoffee 上查看。特别感谢 drikster80 的慷慨解囊。感谢大家！

Star 历史

许可证

LocalAI 是一个由 Ettore Di Giacinto 创建的社区驱动项目。

MIT - 作者 Ettore Di Giacinto mudler@localai.io

致谢

LocalAI 的诞生离不开社区已有的优秀软件。谢谢！

llama.cpp
https://github.com/tatsu-lab/stanford_alpaca
https://github.com/cornelk/llama-go 提供了最初的想法
https://github.com/antimatter15/alpaca.cpp
https://github.com/EdVince/Stable-Diffusion-NCNN
https://github.com/ggerganov/whisper.cpp
https://github.com/rhasspy/piper
exo 提供了 MLX 分布式自动并行分片实现

贡献者

这是一个社区项目，特别感谢我们的贡献者！

项目地址：https://github.com/go-skynet/LocalAI

210 次点击 ∙ 0 人收藏

登录后收藏

0 条回复