OA0 ›
代码 ›
Text-generation-webui — 本地运行 LLM 的 Gradio 界面
Text-generation-webui — 本地运行 LLM 的 Gradio 界面
patch · 2026-01-27 16:14:42 · 13 次点击 · 0 条评论
Text Generation Web UI
一个基于 Gradio 的大语言模型 Web 界面。
 |
 |
|---|---|
 |
 |
🔥 最新动态
- 项目现已支持图像生成！包括 Z-Image-Turbo、4bit/8bit 量化、
torch.compile以及 LLM 生成的提示词变体（教程）。
功能特性
- 支持多种本地文本生成后端，包括 llama.cpp、Transformers、ExLlamaV3、ExLlamaV2 和 TensorRT-LLM（后者通过其专属的 Dockerfile 支持）。
- 易于安装：可选择便携版构建（零配置，解压即用）以在 Windows/Linux/macOS 上运行 GGUF 模型，或使用一键安装程序创建独立的
installer_files目录。 - 100% 离线且私密，无遥测、外部资源或远程更新请求。
- 文件附件：上传文本文件、PDF 文档和 .docx 文档，并与其内容进行对话。
- 视觉（多模态模型）：在消息中附加图像以实现视觉理解（教程）。
- 图像生成：专为
diffusers模型（如 Z-Image-Turbo）设计的独立标签页。支持 4 位/8 位量化，并带有包含元数据的持久化画廊（教程）。 - 网络搜索：可选择使用 LLM 生成的查询词搜索互联网，为对话添加上下文。
- 美观的 UI，支持深色和浅色主题。
- 代码块的语法高亮和数学表达式的 LaTeX 渲染。
instruct模式用于遵循指令（类似 ChatGPT），chat-instruct/chat模式用于与自定义角色对话。- 使用 Jinja2 模板自动格式化提示词。您无需再担心提示词格式。
- 编辑消息、在消息版本间导航，并可在任意点分支对话。
- 多种采样参数和生成选项，用于精细的文本生成控制。
- 无需重启即可在 UI 中切换不同模型。
- 为 GGUF 模型自动分配 GPU 层（在 NVIDIA GPU 上）。
- 在 Notebook 标签页中进行自由格式的文本生成，不受聊天轮次限制。
- 兼容 OpenAI 的 API，包含 Chat 和 Completions 端点，并支持工具调用——详见示例。
- 支持扩展，提供众多内置和用户贡献的扩展。详情请参阅 wiki 和 扩展目录。
如何安装
✅ 选项 1：便携版构建（1 分钟上手）
无需安装——只需下载、解压并运行。所有依赖项均已包含。
兼容 Windows、Linux 和 macOS 上的 GGUF (llama.cpp) 模型。
从此处下载：https://github.com/oobabooga/text-generation-webui/releases
选项 2：使用 venv 手动便携安装
非常快速的安装方式，适用于任何 Python 3.9+ 环境：
# 克隆仓库
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
# 创建虚拟环境
python -m venv venv
# 激活虚拟环境
# Windows:
venv\Scripts\activate
# macOS/Linux:
source venv/bin/activate
# 安装依赖项（根据您的硬件，在 requirements/portable 下选择合适的文件）
pip install -r requirements/portable/requirements.txt --upgrade
# 启动服务器（基础命令）
python server.py --portable --api --auto-launch
# 工作完成后，停用环境
deactivate
选项 3：一键安装程序
适用于需要额外后端（ExLlamaV3、Transformers）或扩展（TTS、语音输入、翻译等）的用户。需要约 10GB 磁盘空间并会下载 PyTorch。
- 克隆仓库，或下载其源代码并解压。
- 运行适用于您操作系统的启动脚本：
start_windows.bat、start_linux.sh或start_macos.sh。 - 根据提示选择您的 GPU 供应商。
- 安装完成后，在浏览器中打开
http://127.0.0.1:7860。
稍后要重启 Web UI，请运行相同的 start_ 脚本。
您可以直接传递命令行标志（例如 ./start_linux.sh --help），或将它们添加到 user_data/CMD_FLAGS.txt 中（例如添加 --api 以启用 API）。
要更新，请运行适用于您操作系统的更新脚本：update_wizard_windows.bat、update_wizard_linux.sh 或 update_wizard_macos.sh。
要使用全新的 Python 环境重新安装，请删除 installer_files 文件夹并再次运行 start_ 脚本。
一键安装程序详情
### 一键安装程序 该脚本使用 Miniforge 在 `installer_files` 文件夹中设置 Conda 环境。 如果您需要在 `installer_files` 环境中手动安装某些内容，可以使用 cmd 脚本启动交互式 shell：`cmd_linux.sh`、`cmd_windows.bat` 或 `cmd_macos.sh`。 * 无需以管理员/root 身份运行任何脚本（`start_`、`update_wizard_` 或 `cmd_`）。 * 要安装扩展的依赖项，建议使用更新向导脚本并选择“安装/更新扩展依赖项”选项。最后，此脚本将安装项目的主要依赖项，以确保在发生版本冲突时优先使用它们。 * 对于自动化安装，您可以使用环境变量 `GPU_CHOICE`、`LAUNCH_AFTER_INSTALL` 和 `INSTALL_EXTENSIONS`。例如：`GPU_CHOICE=A LAUNCH_AFTER_INSTALL=FALSE INSTALL_EXTENSIONS=TRUE ./start_linux.sh`。使用 conda 或 docker 进行手动完整安装
### 使用 Conda 完整安装 #### 0. 安装 Conda https://github.com/conda-forge/miniforge 在 Linux 或 WSL 上，可以使用以下两个命令自动安装 Miniforge：curl -sL "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.sh" > "Miniforge3.sh"
bash Miniforge3.sh
conda create -n textgen python=3.11
conda activate textgen
conda install -y -c "nvidia/label/cuda-12.8.1" cuda
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements/full/<根据下表选择 requirements 文件>
conda activate textgen
cd text-generation-webui
python server.py
对于 NVIDIA GPU：
ln -s docker/{nvidia/Dockerfile,nvidia/docker-compose.yml,.dockerignore} .
对于 AMD GPU：
ln -s docker/{amd/Dockerfile,amd/docker-compose.yml,.dockerignore} .
对于 Intel GPU：
ln -s docker/{intel/Dockerfile,amd/docker-compose.yml,.dockerignore} .
对于仅 CPU：
ln -s docker/{cpu/Dockerfile,cpu/docker-compose.yml,.dockerignore} .
cp docker/.env.example .env
#创建 logs/cache 目录：
mkdir -p user_data/logs user_data/cache
# 编辑 .env 并设置：
# TORCH_CUDA_ARCH_LIST 基于您的 GPU 型号
# APP_RUNTIME_GID 您主机用户的组 ID（在终端中运行 `id -g`）
# BUILD_EXTENIONS 可选，添加要构建的扩展的逗号分隔列表
# 编辑 user_data/CMD_FLAGS.txt 并在其中添加您想要执行的选项（如 --listen --cpu）
#
docker compose up --build
conda activate textgen
cd text-generation-webui
pip install -r <您之前使用的 requirements 文件> --upgrade