FastChat

| 演示 | Discord | X |

FastChat 是一个用于训练、服务和评估基于大语言模型的聊天机器人的开放平台。
- FastChat 驱动着 Chatbot Arena (lmarena.ai)，为 70 多个大语言模型处理了超过 1000 万次聊天请求。
- Chatbot Arena 已从并排的大语言模型对战收集了超过 150 万张人类投票，并据此编制了在线的 大语言模型 Elo 排行榜。

FastChat 的核心功能包括：
- 最先进模型（如 Vicuna、MT-Bench）的训练和评估代码。
- 一个具有 Web UI 和 OpenAI 兼容 RESTful API 的分布式多模型服务系统。

新闻

• [2024/03] 🔥 我们发布了 Chatbot Arena 技术报告。
• [2023/09] 我们发布了 LMSYS-Chat-1M，一个大规模的真实世界大语言模型对话数据集。阅读报告。
• [2023/08] 我们发布了基于 Llama 2、支持 4K 和 16K 上下文长度的 Vicuna v1.5。下载权重。
• [2023/07] 我们发布了 Chatbot Arena Conversations，一个包含 3.3 万条对话及人类偏好的数据集。在此下载。

目录

• 安装
• 模型权重
• 使用命令行界面进行推理
• 使用 Web GUI 进行服务
• API
• 评估
• 微调
• 引用

安装

方法一：使用 pip

pip3 install "fschat[model_worker,webui]"

方法二：从源码安装

1. 克隆此仓库并进入 FastChat 文件夹

git clone https://github.com/lm-sys/FastChat.git
cd FastChat

如果在 Mac 上运行：

brew install rust cmake

2. 安装包

pip3 install --upgrade pip  # 启用 PEP 660 支持
pip3 install -e ".[model_worker,webui]"

模型权重

Vicuna 权重

Vicuna 基于 Llama 2，应在 Llama 的模型许可证下使用。

您可以使用以下命令开始聊天。它会自动从 Hugging Face 仓库下载权重。
下载的权重存储在用户主文件夹的 .cache 文件夹中（例如 ~/.cache/huggingface/hub/<model_name>）。

更多命令选项以及如何处理内存不足问题，请参阅下面的“使用命令行界面进行推理”部分。

注意：16K 版本需要 transformers>=4.31。

旧权重：所有权重版本及其差异请参见 docs/vicuna_weights_version.md。

其他模型

除了 Vicuna，我们还发布了另外两个模型：LongChat 和 FastChat-T5。
您可以使用以下命令与它们聊天。它们会自动从 Hugging Face 仓库下载权重。

使用命令行界面进行推理

（实验性功能：您可以指定 --style rich 来启用富文本输出，并为某些非 ASCII 内容提供更好的文本流质量。这可能在某些终端上无法正常工作。）

支持的模型

FastChat 支持广泛的模型，包括
LLama 2, Vicuna, Alpaca, Baize, ChatGLM, Dolly, Falcon, FastChat-T5, GPT4ALL, Guanaco, MTP, OpenAssistant, OpenChat, RedPajama, StableLM, WizardLM, xDAN-AI 等。

查看支持的完整模型列表以及添加新模型的说明在此。

单 GPU

以下命令 Vicuna-7B 大约需要 14GB GPU 内存，Vicuna-13B 大约需要 28GB GPU 内存。
如果内存不足，请参阅下面的"内存不足"部分。
--model-path 可以是本地文件夹或 Hugging Face 仓库名称。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5

多 GPU

您可以使用模型并行来聚合同一台机器上多个 GPU 的内存。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --num-gpus 2

提示：
有时 huggingface/transformers 中的 "auto" 设备映射策略无法完美平衡多个 GPU 之间的内存分配。
您可以使用 --max-gpu-memory 来指定每个 GPU 用于存储模型权重的最大内存。
这允许它为激活分配更多内存，因此您可以使用更长的上下文长度或更大的批次大小。例如，

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --num-gpus 2 --max-gpu-memory 8GiB

仅 CPU

这仅在 CPU 上运行，不需要 GPU。Vicuna-7B 大约需要 30GB CPU 内存，Vicuna-13B 大约需要 60GB CPU 内存。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device cpu

使用 Intel AI Accelerator AVX512_BF16/AMX 加速 CPU 推理。

CPU_ISA=amx python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device cpu

Metal 后端（配备 Apple Silicon 或 AMD GPU 的 Mac 电脑）

使用 --device mps 在 Mac 电脑上启用 GPU 加速（需要 torch >= 2.0）。
使用 --load-8bit 开启 8 位压缩。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device mps --load-8bit

Vicuna-7B 可以在 32GB M1 Macbook 上以每秒 1-2 个单词的速度运行。

Intel XPU（Intel 数据中心和 Arc A 系列 GPU）

安装 Intel Extension for PyTorch。设置 OneAPI 环境变量：

source /opt/intel/oneapi/setvars.sh

使用 --device xpu 启用 XPU/GPU 加速。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device xpu

Vicuna-7B 可以在 Intel Arc A770 16GB 上运行。

Ascend NPU

安装 Ascend PyTorch Adapter。设置 CANN 环境变量：

source /usr/local/Ascend/ascend-toolkit/set_env.sh

使用 --device npu 启用 NPU 加速。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device npu

Vicuna-7B/13B 可以在 Ascend NPU 上运行。

内存不足

如果内存不足，您可以通过在上述命令中添加 --load-8bit 来启用 8 位压缩。
这可以将内存使用量减少大约一半，同时模型质量略有下降。
它与 CPU、GPU 和 Metal 后端兼容。

启用 8 位压缩的 Vicuna-13B 可以在具有 16 GB VRAM 的单 GPU 上运行，例如 Nvidia RTX 3090、RTX 4080、T4、V100 (16GB) 或 AMD RX 6800 XT。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --load-8bit

除此之外，您还可以在上述命令中添加 --cpu-offloading，将 GPU 上放不下的权重卸载到 CPU 内存中。
这需要启用 8 位压缩并安装 bitsandbytes 包，该包仅在 Linux 操作系统上可用。

更多平台和量化

• 对于 AMD GPU 用户，请在安装 FastChat 之前安装 ROCm 和 PyTorch 的 ROCm 版本。另请参阅此帖子。
• FastChat 支持 ExLlama V2。参见 docs/exllama_v2.md。
• FastChat 支持使用 GPTQ-for-LLaMa 进行 GPTQ 4 位推理。参见 docs/gptq.md。
• FastChat 支持使用 mit-han-lab/llm-awq 进行 AWQ 4 位推理。参见 docs/awq.md。
• MLC LLM，由 TVM Unity 编译器支持，通过 Vulkan、Metal、CUDA 和 WebGPU 将 Vicuna 原生部署在手机、消费级 GPU 和 Web 浏览器上。

使用来自 modelscope 的模型

对于中国用户，您可以通过指定以下环境变量来使用来自 www.modelscope.cn 的模型。

export FASTCHAT_USE_MODELSCOPE=True

使用 Web GUI 进行服务

要使用 Web UI 进行服务，您需要三个主要组件：与用户交互的 Web 服务器、托管一个或多个模型的模型工作器，以及一个协调 Web 服务器和模型工作器的控制器。您可以在此处了解更多关于架构的信息。

以下是您需要在终端中执行的命令：

启动控制器

python3 -m fastchat.serve.controller

此控制器管理分布式工作器。

启动模型工作器

python3 -m fastchat.serve.model_worker --model-path lmsys/vicuna-7b-v1.5

等待进程完成模型加载，直到您看到 "Uvicorn running on ..."。模型工作器将向控制器注册自己。

为确保您的模型工作器正确连接到控制器，请使用以下命令发送测试消息：

python3 -m fastchat.serve.test_message --model-name vicuna-7b-v1.5

您将看到一个简短的输出。

启动 Gradio Web 服务器

python3 -m fastchat.serve.gradio_web_server

这是用户将与之交互的用户界面。

按照这些步骤，您将能够使用 Web UI 为您的模型提供服务。现在您可以打开浏览器并与模型聊天了。
如果模型没有显示，请尝试重启 gradio web 服务器。

启动 Chatbot Arena（并排对战 UI）

目前，Chatbot Arena 由 FastChat 驱动。以下是您如何在本地启动 Chatbot Arena 实例的方法。

FastChat 支持流行的基于 API 的模型，如 OpenAI、Anthropic、Gemini、Mistral 等。要添加自定义 API，请参阅模型支持文档。下面我们以 OpenAI 模型为例。

创建一个 JSON 配置文件 api_endpoint.json，其中包含您要服务的模型的 API 端点，例如：

{
    "gpt-4o-2024-05-13": {
        "model_name": "gpt-4o-2024-05-13",
        "api_base": "https://api.openai.com/v1",
        "api_type": "openai",
        "api_key": [插入 API 密钥],
        "anony_only": false
    }
}

对于 Anthropic 模型，使用您的 Anthropic 密钥指定 "api_type": "anthropic_message"。类似地，对于 gemini 模型，指定 "api_type": "gemini"。更多详细信息可以在 api_provider.py 中找到。

要使用本地 GPU 服务您自己的模型，请按照使用 Web GUI 进行服务中的说明操作。

现在您可以启动服务器了：

python3 -m fastchat.serve.gradio_web_server_multi --register-api-endpoint-file api_endpoint.json

（可选）：高级功能、可扩展性、第三方 UI

• 您可以将多个模型工作器注册到单个控制器，这可用于以更高吞吐量服务单个模型或同时服务多个模型。执行此操作时，请为不同的模型工作器分配不同的 GPU 和端口。
  ```

worker 0

CUDA_VISIBLE_DEVICES=0 python3 -m fastchat.serve.model_worker --model-path lmsys/vicuna-7b-v1.5 --controller http://localhost:21001 --port 31000 --worker http://localhost:31000

worker 1

CUDA_VISIBLE_DEVICES=1 python3 -m fastchat.serve.model_worker --model-path lmsys/fastchat-t5-3b-v1.0 --controller http://localhost:21001 --port 31001 --worker http://localhost