LoLLMs WEBUI（本地、单用户、多模型/多模态全面集成的 WebUI）

新的 lollms 项目地址：https://github.com/ParisNeo/lollms

这是一个更高级的版本，支持多用户和 MCP 兼容性。

lollms webui 仅保留最低限度的支持，最终将被新的 lollms 项目完全取代。

最新视频

这里有关于如何在 lollms 中使用函数调用的教程

LoLLMs 核心库下载统计

LoLLMs webui 下载统计

欢迎使用 LoLLMs WebUI（Lord of Large Language Multimodal Systems：一统天下的大型语言模型与多模态智能系统中心），它是 LLM（大型语言模型）和多模态智能系统的枢纽。本项目旨在提供一个用户友好的界面，方便访问和使用各种 LLM 及其他 AI 模型来完成各类任务。无论你需要写作、编码、数据整理、图像分析、图像生成、音乐生成方面的帮助，还是想解答疑问，LoLLMs WebUI 都能满足你的需求。

作为一款功能全面的工具，它提供覆盖多个领域的 500 多种 AI 专家预设（expert conditioning），以及跨多个领域的 2500 多个微调模型，你可以随时为任何问题找到现成资源。无论你的汽车需要维修，还是需要 Python、C++ 或 JavaScript 的编码帮助；如果你对人生中做过的错误决定感到沮丧却不知如何应对，那就问 Lollms 吧。如果需要根据当前症状获得健康方面的指导，我们的医疗辅助 AI 可以帮助你获得潜在诊断，并引导你寻求正确的医疗照护。如果陷入合同解释等法律问题，欢迎咨询 Lawyer 人格，以便当场获得一些见解——这一切都无需离开舒适的家。它不仅能帮助挣扎于冗长讲义的学生，还能在评估过程中为他们提供额外支持，让他们真正理解概念，而不是仅仅跟着字面阅读、事后却依然一头雾水。想要一些娱乐？那就启用 Laughter Bot，尽情大笑到眼泪直流，玩《龙与地下城》，或通过 Creative Story Generator 一起编造疯狂的故事。需要插画？别担心，Artbot 已经为你准备好了！最后但同样重要的是，LordOfMusic 可以根据个人需求进行音乐生成。因此，基本上，向无聊的孤独之夜说再见吧，因为只需一个名为 Lollms 的平台，一切皆有可能……

功能特性

• 为你的任务选择偏好的绑定（binding）、模型和人格
• 优化你的邮件、文章、代码调试、思路整理等
• 探索广泛的功能，例如搜索、数据整理、图像生成和音乐生成
• 易于使用的 UI，支持浅色和深色模式
• 与 GitHub 仓库集成，方便访问
• 支持具有预定义欢迎消息的不同人格
• 对生成的回答进行赞/踩评分
• 复制、编辑和删除消息
• 本地数据库存储你的讨论
• 搜索、导出和删除多个讨论
• 支持基于 stable diffusion/flux/comfyui/open ai dall-e/Midjourney/Novita ai 服务的图像生成
• 支持基于 lumalabs/cogvideo_x/runwayml/stable_diffusion/Novita ai 服务的视频生成
• 支持基于 musicgen 的音乐生成
• 通过 Lollms Nodes 和 Petals 支持多生成点对点网络
• 支持 Docker、conda 和手动虚拟环境安装方式
• 支持使用多种绑定的 LLM：
• Hugging face 本地模型
• GGUF/GGML 本地模型
• EXLLama v2 本地模型（EXT/AWQ/GPTQ）
• Ollama 服务
• llmman 服务
• vllm 服务
• Openai 服务
• Anthropic 服务
• Open-router 服务
• Novita-ai 服务
• 支持根据任务复杂度将提示路由到各种模型

Star 历史

感谢所有测试此工具并帮助它变得更易用的用户。

安装

自动安装（控制台）

从 scripts 文件夹下载安装脚本并运行。

安装脚本包括：
- lollms_installer.bat（Windows）
- lollms_installer.sh（Linux）
- lollms_installer_macos.sh（Mac）

手动安装

自 v10.14 起，手动安装方式重新回归：

1. 首先确保已安装 Python 3.11

你可以使用以下命令检查 Python 版本：

python --version

如果需要安装 Python 3.11，请从以下地址下载：
https://www.python.org/downloads/release/python-3118/

2. 克隆仓库及其子模块

git clone --recursive https://github.com/ParisNeo/lollms-webui.git
cd lollms-webui
git submodule update --init --recursive

3. 创建并激活虚拟环境（推荐）

python -m venv venv

Windows：

.\venv\Scripts\activate

Linux/Mac：

source venv/bin/activate

4. 安装依赖

pip install --upgrade pip
pip install -r requirements.txt
pip install -e lollms_core

5. 创建 global_paths_cfg.yaml

cat > global_paths_cfg.yaml << EOL
lollms_path: $(pwd)/lollms_core/lollms
lollms_personal_path: $(pwd)/personal_data
EOL

6. 安装所需的绑定

你可以设置环境变量来选择要安装的绑定。例如，安装 ollama 绑定：

python zoos/bindings_zoo/ollama_ai/__init__.py

可用绑定及其安装命令列表：
elf: python zoos/bindings_zoo/elf/init.py
openrouter: python zoos/bindings_zoo/openrouter/init.py
openai: python zoos/bindings_zoo/openai/init.py
groq: python zoos/bindings_zoo/groq/init.py
mistralai: python zoos/bindings_zoo/mistralai/init.py
ollama: python zoos/bindings_zoo/ollama_ai/init.py
llmman: python zoos/bindings_zoo/llmman/init.py
vllm: python zoos/bindings_zoo/vllm/init.py
litellm: python zoos/bindings_zoo/litellm/init.py
exllamav2: python zoos/bindings_zoo/exllamav2/init.py
python_llama_cpp: python zoos/bindings_zoo/python_llama_cpp/init.py
huggingface: python zoos/bindings_zoo/huggingface/init.py
remote_lollms: python zoos/bindings_zoo/remote_lollms/init.py
xAI: python zoos/bindings_zoo/xAI/init.py
gemini: python zoos/bindings_zoo/gemini/init.py
novita_ai: python zoos/bindings_zoo/novita_ai/init.py

7. 运行服务器

python app.py

现在你可以运行 lolmms 了：python app.py

智能路由：针对成本与速度进行优化

Lollms 的智能路由功能不仅仅是为准确性选择合适的模型，它还让你能够针对两个关键因素优化文本生成过程：成本和速度。

针对成本优化：

想象一下，你正在使用多个价格不同的文本生成服务。有些模型可能异常强大，但价格高昂；另一些则提供更经济的选择，能力稍弱。智能路由让你可以利用这种价格差异：

• 成本效益选择： 通过基于成本定义模型层级，智能路由可以自动为你的提示选择最经济的模型。这确保你只为所需的能力付费，最大限度地减少不必要的开支。
• 动态价格调整： 随着提示复杂度的变化，智能路由可以在模型之间动态切换，确保你始终使用当前任务最具成本效益的选项。

针对速度优化：

速度是文本生成的另一个关键因素，尤其是在处理大量内容或时间敏感任务时。智能路由允许你通过以下方式优先考虑速度：

• 优先使用较小模型： 通过将更快、资源占用更少的模型置于层级较高位置，智能路由可以为简单提示优先保证速度。这确保快速响应和高效处理。
• 动态速度调整： 对于需要更大模型能力的复杂提示，智能路由可以无缝切换到这些模型，同时保持速度与准确性之间的平衡。

示例用例：

• 内容营销： 使用智能路由为生成大量博客文章或社交媒体内容选择最具成本效益的模型。
• 客户支持： 通过使用较小模型快速回答常见问题来优先保证速度，同时利用更强大的模型处理复杂咨询。
• 研究与开发： 通过分层模型层级同时优化成本与速度，确保你能快速生成初稿，同时使用更强大的模型进行深入分析。

结论：

智能路由是一款多功能工具，让你能够同时针对成本和速度优化文本生成过程。通过利用模型层级并根据提示复杂度动态调整选择，你可以在效率、准确性和成本效益之间实现完美平衡。

行为准则

使用此工具即表示用户同意遵守以下准则：
- 此工具不应用于制造和传播假新闻/错误信息。
- 你对使用此工具生成的内容负责。创作者对通过此 lollms 创建的任何内容不承担任何责任。
- 如果你同意遵守 Apache 2.0 许可条款，可以免费在你自己的项目中使用 lollms。请参阅 https://www.apache.org/licenses/LICENSE-2.0 。
- 你不允许使用 lollms 直接或间接伤害他人。此工具用于和平目的，应始终用于善途，绝不可用于恶途。
- 访问 OpenAI API 等第三方提供的内容时，用户必须遵守当地法律，包括适用的版权限制。

⚠️ 安全警告

请注意，LoLLMs WebUI 没有内置用户认证，主要设计用于本地使用。在没有适当安全措施的情况下将 WebUI 暴露给外部访问，可能会导致潜在漏洞。

如果你需要远程访问 LoLLMs，强烈建议遵循以下安全准则：

1. 启用无头模式（Headless Mode）：启用无头模式后，只会暴露生成 API，同时关闭其他可能有漏洞的端点。这有助于最小化攻击面。

2. 设置安全隧道：在运行 LoLLMs 的 localhost 与需要访问的远程 PC 之间建立安全隧道。这确保两台设备之间的通信经过加密和保护。

3. 修改配置设置：设置安全隧道后，编辑 /configs/local_config.yaml 文件并调整以下设置：
   yaml host: 0.0.0.0 # 允许远程连接 port: 9600 # 如需更改端口号（默认 9600） force_accept_remote_access: true # 强制接受远程连接 headless_server_mode: true # 设为 true 表示仅 API 访问；如果需要 WebUI 则设为 false

遵循这些安全实践，可以帮助你在启用远程访问时保护 LoLLMs 实例及其用户免受潜在安全风险。

请记住，优先考虑安全并采取必要预防措施来保护你的系统和敏感信息至关重要。如果你对 LoLLMs 的安全性有任何进一步的问题或疑虑，请查阅文档或联系社区寻求帮助。

保持安全，负责任地享受使用 LoLLMs 的乐趣！

Docker 状态

自 v18 起，lollms 可以使用 Docker 运行。

只需构建镜像。假设你位于 lollms-webui 文件夹中：

docker build -t lollms-webui-app .

然后使用以下命令运行它：

docker run -d -p 9600:9600 --name lollms-webui-container lollms-webui-app

首次运行 lollms 时，你可以使用

免责声明

大型语言模型是了不起的工具，可用于多种目的。Lollms 的构建旨在利用这种力量帮助用户提升生产力。但你需要记住，这些模型有其局限性，不应取代人类的智力或创造力，而应通过基于大量数据中发现的模式提供建议来增强它。如何负责任地使用它们，取决于每个人自己！

系统的性能因所使用的模型、其规模以及训练数据集而异。一般来说，语言模型的训练集越大（示例越多），使用这些系统时结果通常越好，而训练集较小的系统则相对较差。但仍然不能保证任何给定提示生成的输出始终完美，并且可能因各种原因包含错误。因此，请确保不要在严重事项上使用它，例如选择药物或在未事先咨询专家的情况下做出财务决策！

许可证

本仓库使用 Apache License Version 2.0 下的代码，有关使用和分发所授予权利的详细信息，请参阅 license 文件。

版权：

ParisNeo 2023