Infinity ♾️

Infinity 是一个高吞吐、低延迟的 REST API，用于服务文本嵌入（text-embeddings）、重排序（reranking）模型、CLIP、CLAP 和 ColPali。Infinity 基于 MIT 许可证 开发。

为什么选择 Infinity

• 部署 HuggingFace 上的任何模型：可部署来自 HuggingFace 的任何嵌入、重排序、CLIP 和 sentence-transformer 模型。
• 快速推理后端：推理服务器基于 PyTorch、optimum (ONNX/TensorRT) 和 CTranslate2 构建，利用 FlashAttention 最大限度发挥 NVIDIA CUDA、AMD ROCM、CPU、AWS INF2 或 APPLE MPS 加速器的性能。Infinity 使用专用工作线程进行动态批处理和分词。
• 多模态与多模型：支持混合搭配多个模型，Infinity 负责协调管理。
• 经过测试的实现：经过单元测试和端到端测试。通过 Infinity 生成的嵌入结果正确可靠，让 API 用户可以源源不断地创建嵌入。
• 易于使用：基于 FastAPI 构建。Infinity CLI v2 允许通过环境变量或命令行参数启动所有配置。OpenAPI 遵循 OpenAI 的 API 规范。请查看文档 https://michaelfeil.github.io/infinity 了解如何开始。

最新动态 🔥

• [2025/07] Blackwell 支持
• [2024/11] AMD、CPU、ONNX 的 Docker 镜像
• [2024/10] pip install infinity_client
• [2024/07] 通过 Modal 和 免费 GPU 部署 提供推理部署示例
• [2024/06] 支持多模态：clip、文本分类；可从环境变量启动所有参数
• [2024/05] 使用 v2 CLI 启动多个模型，包括 --api-key
• [2024/03] infinity 支持实验性 int8（CPU/CUDA）和 fp8（H100/MI300）
• [2024/03] 文档已上线：https://michaelfeil.github.io/infinity/latest/
• [2024/02] 在 Run:AI Infra Club 举办社区聚会
• [2024/01] TensorRT / ONNX 推理支持
• [2023/10] 初始版本发布

快速开始

通过 pip 安装并启动 CLI

pip install infinity-emb[all]

安装后，在激活的虚拟环境中，可以直接运行 CLI：

infinity_emb v2 --model-id BAAI/bge-small-en-v1.5

使用 v2 --help 命令查看所有参数说明：

infinity_emb v2 --help

使用预构建的 Docker 容器启动 CLI（推荐）

除了通过 pip 安装 CLI，您也可以使用 Docker 运行 michaelf34/infinity。请确保挂载了您的加速器（例如，安装 nvidia-docker 并使用 --gpus all 激活）。

port=7997
model1=michaelfeil/bge-small-en-v1.5
model2=mixedbread-ai/mxbai-rerank-xsmall-v1
volume=$PWD/data

docker run -it --gpus all \
 -v $volume:/app/.cache \
 -p $port:$port \
 michaelf34/infinity:latest \
 v2 \
 --model-id $model1 \
 --model-id $model2 \
 --port $port

Docker 容器内的缓存路径由环境变量 HF_HOME 设置。

专用 Docker 镜像

在 Docker 容器中使用本地模型

要使用 Docker 容器部署本地模型，需要将模型挂载到容器内，并在启动命令中指定容器内的路径。

示例：

git lfs install
cd /tmp
mkdir models && cd models && git clone https://huggingface.co/BAAI/bge-small-en-v1.5
docker run -it   -v /tmp/models:/models  -p 8081:8081  michaelf34/infinity:latest v2  --model-id "/models/bge-small-en-v1.5" --port 8081

高级 CLI 用法

Infinity 支持的任务与模型

Infinity 旨在成为支持嵌入、重排序及 RAG 相关任务最全面的推理服务器。以下 Infinity 在 Github CI 中测试了 15 种以上的架构以及下文中的所有情况。
点击下方各节查看任务和已验证的示例模型。

通过 Python API 使用 Infinity

除了 CLI 和 RestAPI，也可以通过 Python API 使用 Infinity 的接口，这提供了最大的灵活性。Python API 基于 asyncio 及其 await/async 特性，支持请求的并发处理。CLI 的参数同样适用于 Python。

嵌入

import asyncio
from infinity_emb import AsyncEngineArray, EngineArgs, AsyncEmbeddingEngine

sentences = ["将这句话通过 Infinity 嵌入。", "巴黎在法国。"]
array = AsyncEngineArray.from_args([
  EngineArgs(model_name_or_path = "BAAI/bge-small-en-v1.5", engine="torch", embedding_dtype="float32", dtype="auto")
])

async def embed_text(engine: AsyncEmbeddingEngine): 
    async with engine: 
        embeddings, usage = await engine.embed(sentences=sentences)
    # 或者自行处理异步启动/停止
    await engine.astart()
    embeddings, usage = await engine.embed(sentences=sentences)
    await engine.astop()
asyncio.run(embed_text(array[0]))

重排序

重排序可以给出一个查询与多个文档之间的相似度分数。可与 VectorDB+Embeddings 结合使用，也可作为独立功能处理少量文档。请从 HuggingFace 选择与 AutoModelForSequenceClassification 兼容的单类分类模型。

import asyncio
from infinity_emb import AsyncEngineArray, EngineArgs, AsyncEmbeddingEngine
query = "什么是 infinity_emb 的 Python 包？"
docs = ["这是一个与 infinity_emb Python 包无关的文档，因此...", 
    "巴黎在法国！",
    "infinity_emb 是一个用于使用 Transformer 模型进行句子嵌入和重排序的 Python 包！"]
array = AsyncEmbeddingEngine.from_args(
  [EngineArgs(model_name_or_path = "mixedbread-ai/mxbai-rerank-xsmall-v1", engine="torch")]
)

async def rerank(engine: AsyncEmbeddingEngine): 
    async with engine:
        ranking, usage = await engine.rerank(query=query, docs=docs)
        print(list(zip(ranking, docs)))
    # 或者自行处理异步启动/停止
    await engine.astart()
    ranking, usage = await engine.rerank(query=query, docs=docs)
    await engine.astop()

asyncio.run(rerank(array[0]))

使用 CLI 启动重排序器：

infinity_emb v2 --model-id mixedbread-ai/mxbai-rerank-xsmall-v1

图像嵌入：CLIP 模型

CLIP 模型能够同时编码图像和文本。

import asyncio
from infinity_emb import AsyncEngineArray, EngineArgs, AsyncEmbeddingEngine

sentences = ["这太棒了。", "我感到无聊。"]
images = ["http://images.cocodataset.org/val2017/000000039769.jpg"]
engine_args = EngineArgs(
    model_name_or_path = "wkcn/TinyCLIP-ViT-8M-16-Text-3M-YFCC15M", 
    engine="torch"
)
array = AsyncEngineArray.from_args([engine_args])

async def embed(engine: AsyncEmbeddingEngine): 
    await engine.astart()
    embeddings, usage = await engine.embed(sentences=sentences)
    embeddings_image, _ = await engine.image_embed(images=images)
    await engine.astop()

asyncio.run(embed(array["wkcn/TinyCLIP-ViT-8M-16-Text-3M-YFCC15M"]))

音频嵌入：CLAP 模型

CLAP 模型能够同时编码音频和文本。

import asyncio
from infinity_emb import AsyncEngineArray, EngineArgs, AsyncEmbeddingEngine
import requests
import soundfile as sf
import io

sentences = ["这太棒了。", "我感到无聊。"]

url = "https://bigsoundbank.com/UPLOAD/wav/2380.wav"
raw_bytes = requests.get(url, stream=True).content

audios = [raw_bytes]
engine_args = EngineArgs(
    model_name_or_path = "laion/clap-htsat-unfused",
    dtype="float32", 
    engine="torch"

)
array = AsyncEngineArray.from_args([engine_args])

async def embed(engine: AsyncEmbeddingEngine): 
    await engine.astart()
    embeddings, usage = await engine.embed(sentences=sentences)
    embedding_audios = await engine.audio_embed(audios=audios)
    await engine.astop()

asyncio.run(embed(array["laion/clap-htsat-unfused"]))

文本分类

使用 Infinity 的 classify 功能进行文本分类，支持情感分析、情绪检测等分类任务。

import asyncio
from infinity_emb import AsyncEngineArray, EngineArgs, AsyncEmbeddingEngine

sentences = ["这太棒了。", "我感到无聊。"]
engine_args = EngineArgs(
    model_name_or_path = "SamLowe/roberta-base-go_emotions", 
    engine="torch", model_warmup=True)
array = AsyncEngineArray.from_args([engine_args])

async def classifier(engine: AsyncEmbeddingEngine): 
    async with engine:
        predictions, usage = await engine.classify(sentences=sentences)
    # 或者自行处理异步启动/停止
    await engine.astart()
    predictions, usage = await engine.classify(sentences=sentences)
    await engine.astop()
asyncio.run(classifier(array["SamLowe/roberta-base-go_emotions"]))

通过 Python 客户端使用 Infinity

Infinity 提供了一个用于 RestAPI 客户端使用的生成客户端代码。

如果您想通过 RestAPI 调用远程的 Infinity 实例，请在本地安装以下包：

pip install infinity_client

更多信息请查看客户端 README：
https://github.com/michaelfeil/infinity/tree/main/libs/client_infinity/infinity_client

集成：

• Runpod 的无服务器部署
• Truefoundry Cognita
• Langchain 示例
• imitater - 基于 vllm 和 infinity 的统一语言模型服务器
• Dwarves Foundation: 使用 Modal.com 的部署示例
• infiniflow/Ragflow
• SAP Core AI
• gpt_server - 面向生产级 LLM 或嵌入部署的开源框架
• KubeAI: 用于推理的 Kubernetes AI 操作符
• LangChain
• Batched - Infinity 批处理算法的修改版

文档

查看文档 https://michaelfeil.github.io/infinity 了解如何开始。启动后，Swagger UI 将在 {url}:{port}/docs 可用，本例中为 http://localhost:7997/docs。您也可以在此处找到交互式预览：https://infinity.modal.michaelfeil.eu/docs (以及 https://michaelfeil-infinity.hf.space/docs)

贡献与开发

在 Ubuntu 22.04 上通过 Poetry 1.8.1、Python3.11 安装：

cd libs/infinity_emb
poetry install --extras all --with lint,test

要符合 CI 要求：

cd libs/infinity_emb
make precommit

所有贡献必须以与本仓库的 MIT 许可证兼容的方式进行。

引用

@software{feil_2023_11630143,
  author       = {Feil, Michael},
  title        = {Infinity - To Embeddings and Beyond},
  month        = oct,
  year         = 2023,
  publisher    = {Zenodo},
  doi          = {10.5281/zenodo.11630143},
  url          = {https://doi.org/10.5281/zenodo.11630143}
}

💚 当前贡献者