Bisheng-RT — 面向大模型推理服务的高性能运行时

bisheng-rt 是什么？

bisheng-rt 是一个开源的推理服务框架，负责模型推理和资源分配。它能够高效部署各种模型，并为所有模型类型提供一致的用户体验。

本项目是 bisheng 的子项目。

主要特性

• 高性能
• 兼容大多数计算卡（NVIDIA、昇腾、寒武纪、燧原）
• 友好的模型管理
• 易于集成新模型

快速开始

在 Bisheng 平台上使用

通过 Bisheng 平台的 模型管理器 使用。

使用 DataElem 服务

我们提供开放的云服务供您便捷使用。详见 免费试用。

安装 bisheng-rt

• Bisheng 安装指南
• 编译 bisheng-rt

使用预构建镜像

镜像发布说明

文档

关于安装、开发、部署和管理的指南，请查阅 bisheng-rt 开发者文档。

问题反馈

报告问题、提出疑问
我们欢迎任何关于本项目的反馈、问题或错误报告。

用户可以在 Issues 中提交，请遵循 Stack Overflow 文档 中概述的流程。

如有疑问，建议在我们的社区 GitHub 讨论区 中提问。

致谢

bisheng-rt 使用了以下依赖：

• 感谢 triton-inference-server 提供的基础框架。