# ⚡ LitGPT **20+ 个高性能 LLM，提供规模化预训练、微调和部署的完整方案。**

✅ 从零实现                  ✅ 无抽象层              ✅ 新手友好
✅ Flash Attention          ✅ FSDP                 ✅ LoRA, QLoRA, Adapter
✅ 降低 GPU 内存 (fp4/8/16/32) ✅ 支持 1-1000+ GPU/TPU   ✅ 20+ 种 LLM

---   [](https://github.com/Lightning-AI/lit-stablelm/blob/master/LICENSE) [](https://discord.gg/VptPCZkGNa)

快速开始 • 模型 • 微调 • 部署 • 所有工作流 • 特性 • 配方 (YAML) • Lightning AI • 教程

   

需要 GPU？

超过 340,000 名开发者使用专为 PyTorch 和 PyTorch Lightning 构建的 Lightning Cloud。
- GPU 低至 $0.19。
- 集群：前沿的训练/推理集群。
- AI Studio (氛围训练)：AI 助你调试、调优和氛围训练的工作空间。
- AI Studio (氛围部署)：AI 助你优化和部署模型的工作空间。
- Notebooks：持久的 GPU 工作空间，AI 助你编码和分析。
- 推理：将模型部署为推理 API。

闪电般快速地进行 LLM 微调、预训练和推理 ⚡⚡

每个 LLM 都是从零开始实现，无抽象层且完全可控，使其在企业级规模下具有极快的速度、极简的代码和卓越的性能。

✅ 企业就绪 - Apache 2.0 许可证，支持无限企业使用。

✅ 开发者友好 - 无抽象层，单文件实现，易于调试。

✅ 性能优化 - 模型设计旨在最大化性能、降低成本并加速训练。

✅ 成熟配方 - 经过企业级规模测试的高度优化的训练/微调配方。

快速开始

安装 LitGPT

pip install 'litgpt[extra]'

加载并使用 20+ 种 LLM 中的任意一个：

from litgpt import LLM

llm = LLM.load("microsoft/phi-2")
text = llm.generate("Fix the spelling: Every fall, the family goes to the mountains.")
print(text)
# Corrected Sentence: Every fall, the family goes to the mountains.

✅ 为快速推理优化

✅ 量化

✅ 可在低内存 GPU 上运行

✅ 无内部抽象层

✅ 为生产规模优化

git clone https://github.com/Lightning-AI/litgpt
cd litgpt
# 如果使用 uv
uv sync --all-extras
# 如果使用 pip
pip install -e ".[extra,compiler,test]"

探索完整的 Python API 文档。

从 20+ 种 LLM 中选择

每个模型都从零编写，以最大化性能并移除抽象层：

工作流

微调 • 预训练 • 继续预训练 • 评估 • 部署 • 测试

使用命令行界面运行高级工作流，例如在自有数据上进行预训练或微调。

所有工作流

安装 LitGPT 后，选择要运行的模型和工作流（微调、预训练、评估、部署