本库正在积极开发中,API 可能会发生变化。
| 章节 | 描述 |
|---|---|
| 简介 | 什么是 AXLearn? |
| 快速开始 | 如何开始使用 AXLearn。 |
| 核心概念 | 核心概念与设计原则。 |
| CLI 使用指南 | 如何使用命令行界面。 |
| 基础设施 | 核心基础设施组件。 |
AXLearn 是一个构建于 JAX 和 XLA 之上的库,旨在支持大规模深度学习模型的开发。
AXLearn 采用面向对象的方法来解决构建、迭代和维护模型过程中出现的软件工程挑战。其配置系统允许用户通过可复用的构建模块组合模型,并能与 Flax 和 Hugging Face transformers 等其他库集成。
AXLearn 为大规模训练而生。它支持在数千个加速器上以高利用率训练参数高达数千亿的模型。它同样设计用于在公有云上运行,并提供了部署和管理任务及数据的工具。基于 GSPMD 构建,AXLearn 采用了全局计算范式,允许用户在虚拟的全局计算机上描述计算,而非基于单个加速器。
AXLearn 支持广泛的应用领域,包括自然语言处理、计算机视觉和语音识别,并包含了用于训练最先进模型的基准配置。