预训练语言模型

本仓库提供华为诺亚方舟实验室开发的最新预训练语言模型及其相关优化技术。

目录结构

• PanGu-α 是一个大规模自回归中文预训练语言模型，参数规模最高达 2000 亿。该模型基于 MindSpore 开发，并在 Ascend 910 AI 处理器集群上训练而成。
• NEZHA-TensorFlow 是一个基于 TensorFlow 开发的中文预训练语言模型，在多项中文 NLP 任务上达到了最优水平。
• NEZHA-PyTorch 是 NEZHA 的 PyTorch 版本。
• NEZHA-Gen-TensorFlow 提供了两个 GPT 模型：一个是中文古典诗歌生成模型“乐府”，另一个是通用中文 GPT 模型。
• TinyBERT 是一个经过压缩的 BERT 模型，体积缩小至 7.5 倍，推理速度提升 9.4 倍。
• TinyBERT-MindSpore 是 TinyBERT 的 MindSpore 版本。
• DynaBERT 是一个动态 BERT 模型，支持自适应宽度和深度。
• BBPE 提供了字节级词表构建工具及其对应的分词器。
• PMLM 是一个概率掩码语言模型。该模型无需复杂的双流自注意力机制即可训练，可视为 XLNet 的简单近似方案。
• TernaryBERT 是一种基于 PyTorch 开发的 BERT 模型权重三值化方法。
• TernaryBERT-MindSpore 是 TernaryBERT 的 MindSpore 版本。
• HyperText 是一个基于双曲几何理论的高效文本分类模型。
• BinaryBERT 是一种基于 PyTorch 开发的 BERT 模型权重二值化方法，利用三值权重分裂技术实现。
• AutoTinyBERT 提供了模型库，可满足不同的延迟需求。
• PanGu-Bot 是一个基于 PanGu-α 的 GPU 实现开发的中文预训练开放域对话模型。
• CeMAT 是一个通用序列到序列的多语言预训练语言模型，适用于自回归和非自回归神经机器翻译任务。
• Noah_WuKong 是一个大规模中文视觉语言数据集，以及在其上训练的一组基准模型。
• Noah_WuKong-MindSpore 是 Noah_WuKong 的 MindSpore 版本。
• CAME 是一种基于置信度引导的自适应内存高效优化器。