作者: BigScience Workshop (由 Teven Le Scao 等数百名研究人员合作完成)
提交日期: 2022年11月9日 (最后修订于 2023年6月27日)
主题/分类: 计算与语言 (cs.CL)
大型语言模型 (LLMs) 已被证明能够基于少量示例演示或自然语言指令来执行新任务。尽管这些能力导致了其被广泛采用，但大多数 LLMs 由资源丰富的组织开发，并且通常不向公众开放。作为迈向民主化这一强大技术的一步，我们提出了 BLOOM，一个由数百名研究人员合作设计和构建的 1760 亿参数开源语言模型。
BLOOM 是一个仅解码器的 Transformer 语言模型，在 ROOTS 语料库上训练而成。该数据集包含来自 46 种自然语言和 13 种编程语言（总计 59 种）的数百个来源。我们发现 BLOOM 在多种基准测试中取得了有竞争力的性能，在经过多任务提示微调后结果更强。为了促进未来基于 LLMs 的研究和应用，我们在负责任 AI 许可证下公开发布了我们的模型和代码。