StarCoder 2 and The Stack v2: The Next Generation
Anton Lozhkov, Raymond Li, Loubna Ben Allal, Federico Cassano, Joel Lamy-Poirier, Nouamane Tazi, Ao Tang, Dmytro Pykhtar, Jiawei Liu, Yuxiang Wei, Tianyang Liu, Max Tian, Denis Kocetkov, Arthur Zucker, Younes Belkada, Zijian Wang, Qian Liu, Dmitry Abulkhanov, Indraneil Paul, Zhuang Li, Wen-Ding Li, Megan Risdal, Jia Li, Jian Zhu, Terry Yue Zhuo, Evgenii Zheltonozhskii, Nii Osae Osae Dade, Wenhao Yu, Lucas Krauß, Naman Jain, Yixuan Su, Xuanli He, Manan Dey, Edoardo Abati, Yekun Chai, Niklas Muennighoff, Xiangru Tang, Muhtasham Oblokulov, Christopher Akiki, Marc Marone, Chenghao Mou, Mayank Mishra, Alex Gu, Binyuan Hui, Tri Dao, Armel Zebaze, Olivier Dehaene, Nicolas Patry, Canwen Xu, Julian McAuley, Han Hu, Torsten Scholak, Sebastien Paquet, Jennifer Robinson, Carolyn Jane Anderson, Nicolas Chapados, Mostofa Patwary, Nima Tajbakhsh, Yacine Jernite, Carlos Muñoz Ferrandis, Lingming Zhang, Sean Hughes, Thomas Wolf, Arjun Guha, Leandro von Werra, Harm de Vries
BigCode 项目是一个专注于负责任地开发代码大语言模型（Code LLMs）的开放科学合作项目，该论文介绍了 StarCoder2。与 Software Heritage (SWH) 合作，研究团队在其源代码档案的数字公共资源之上构建了 The Stack v2 数据集。除了覆盖 619 种编程语言的 SWH 仓库外，还精心挑选了其他高质量数据源，如 GitHub Pull Requests、Kaggle notebooks 和代码文档。由此得到的训练集比第一版 StarCoder 数据集大 4 倍。
研究人员训练了三个参数的 StarCoder2 模型：3B、7B 和 15B，使用了 3.3 万亿到 4.3 万亿个 token，并在全面的 Code LLM 基准测试上进行了评估。结果表明：
- StarCoder2-3B 在大多数基准测试上优于同尺寸的其他代码 LLM，并超越了 StarCoderBase-15B。
- StarCoder2-15B 显著优于其他同等规模的模型，并且能与超过其两倍大小的 CodeLlama-34B 持平或更优。
- 尽管 DeepSeekCoder-33B 在高资源语言的代码补全任务中表现最佳，但 StarCoder2-15B 在数学和代码推理基准测试以及多个低资源语言上超越了它。
模型权重以 OpenRAIL 许可证发布，并通过发布源代码数据的 Software Heritage 持久标识符（SWHIDs）确保训练数据的完全透明。
2024 年 2 月 29 日