作者： Aiyuan Yang, Bin Xiao, Bingning Wang, Borong Zhang, Ce Bian, Chao Yin, Chenxu Lv, Da Pan, Dian Wang, Dong Yan, Fan Yang, Fei Deng, Feng Wang, Feng Liu, Guangwei Ai, Guosheng Dong, Haizhou Zhao, Hang Xu, Haoze Sun, Hongda Zhang, Hui Liu, Jiaming Ji, Jian Xie, JunTao Dai, Kun Fang, Lei Su, Liang Song, Lifeng Liu, Liyun Ru, Luyao Ma, Mang Wang, Mickel Liu, MingAn Lin, Nuolan Nie, Peidong Guo, Ruiyang Sun, Tao Zhang, Tianpeng Li, Tianyu Li, Wei Cheng, Weipeng Chen, Xiangrong Zeng, Xiaochuan Wang, Xiaoxi Chen, Xin Men, Xin Yu, Xuehai Pan, Yanjun Shen, Yiding Wang, Yiyu Li, Youxin Jiang, Yuchen Gao, Yupeng Zhang, Zenan Zhou, Zhiying Wu (共55位作者)
提交/修订日期： 2023年9月19日提交，2025年4月17日修订 (v4)
主题/分类： 计算与语言 (cs.CL)
摘要：
大语言模型 (LLMs) 仅基于少量自然语言指令示例，就在各种自然语言任务上展现出了卓越的性能，减少了对大量特征工程的需求。然而，大多数强大的 LLMs 是闭源的，或者对英语以外的语言能力有限。在这份技术报告中，我们介绍了 Baichuan 2，这是一个包含 70 亿和 130 亿参数的大规模多语言模型系列，从头开始训练，使用了 2.6 万亿个词元。在 MMLU、CMMLU、GSM8K 和 HumanEval 等公共基准测试中，Baichuan 2 达到或超越了其他类似规模的开源模型。此外，Baichuan 2 在医学和法律等垂直领域表现出色。我们将发布所有预训练模型检查点，以帮助研究社区更好地理解 Baichuan 2 的训练动态。
备注：
Baichuan 2 技术报告。Github: https://github.com/baichuan-inc/Baichuan2