标题: Qwen2 Technical Report
作者: An Yang, Baosong Yang, Binyuan Hui, Bo Zheng, Bowen Yu, Chang Zhou, Chengpeng Li, Chengyuan Li, Dayiheng Liu, Fei Huang, Guanting Dong, Haoran Wei, Huan Lin, Jialong Tang, Jialin Wang, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Ma, Jianxin Yang, Jin Xu, Jingren Zhou, Jinze Bai, Jinzheng He, Junyang Lin, Kai Dang, Keming Lu, Keqin Chen, Kexin Yang, Mei Li, Mingfeng Xue, Na Ni, Pei Zhang, Peng Wang, Ru Peng, Rui Men, Ruize Gao, Runji Lin, Shijie Wang, Shuai Bai, Sinan Tan, Tianhang Zhu, Tianhao Li, Tianyu Liu, Wenbin Ge, Xiaodong Deng, Xiaohuan Zhou, Xingzhang Ren, Xinyu Zhang, Xipin Wei, Xuancheng Ren, Xuejing Liu, Yang Fan, Yang Yao, Yichang Zhang, Yu Wan, Yunfei Chu, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zhifang Guo, Zhihao Fan
提交/修订日期: 提交于 2024年7月15日，最后修订于 2024年9月10日 (版本 v4)
主题/分类: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
摘要:
本报告介绍了Qwen2系列模型，这是我们最新的大语言模型和大规模多模态模型。我们发布了一套全面的基础模型和指令微调语言模型，参数规模覆盖0.5B到72B，包括稠密模型和混合专家（Mixture-of-Experts）模型。Qwen2超越了大多数先前的开源模型，包括其前身Qwen1.5，并在语言理解、生成、多语言能力、代码、数学和推理等多种基准测试中展现出与闭源模型相竞争的性能。
旗舰模型Qwen2-72B作为基础语言模型，展示了卓越的性能：在MMLU上得分为84.2，GPQA为37.9，HumanEval为64.6，GSM8K为89.5，BBH为82.4。其指令微调变体Qwen2-72B-Instruct在MT-Bench上达到9.1分，Arena-Hard为48.1分，LiveCodeBench为35.7分。此外，Qwen2展现了强大的多语言能力，精通约30种语言，包括英语、中文、西班牙语、法语、德语、阿拉伯语、俄语、韩语、日语、泰语、越南语等，突显了其多功能性和全球适用性。
为促进社区创新和可访问性，我们已在Hugging Face和ModelScope上公开了Qwen2的模型权重，并在GitHub上提供了包括示例代码在内的补充材料。这些平台还包含了量化、微调和部署的资源，以支持广泛的应用和研究工作。
备注: 报告共26页，包含1张图表。