标题: Qwen Technical Report
作者: Jinze Bai, Shuai Bai, Yunfei Chu, Zeyu Cui, Kai Dang, Xiaodong Deng, Yang Fan, Wenbin Ge, Yu Han, Fei Huang, Binyuan Hui, Luo Ji, Mei Li, Junyang Lin, Runji Lin, Dayiheng Liu, Gao Liu, Chengqiang Lu, Keming Lu, Jianxin Ma, Rui Men, Xingzhang Ren, Xuancheng Ren, Chuanqi Tan, Sinan Tan, Jianhong Tu, Peng Wang, Shijie Wang, Wei Wang, Shengguang Wu, Benfeng Xu, Jin Xu, An Yang, Hao Yang, Jian Yang, Shusheng Yang, Yang Yao, Bowen Yu, Hongyi Yuan, Zheng Yuan, Jianwei Zhang, Xingxuan Zhang, Yichang Zhang, Zhenru Zhang, Chang Zhou, Jingren Zhou, Xiaohuan Zhou, Tianhang Zhu
提交日期: 2023年9月28日
摘要:
大型语言模型（LLMs）已经彻底改变了人工智能领域，实现了以往被认为仅属于人类的自然语言处理任务。在这项工作中，我们介绍了Qwen，这是我们大型语言模型系列的第一个版本。Qwen是一个全面的语言模型系列，包含了具有不同参数数量的多种模型。它包括基础预训练语言模型Qwen，以及通过人类对齐技术微调的对话模型Qwen-Chat。基础语言模型在众多下游任务中始终表现出卓越的性能，而对话模型，特别是那些使用人类反馈强化学习（RLHF）训练的模型，具有高度竞争力。这些对话模型具备先进的工具使用和规划能力，可用于创建智能体应用，即使在诸如使用代码解释器这样的复杂任务上，与更大的模型相比也展示了令人印象深刻的性能。此外，我们还开发了基于基础语言模型的代码专用模型Code-Qwen和Code-Qwen-Chat，以及专注于数学的模型Math-Qwen-Chat。这些模型与开源模型相比性能显著提升，并略微落后于专有模型。
主题分类: Computation and Language (cs.CL)
备注: 59页，5张图