Code Llama: 面向代码的开源基础模型
Baptiste Rozière, Jonas Gehring, Fabian Gloeckle, Sten Sootla, Itai Gat, Xiaoqing Ellen Tan, Yossi Adi, Jingyu Liu, Romain Sauvestre, Tal Remez, Jérémy Rapin, Artyom Kozhevnikov, Ivan Evtimov, Joanna Bitton, Manish Bhatt, Cristian Canton Ferrer, Aaron Grattafiori, Wenhan Xiong, Alexandre Défossez, Jade Copet, Faisal Azhar, Hugo Touvron, Louis Martin, Nicolas Usunier, Thomas Scialom, Gabriel Synnaeve
我们发布了 Code Llama，这是一个基于 Llama 2 的代码大型语言模型家族，在开放模型中提供了最先进的性能，具备代码填充能力、对大输入上下文的支持以及针对编程任务的零样本指令跟随能力。我们提供了多个版本来覆盖广泛的应用场景：基础模型（Code Llama）、Python 专用模型（Code Llama - Python）和指令跟随模型（Code Llama - Instruct），每个模型分别提供 7B、13B、34B 和 70B 参数版本。所有模型均在 16k token 的序列上进行训练，并在多达 100k token 的输入上表现出改进。7B、13B 和 70B 的 Code Llama 及 Code Llama - Instruct 变体支持基于上下文的代码填充。Code Llama 在多个代码基准测试中达到了开放模型中的最先进性能，在 HumanEval 和 MBPP 上的得分分别高达 67% 和 65%。值得注意的是，Code Llama - Python 7B 在 HumanEval 和 MBPP 上优于 Llama 2 70B，并且我们所有的模型在 MultiPL-E 上均优于所有其他公开可用的模型。我们以允许研究和商业使用的宽松许可证发布 Code Llama。