作者: Baptiste Rozière, Jonas Gehring, Fabian Gloeckle, Sten Sootla, Itai Gat, Xiaoqing Ellen Tan, Yossi Adi, Jingyu Liu, Romain Sauvestre, Tal Remez, Jérémy Rapin, Artyom Kozhevnikov, Ivan Evtimov, Joanna Bitton, Manish Bhatt, Cristian Canton Ferrer, Aaron Grattafiori, Wenhan Xiong, Alexandre Défossez, Jade Copet, Faisal Azhar, Hugo Touvron, Louis Martin, Nicolas Usunier, Thomas Scialom, Gabriel Synnaeve
提交/修订日期: 2023年8月24日提交，2024年1月31日修订 (v3)
主题/分类: Computation and Language (cs.CL)
摘要:
本文发布了 Code Llama，一个基于 Llama 2 的、用于代码的大型语言模型家族。它在开源模型中提供了最先进的性能，具备代码填充（infilling）能力、支持长输入上下文，并拥有针对编程任务的零样本指令跟随能力。我们提供了多种变体以覆盖广泛的应用场景：基础模型（Code Llama）、Python 专用模型（Code Llama - Python）和指令跟随模型（Code Llama - Instruct），每种模型都有 7B、13B、34B 和 70B 参数版本。所有模型均在 16k 令牌的序列上进行训练，并在长达 100k 令牌的输入上表现出性能提升。7B、13B 和 70B 的 Code Llama 及 Code Llama - Instruct 变体支持基于周围内容的代码填充。Code Llama 在多个代码基准测试中达到了开源模型的最先进性能，在 HumanEval 和 MBPP 上分别取得了高达 67% 和 65% 的分数。值得注意的是，Code Llama - Python 7B 在 HumanEval 和 MBPP 上超越了 Llama 2 70B，并且我们所有的模型在 MultiPL-E 基准上都优于其他所有公开可用的模型。我们在一个允许研究和商业使用的宽松许可下发布了 Code Llama。