Baptiste Rozière, Jonas Gehring, Fabian Gloeckle, Sten Sootla, Itai Gat, Xiaoqing Ellen Tan, Yossi Adi, Jingyu Liu, Tal Remez, Jérémy Rapin, Artyom Kozhevnikov, Ivan Evtimov, Joanna Bitton, Manish Bhatt, Cristian Canton Ferrer, Aaron Grattafiori, Wenhan Xiong, Alexandre Défossez, Jade Copet, Faisal Azhar, Hugo Touvron, Louis Martin, Nicolas Usunier, Thomas Scialom, Gabriel Synnaeve（共25位作者）
本文发布了 Code Llama，一个基于 Llama 2 构建的面向代码的大语言模型系列。该系列模型在开放模型中达到了最先进的性能，具备代码填充（infilling）能力、支持长输入上下文，以及针对编程任务的零样本指令跟随能力。
Code Llama 提供多种变体以覆盖广泛的应用场景：
- Code Llama：基础模型
- Code Llama - Python：针对 Python 的专用版本
- Code Llama - Instruct：指令跟随模型
每种变体均提供 7B、13B 和 34B 三种参数规模。所有模型均在 16k token 的序列上训练，并支持最长 100k token 的输入。7B 和 13B 的 Code Llama 及 Code Llama - Instruct 变体支持基于上下文的内容填充。
在多个代码基准测试中，Code Llama 在开放模型中取得了最先进的性能：HumanEval 得分高达 53%，MBPP 得分高达 55%。值得注意的是，Code Llama - Python 7B 在 HumanEval 和 MBPP 上的表现超越了 Llama 2 70B，且所有模型在 MultiPL-E 基准上均优于其他公开模型。
Code Llama 采用宽松许可证发布，允许研究和商业使用。
计算机科学 > 计算与语言（Computation and Language, cs.CL）