CodeGemma：基于 Gemma 的开源代码模型

基本信息

• 论文标题： CodeGemma: Open Code Models Based on Gemma
• 作者： CodeGemma Team（Heri Zhao、Jeffrey Hui、Joshua Howland 等 26 位作者）
• 提交时间： 2024 年 6 月 17 日（v1），2024 年 6 月 19 日修订（v2）
• 分类： 计算与语言（cs.CL）；人工智能（cs.AI）
• arXiv 编号： arXiv:2406.11409

摘要

本文介绍了 CodeGemma——一系列基于 Gemma 构建的专用开源代码模型，可胜任多种代码和自然语言生成任务。研究团队发布了三种模型变体：

• CodeGemma 7B 预训练（PT）和指令微调（IT）变体：具有出色的自然语言理解能力，在数学推理方面表现优异，代码能力与其他开源模型相当。
• CodeGemma 2B：一种最先进的代码补全模型，专为延迟敏感场景下的快速代码填充（code infilling）和开放式生成而设计。

其他信息

• 页面说明： v1 版本包含 11 页正文、4 幅图和 5 张表格；v2 版本仅更新了元数据。
• 许可： 采用 Creative Commons Attribution 4.0 (CC BY 4.0) 许可证。