Gemma: Open Models Based on Gemini Research and Technology
Gemma Team（Thomas Mesnard, Cassidy Hardin, Robert Dadashi 等 100 余位作者，含 Jeff Dean, Demis Hassabis 等）
本文介绍了 Gemma——一个基于 Gemini 模型的研究和技术构建的轻量级、最先进的开源模型家族。Gemma 模型在语言理解、推理和安全性等学术基准测试中展现出强劲性能。团队发布了两种模型尺寸（20 亿参数 和 70 亿参数），并提供预训练和微调后的检查点。在 18 项基于文本的任务中，Gemma 在 11 项上超越了同等规模的开源模型。论文还呈现了对模型安全性和责任性的全面评估，以及详细的模型开发描述。作者认为，负责任地发布 LLM 对于提升前沿模型的安全性以及推动下一波 LLM 创新至关重要。