Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone

基本信息

• 标题： Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
• 作者： Marah Abdin, Sam Ade Jacobs, Ammar Ahmad Awan, 等（共115位作者）
• 提交日期： 2024年4月22日（v1），修订于2024年5月23日（v3）
• 分类： 计算与语言（cs.CL）；人工智能（cs.AI）
• 论文链接： arXiv:2404.14219
• 页数： 19页

摘要

本文介绍了 phi-3-mini，一个参数量为 38 亿的语言模型，在 3.3 万亿个 token 上进行了训练。该模型的整体性能（根据学术基准和内部测试）可与 Mixtral 8x7B 和 GPT-3.5 等模型相媲美（例如，phi-3-mini 在 MMLU 上达到 69%，在 MT-bench 上达到 8.38），尽管其体积小到足以部署在手机上。

创新完全体现在训练数据集的构建上——这是 phi-2 所用数据集的放大版本，由经过严格筛选的公开网络数据和合成数据组成。该模型还针对鲁棒性、安全性和对话格式进行了进一步的对齐。

此外，研究者还提供了初步的参数量缩放结果，训练了 7B 和 14B 参数的模型（分别称为 phi-3-small 和 phi-3-medium），两者均在 4.8 万亿 token 上训练，性能显著优于 phi-3-mini（例如，在 MMLU 上分别达到 75% 和 78%，在 MT-bench 上分别达到 8.7 和 8.9）。

同时，研究团队还介绍了 phi-3-vision，一个基于 phi-3-mini、参数量为 42 亿的模型，具备对图像和文本提示进行强推理的能力。