The Llama 3 Herd of Models
基本信息
- 标题：The Llama 3 Herd of Models
- 作者：Aaron Grattafiori、Abhimanyu Dubey、Abhinav Jauhri、Abhinav Pandey、Abhishek Kadian、Ahmad Al-Dahle 等（共 559 位作者，页面仅展示部分）
- 提交日期：2024 年 7 月 31 日（v1）；最后修订：2024 年 11 月 23 日（v3）
- arXiv 编号：arXiv:2407.21783 [cs.AI]
- DOI：https://doi.org/10.48550/arXiv.2407.21783
主题分类
- 主要：Artificial Intelligence (cs.AI)
- 其他：Computation and Language (cs.CL)、Computer Vision and Pattern Recognition (cs.CV)、Machine Learning (cs.LG)、Machine Learning (stat.ML)
摘要
现代人工智能（AI）系统由基础模型驱动。本文提出了一套新的基础模型，称为 Llama 3。这是一组语言模型，原生支持多语言、编程、推理和工具使用能力。其中最大的模型是一个密集 Transformer，拥有 4050 亿参数，上下文窗口最高可达 128K tokens。本文对 Llama 3 进行了广泛的实证评估，发现 Llama 3 在大量任务上能达到与 GPT-4 等领先语言模型相当的质量。作者公开释放了 Llama 3，包括 4050 亿参数语言模型的预训练与后训练版本，以及用于输入和输出安全的 Llama Guard 3 模型。论文还介绍了通过组合式方法将图像、视频和语音能力集成到 Llama 3 中的实验结果，观察到该方法在图像、视频和语音识别任务上与当前最优水平具有竞争力。不过，由此得到的多模态模型仍处于开发阶段，尚未广泛发布。
其他信息
- 全文链接：PDF、HTML（实验性）、TeX 源码均可在 arXiv 页面获取
- 许可：arXiv 非独占分发许可