LLaMA：高效开放式大语言模型

原论文标题： LLaMA: Open and Efficient Foundation Language Models
机构： Meta AI
arXiv： 2302.13971

论文简介

LLaMA 提出了一系列参数规模从 7B 到 65B 的高效基础语言模型。相比当时更大规模的闭源模型，LLaMA 通过更优的数据配比与训练策略，在较小参数规模下实现了极具竞争力的性能。

技术亮点

• 使用高质量训练数据
• 更优的 Token 训练比例
• 推动开源 LLM 生态爆发（Alpaca、Vicuna 等）

技术意义

LLaMA 被认为是开源大模型浪潮的起点之一，对 2023 年之后的 LLM 生态产生深远影响。