OLMo: Accelerating the Science of Language Models
基本信息
- 标题: OLMo: Accelerating the Science of Language Models
- 作者: Dirk Groeneveld, Iz Beltagy, Pete Walsh 等 42 位作者
- 提交日期: 2024年2月1日（v1），最后修订于2024年6月7日（v4）
- 分类: Computation and Language (cs.CL)
- 论文编号: arXiv:2402.00838
摘要
语言模型（LMs）在 NLP 研究和商业产品中已变得无处不在。随着其商业重要性的激增，最强大的模型变得封闭，通过专有接口进行访问，其训练数据、架构和开发的重要细节均未公开。鉴于这些细节对于科学研究这些模型（包括其偏见和潜在风险）的重要性，作者认为研究社区有必要获得强大、真正开放的语言模型。为此，他们构建了 OLMo——一个具有竞争力的、真正开放的语言模型（Open Language Model），旨在推动语言模型的科学研究。与大多数仅发布模型权重和推理代码的先前工作不同，OLMo 同时开放了训练数据以及训练和评估代码。作者希望此次发布能够赋能开放研究社区，并激发新一轮创新。
主题
- 主要领域: 计算与语言（cs.CL）
- 核心主题: 开放语言模型、自然语言处理、可复现研究