MAmmoTH2: Scaling Instructions from the Web

基本信息

• arXiv 编号：2405.03548 [cs.CL]
• 作者：Xiang Yue, Tuney Zheng, Ge Zhang, Wenhu Chen
• 提交时间：2024年5月6日（v1），最后修订于2024年5月23日（v4）
• 主题分类：Computation and Language (cs.CL)
• DOI：https://doi.org/10.48550/arXiv.2405.03548

摘要

指令微调（Instruction tuning）能提升大语言模型（LLM）的推理能力，其中数据质量与可扩展性是关键因素。目前大多数指令微调数据来自人工众包或 GPT-4 蒸馏。本文提出一种新范式，从预训练网络语料中高效采集 1000 万条自然存在的指令数据，以增强 LLM 的推理能力。

该方法包括三个步骤：
1. 召回相关文档；
2. 抽取指令-回答对；
3. 使用开源 LLM 对抽取出的数据对进行精炼。

基于该数据集微调基础 LLM，作者构建了 MAmmoTH2 系列模型，在推理基准上取得显著性能提升。值得注意的是，MAmmoTH2-7B（基于 Mistral）在未使用任何域内数据训练的情况下，MATH 成绩从 11% 提升至 36.7%，GSM8K 从 36% 提升至 68.4%。若进一步在公开指令微调数据集上训练 MAmmoTH2，则得到 MAmmoTH2-Plus，在多个推理与聊天机器人基准上达到当时最优性能。

该工作表明，无需昂贵的人工标注或 GPT-4 蒸馏，也能采集大规模高质量指令数据，为构建更优的指令微调数据提供了新范式。

关键要点

• 核心问题：指令微调数据的质量与规模
• 方法：从网络语料中三步采集（召回→抽取→精炼）
• 数据规模：1000 万条指令数据
• 代表模型：MAmmoTH2、MAmmoTH2-Plus
• 主要结果：MAmmoTH2-7B 在 MATH 与 GSM8K 上大幅提升；MAmmoTH2-Plus 在多个基准达到当时 SOTA
• 意义：提出不依赖人工标注或 GPT-4 蒸馏的指令数据采集新范式

其他信息

• 提供 PDF、HTML（实验性）、TeX 源码下载
• 附有音频摘要（Audio Summary）