OpenMathInstruct-2: Accelerating AI for Math with Massive Open-Source Instruction Data

基本信息

• arXiv ID: 2410.01560 (v2)
• 作者: Shubham Toshniwal, Wei Du, Ivan Moshkov, Branislav Kisacanin, Alexan Ayrapetyan, Igor Gitman
• 提交日期: 2024年10月2日（v1）；最后修订于2024年10月5日（v2）
• 主题分类: Computation and Language (cs.CL)；Artificial Intelligence (cs.AI)；Machine Learning (cs.LG)
• DOI: https://doi.org/10.48550/arXiv.2410.01560
• 许可: CC BY-NC-ND 4.0

摘要

数学推理一直是大语言模型（LLM）开发中的关键挑战，受到广泛关注。然而，由于训练数据的不可获取，LLM 数学推理领域的大部分前沿进展已变为闭源，这限制了研究者理解数据合成与使用中不同选择所带来的影响。

为构建高质量的数学推理微调（SFT）数据集，作者使用新发布的 Llama3.1 系列模型进行了细致的数据合成消融实验。实验表明：

• (a) 解答格式很重要：过于冗长的解答会损害 SFT 性能；
• (b) 强教师模型生成的数据优于同等规模的弱学生模型生成的数据；
• (c) SFT 对低质量解答具有鲁棒性，因此可以进行不精确的数据过滤；
• (d) 问题多样性对于实现数据规模扩展收益至关重要。

基于上述发现，作者构建了 OpenMathInstruct-2 数据集，包含 1400 万问答对（约 60 万个独特问题），规模是此前最大开源数学推理数据集的近 8 倍。使用 OpenMathInstruct-2 微调 Llama-3.1-8B-Base，在 MATH 基准上绝对超越 Llama3.1-8B-Instruct 达 15.9%（51.9% → 67.8%）。

最后，为推动开源发展，作者在商业友好的许可下发布了代码、微调后的模型以及 OpenMathInstruct-2 数据集。