MathScale: Scaling Instruction Tuning for Mathematical Reasoning

论文信息

• 标题: MathScale: Scaling Instruction Tuning for Mathematical Reasoning
• 作者: Zhengyang Tang, Xingxing Zhang, Benyou Wang, Furu Wei
• 提交日期: 2024年3月5日
• 分类: Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Machine Learning (cs.LG)

摘要

大型语言模型（LLMs）在问题解决方面展现了卓越的能力，但其在数学问题解决方面的熟练度仍显不足。本文提出MathScale，一种简单且可扩展的方法，利用前沿LLM（如 GPT-3.5）创建高质量的数学推理数据。受人类数学学习认知机制的启发，该方法首先从种子数学问题中提取主题和知识点，然后构建概念图，进而利用该图生成新的数学问题。MathScale 在生成的数据集规模维度上表现出有效的可扩展性。由此，我们创建了包含200万个数学问答对的数学推理数据集MathScaleQA。为全面评估LLMs的数学推理能力，我们构建了MwpBench数学应用题基准，该基准整合了十个数据集（包括GSM8K和MATH），涵盖K-12、大学及竞赛级别的数学问题。我们将MathScaleQA应用于微调开源LLM（如LLaMA-2和Mistral），显著提升了其数学推理能力。在MwpBench上的评估显示，MathScale-7B在所有数据集上取得了最先进的性能，在微平均准确率和宏平均准确率上分别超越同等规模的最佳模型42.9%和43.7%。

关键贡献

1. MathScale方法: 一种基于概念图生成数学推理数据的可扩展方法
2. MathScaleQA数据集: 包含200万个数学问答对的大规模数据集
3. MwpBench基准: 整合10个数据集的数学应用题综合评估基准
4. 性能提升: 微调后的7B参数模型在数学推理任务上达到最优性能

备注

Work in progress