Distilling Mathematical Reasoning Capabilities into Small Language Models
基本信息
- 标题：Distilling Mathematical Reasoning Capabilities into Small Language Models（将数学推理能力蒸馏到小型语言模型中）
- 作者：Xunyu Zhu, Jian Li, Yong Liu, Can Ma, Weiping Wang
- 提交时间：2024年1月22日（v1），最后修订于2024年8月1日（v5）
- 发表信息：已被 Neural Networks 接收发表
- arXiv 编号：arXiv:2401.11864 [cs.CL]
- DOI：https://doi.org/10.48550/arXiv.2401.11864
主题分类
- 主分类：Computation and Language (cs.CL)
- 交叉分类：Artificial Intelligence (cs.AI)
摘要
本工作旨在解决先进大语言模型（LLMs）普及化的挑战，即在不牺牲性能的前提下，将其数学推理能力压缩到参数量在十亿以下的小型语言模型（SLMs） 中。
为此，作者提出了 Equation-of-Thought Distillation（EoTD，方程思维蒸馏） 技术。该技术将推理过程封装为基于方程的表示形式，并据此构建 EoTD 数据集，用于对 SLMs 进行微调。
此外，作者还提出了 Ensemble Thoughts Distillation（ETD，集成思维蒸馏） 框架，以进一步提升 SLMs 的推理性能。该框架构建了包含多种思维过程的推理数据集，涵盖 Chain-of-Thought（CoT，思维链）、Program-of-Thought（PoT，程序思维） 以及 Equation-of-Thought（EoT，方程思维），并将其用于微调。
实验结果表明，EoTD 能够显著提升 SLMs 的推理能力，而 ETD 则使这些模型达到了当前最先进的推理性能（state-of-the-art）。
核心贡献
- EoTD（方程思维蒸馏）：将推理过程表示为方程形式，构建专用数据集用于微调小型语言模型。
- ETD（集成思维蒸馏）：融合 CoT、PoT、EoT 三种思维过程构建推理数据集，进一步提升推理表现。
- 实验验证表明，该方法能够在十亿参数以下的小模型中实现优异的数学推理性能。