ToRA: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving

基本信息

• arXiv ID：2309.17452v2（cs.CL）
• 作者：Zhibin Gou、Zhihong Shao、Yeyun Gong、Yelong Shen、Yujiu Yang、Minlie Huang、Nan Duan、Weizhu Chen（前两位作者贡献相同）
• 主题分类：Computation and Language (cs.CL)；Artificial Intelligence (cs.AI)
• 提交时间：2023 年 9 月 29 日（v1）；2023 年 10 月 4 日（v2）；最新版本 v4（2024 年 2 月 21 日）

摘要

大语言模型在各类语言任务上已取得显著进展，但在处理复杂数学问题时仍存在困难。本文提出 ToRA（Tool-integrated Reasoning Agents），这是一系列工具集成推理智能体，旨在将自然语言推理与外部工具（如计算库、符号求解器）的使用无缝结合，从而融合语言的解析能力与工具的计算效率，以求解高难度数学问题。

在训练方法上，作者在数学数据集上构建交互式工具使用轨迹，对标注数据进行模仿学习，并提出输出空间塑形（output space shaping）以进一步优化模型的推理行为。

实验结果显示，ToRA 模型在 10 个数学推理数据集上于各规模均显著优于开源模型，平均绝对提升 13%–19%。其中：

• ToRA-7B 在竞赛级数据集 MATH 上达到 44.6%，比当时最佳开源模型 WizardMath-70B 绝对高出 22%；
• ToRA-Code-34B 是首个在 MATH 上准确率超过 50% 的开源模型，显著优于 GPT-4 的思维链（CoT）结果，并与使用程序求解问题的 GPT-4 表现相当。

此外，论文对工具交互在数学推理中的优势与剩余挑战进行了全面分析，为未来研究提供了有价值的见解。

关键词

工具集成推理（Tool-integrated Reasoning）、数学问题求解、大语言模型、模仿学习、输出空间塑形、符号求解器