ToRA: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving

作者

Zhibin Gou, Zhihong Shao, Yeyun Gong, yelong shen, Yujiu Yang, Minlie Huang, Nan Duan, Weizhu Chen（前两位作者贡献相等）

摘要

大语言模型在各种语言任务中取得了显著进展，但在复杂数学问题上仍然存在困难。本文提出了 ToRA（Tool-integrated Reasoning Agents），一系列集成工具推理的智能体，旨在通过将自然语言推理与外部工具（如计算库和符号求解器）的使用无缝集成，融合语言的解析能力与工具的计算效率，来解决具有挑战性的数学问题。

为训练 ToRA 模型，研究者在数学数据集上整理了交互式工具使用轨迹，对标注数据应用模仿学习，并提出输出空间塑形（output space shaping）方法以进一步优化模型的推理行为。

主要成果

• 整体性能：ToRA 模型在 10 个数学推理数据集上全面显著优于开源模型，平均绝对提升达 13%–19%。
• ToRA-7B：在竞赛级数据集 MATH 上达到 44.6% 准确率，超越当时最优开源模型 WizardMath-70B 22 个百分点（绝对提升）。
• ToRA-34B：成为首个在 MATH 数据集上准确率超过 50% 的开源模型，显著优于 GPT-4 的思维链（CoT）结果，并可与使用程序求解问题的 GPT-4 相竞争。

此外，论文对工具交互在数学推理中的优势及仍面临的挑战进行了全面分析，为未来研究提供了有价值的见解。

主题分类

• 计算机科学 > 计算与语言（cs.CL）
• 人工智能（cs.AI）

论文信息

• arXiv 编号：2309.17452
• 提交时间：2023 年 9 月 29 日（v1），最新版 v4 于 2024 年 2 月 21 日
• DOI：https://doi.org/10.48550/arXiv.2309.17452