Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks
基本信息
- 标题：Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks（思想程序提示：将计算与推理解耦以用于数值推理任务）
- 作者：Wenhu Chen、Xueguang Ma、Xinyi Wang、William W. Cohen
- 提交时间：2022 年 11 月 22 日（v1）；最新版本为 v4，2023 年 10 月 23 日
- arXiv 编号：arXiv:2211.12588 [cs.CL]
- DOI：https://doi.org/10.48550/arXiv.2211.12588
- 代码：https://github.com/wenhuchen/Program-of-Thoughts
主题分类
- 主分类：Computation and Language（cs.CL）
- 交叉分类：Artificial Intelligence（cs.AI）
摘要
近期，在教语言模型进行逐步推理以解决复杂数值推理任务方面已有显著进展。思维链提示（Chain-of-Thoughts prompting, CoT）是目前这类任务中最先进的方法。CoT 让语言模型在多步“思考”过程中同时完成推理和计算。为将计算与推理解耦，作者提出“思想程序”（Program of Thoughts, PoT），使用语言模型（主要是 Codex）将推理过程表达为程序，并把计算交给外部计算机执行生成的程序，从而得出答案。
作者在五个数学应用题数据集（GSM、AQuA、SVAMP、TabMWP、MultiArith）和三个金融问答数据集（FinQA、ConvFinQA、TATQA）上，分别在少样本和零样本设置下评估了 PoT。结果显示，在少样本与零样本设置下，PoT 在所有评估数据集上相对 CoT 平均提升约 12%。将 PoT 与自一致性解码（self-consistency decoding）结合后，在所有数学问题数据集上取得 SoTA 性能，在金融数据集上接近 SoTA。所有数据与代码均已公开。