作者： Wenhu Chen, Xueguang Ma, Xinyi Wang, William W. Cohen
摘要：
近期，在教导语言模型进行逐步推理以解决复杂数值推理任务方面取得了显著进展。思维链提示（Chain-of-thoughts prompting，CoT）是目前处理这些任务的最先进方法。CoT 使用语言模型在多步“思考”过程中同时执行推理和计算。为了将计算与推理分离开来，我们提出了“程序化思考”（Program of Thoughts，PoT）。该方法使用语言模型（主要是 Codex）将推理过程表达为一个程序，而计算则交由外部计算机执行，由它运行生成的程序来得出答案。
我们在五个数学应用题数据集（GSM、AQuA、SVAMP、TabMWP、MultiArith）和三个金融问答数据集（FinQA、ConvFinQA、TATQA）上，对小样本（few-shot）和零样本（zero-shot）两种设置均进行了评估。在两种设置下，PoT 在所有评估数据集上的平均性能比 CoT 提升了约 12%。通过将 PoT 与自一致性解码（self-consistency decoding）相结合，我们在所有数学问题数据集上达到了最先进的性能，并在金融数据集上接近了最先进水平。
主题/分类： 计算与语言（cs.CL）；人工智能（cs.AI）