作者： Luyu Gao, Aman Madaan, Shuyan Zhou, Uri Alon, Pengfei Liu, Yiming Yang, Jamie Callan, Graham Neubig
提交/修订日期： 2022年11月18日提交，2023年1月27日修订 (v2)
主题/分类： 计算与语言 (cs.CL); 人工智能 (cs.AI)
摘要：
大语言模型 (LLMs) 在给定少量测试样例（“少样本提示”）的情况下，最近展示了执行算术和符号推理任务的卓越能力。这一成功很大程度上归功于“思维链”等提示方法，该方法利用 LLM 来理解问题描述（通过将其分解为步骤）以及解决每个步骤。虽然 LLM 似乎擅长这种逐步分解，但即使在问题被正确分解的情况下，LLM 也经常在解决方案部分犯下逻辑和算术错误。
本文提出了程序辅助语言模型 (PAL)：一种新颖的方法，它使用 LLM 来阅读自然语言问题并生成程序作为中间推理步骤，但将求解步骤卸载给运行时（如 Python 解释器）。在 PAL 中，将自然语言问题分解为可运行的步骤仍然是 LLM 唯一的学习任务，而求解则委托给解释器。我们在 BIG-Bench Hard 和其他基准测试中的 13 个数学、符号和算法推理任务上，展示了这种神经 LLM 与符号解释器之间的协同作用。在所有这些自然语言推理任务中，使用 LLM 生成代码并使用 Python 解释器进行推理，比使用大得多的模型能获得更准确的结果。例如，使用 Codex 的 PAL 在数学应用题基准 GSM8K 上实现了最先进的少样本准确率，比使用思维链的 PaLM-540B 绝对高出 15% 的 top-1 准确率。
我们的代码和数据公开在 http://reasonwithpal.com/。