作者: Luyu Gao, Aman Madaan, Shuyan Zhou, Uri Alon, Pengfei Liu, Yiming Yang, Jamie Callan, Graham Neubig
提交/修订日期: 2022年11月18日提交，2023年1月27日修订 (v2)
主题/分类: 计算与语言 (cs.CL); 人工智能 (cs.AI)
摘要:
大语言模型 (LLMs) 最近在算术和符号推理任务上展现出了令人印象深刻的能力，尤其是在测试时提供少量示例（“少样本提示”）的情况下。这种成功很大程度上归功于“思维链”等提示方法，该方法利用 LLM 来理解问题描述（通过将其分解为步骤）以及解决每个步骤。虽然 LLM 似乎擅长这种逐步分解，但即使在问题被正确分解的情况下，LLM 也经常在求解部分犯逻辑和算术错误。本文提出了程序辅助语言模型 (PAL)：一种新颖的方法，它使用 LLM 来阅读自然语言问题并生成程序作为中间推理步骤，但将求解步骤卸载给运行时环境（如 Python 解释器）。在 PAL 中，将自然语言问题分解为可运行的步骤仍然是 LLM 唯一的学习任务，而求解则委托给解释器。我们在 BIG-Bench Hard 和其他基准测试中的 13 个数学、符号和算法推理任务上展示了这种神经 LLM 与符号解释器之间的协同作用。在所有这些自然语言推理任务中，使用 LLM 生成代码并使用 Python 解释器进行推理，比大得多的模型能带来更准确的结果。例如，使用 Codex 的 PAL 在数学应用题基准 GSM8K 上实现了最先进的少样本准确率，超过了使用思维链的 PaLM-540B，绝对 top-1 准确率提升了 15%。
备注: 前三位作者贡献相同。代码和数据公开于 http://reasonwithpal.com/。