作者： Lei Wang, Wanyu Xu, Yihuai Lan, Zhiqiang Hu, Yunshi Lan, Roy Ka-Wei Lee, Ee-Peng Lim
提交/修订日期： 2023年5月6日提交，2023年5月26日修订 (v3)
主题/分类： 计算与语言 (cs.CL)
会议信息： ACL 2023
摘要：
大语言模型 (LLMs) 在各类 NLP 任务中展现出令人印象深刻的性能。为了处理多步推理任务，少样本思维链 (CoT) 提示包含少量人工构建的逐步推理示例，使 LLMs 能够显式生成推理步骤并提高其推理任务准确率。为了消除人工努力，零样本思维链 (Zero-shot-CoT) 将目标问题陈述与“让我们一步一步思考”连接起来作为 LLMs 的输入提示。尽管 Zero-shot-CoT 取得了成功，但它仍存在三个缺陷：计算错误、步骤缺失错误和语义理解错误。
为了解决步骤缺失错误，本文提出了 Plan-and-Solve (PS) Prompting。它包含两个部分：首先，制定一个计划将整个任务划分为更小的子任务；然后，根据计划执行这些子任务。为了解决计算错误并提高生成推理步骤的质量，我们通过更详细的指令扩展了 PS 提示，并推导出 PS+ Prompting。
我们在涵盖三个推理问题的十个数据集上评估了所提出的提示策略。在 GPT-3 上的实验结果表明，我们提出的零样本提示方法在所有数据集上都以较大优势持续优于 Zero-shot-CoT，与零样本程序思维提示 (Zero-shot-Program-of-Thought Prompting) 相当或更优，并且在数学推理问题上与 8-shot CoT 提示具有相当的性能。
代码地址： https://github.com/AGI-Edgerunners/Plan-and-Solve-Prompting