作者： Denny Zhou, Nathanael Schärli, Le Hou, Jason Wei, Nathan Scales, Xuezhi Wang, Dale Schuurmans, Claire Cui, Olivier Bousquet, Quoc Le, Ed Chi
提交/修订日期： 2022年5月21日提交，2023年4月16日修订 (v3)
主题/分类： 人工智能 (cs.AI); 计算与语言 (cs.CL)
摘要：
思维链提示在多种自然语言推理任务上展现了卓越的性能。然而，当任务要求解决的问题比提示中展示的示例更难时，其表现往往不佳。为了克服这种从易到难的泛化挑战，我们提出了一种新颖的提示策略——最少到最多提示。该策略的核心思想是将一个复杂问题分解为一系列更简单的子问题，然后按顺序解决它们。每个子问题的解决都得益于先前已解决的子问题的答案。我们在符号操作、组合泛化和数学推理相关任务上的实验结果表明，最少到最多提示能够泛化到比提示中看到的更困难的问题。一个值得注意的发现是，当 GPT-3 code-davinci-002 模型使用最少到最多提示时，仅用 14 个示例就能以至少 99% 的准确率解决组合泛化基准 SCAN 的任何分割（包括长度分割），而思维链提示的准确率仅为 16%。这一点尤其值得关注，因为文献中专用于解决 SCAN 的神经符号模型是在包含超过 15,000 个示例的整个训练集上进行训练的。我们在附录中包含了所有任务的提示。
备注： ICLR 2023