作者: Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou
摘要:
思维链提示与预训练大语言模型相结合，在复杂推理任务上已取得令人鼓舞的成果。本文提出一种新的解码策略——自洽性，以取代思维链提示中使用的朴素贪心解码。该方法首先采样一组多样化的推理路径，而不是只取贪心路径，然后通过边缘化采样的推理路径来选择最一致的答案。自洽性利用了这样一个直觉：一个复杂的推理问题通常允许多种不同的思考方式，最终指向其唯一正确答案。我们广泛的实证评估表明，自洽性在一系列流行的算术和常识推理基准上，显著提升了思维链提示的性能，包括 GSM8K (+17.9%)、SVAMP (+11.0%)、AQuA (+12.2%)、StrategyQA (+6.4%) 和 ARC-challenge (+3.9%)。
主题/分类:
- 计算与语言 (cs.CL)
- 人工智能 (cs.AI)
备注: 发表于 ICLR 2023。V2：增加了 PaLM 结果；V3：增加了 UL2 结果；V4：ICLR 2023 最终版本。
提交/修订历史:
- 提交于 2022年3月21日
- 最终版本 (v4) 修订于 2023年3月7日