Large Language Models are Zero-Shot Reasoners
基本信息
- 标题: Large Language Models are Zero-Shot Reasoners（大型语言模型是零样本推理器）
- 作者: Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, Yusuke Iwasawa
- 提交日期: 2022年5月24日（v1），最后修订于2023年1月29日（v4）
- 论文 ID: arXiv:2205.11916
- 分类: Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
- 会议: 已被 NeurIPS 2022 接收
摘要
预训练大型语言模型（LLMs）广泛应用于自然语言处理（NLP）的多个子领域，通常被认为是优秀的少样本（few-shot）学习者。最近出现的思维链（Chain of Thought, CoT）提示技术，通过逐步回答示例来引出复杂的多步推理，在算术和符号推理等困难任务上取得了最先进的性能。
本文研究表明，只需在每个答案前添加"Let's think step by step"（让我们一步一步思考），LLMs 就能成为不错的零样本（zero-shot）推理器。实验结果表明，Zero-shot-CoT 使用相同的单一提示模板，在多种基准推理任务上显著优于零样本 LLM 的性能，且无需任何手工制作的少样本示例。具体包括：
- 算术任务: MultiArith（准确率从 17.7% 提升至 78.7%）、GSM8K（从 10.4% 提升至 40.7%）、AQUA-RAT、SVAMP
- 符号推理: Last Letter、Coin Flip
- 逻辑推理: Date Understanding、Tracking Shuffled Objects
这些改进在使用大型 InstructGPT 模型（text-davinci-002）和 540B 参数的 PaLM 模型上均得到验证。单个提示在多种推理任务上的通用性暗示了 LLMs 未被充分探索的零样本能力。
核心贡献
- 提出了 Zero-shot-CoT，一种简单的提示方法，通过在答案前添加"Let's think step by step"来激发 LLMs 的逐步推理能力
- 在多个推理基准上显著提升了零样本性能
- 揭示了 LLMs 巨大的潜在零样本推理能力，表明高层次的、多任务的广泛认知能力可以通过简单的提示被激发
代码与资源