作者： Pei Zhou, Jay Pujara, Xiang Ren, Xinyun Chen, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou, Swaroop Mishra, Huaixiu Steven Zheng
提交日期： 2024年2月6日
主题分类： 人工智能 (cs.AI); 计算与语言 (cs.CL)
摘要：
本文提出了 SELF-DISCOVER，一个通用框架，旨在让大型语言模型（LLMs）能够自我发现任务内在的推理结构，以解决那些对典型提示方法具有挑战性的复杂推理问题。该框架的核心是一个自我发现过程，在此过程中，LLMs 会选择多个原子推理模块（如批判性思维和逐步思考），并将它们组合成一个明确的推理结构，供 LLMs 在解码时遵循。与思维链（Chain of Thought, CoT）相比，SELF-DISCOVER 显著提升了 GPT-4 和 PaLM 2 在 BigBench-Hard、基于事实的智能体推理和 MATH 等具有挑战性的推理基准上的性能，提升幅度高达 32%。此外，SELF-DISCOVER 在性能上超过了 CoT-Self-Consistency 等计算密集的推理方法超过 20%，同时所需的推理计算量减少了 10-40 倍。最后，研究表明，自我发现的推理结构在不同模型系列（从 PaLM 2-L 到 GPT-4，以及从 GPT-4 到 Llama2）之间具有普适性，并且与人类推理模式存在共通之处。