Pei Zhou, Jay Pujara, Xiang Ren, Xinyun Chen, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou, Swaroop Mishra, Huaixiu Steven Zheng
本文提出了 SELF-DISCOVER，一个通用框架，使大语言模型（LLMs）能够自行发现任务内在的推理结构，以解决对典型提示方法而言具有挑战性的复杂推理问题。该框架的核心是一个自我发现过程：LLMs 选择多个原子推理模块（如批判性思维和逐步思考），并将它们组合成显式的推理结构，在解码过程中供 LLMs 遵循。
SELF-DISCOVER 在具有挑战性的推理基准（如 BigBench-Hard、基于智能体的接地推理和 MATH）上显著提升了 GPT-4 和 PaLM 2 的性能，相比思维链（Chain of Thought, CoT）最高提升了 32%。此外，SELF-DISCOVER 的性能优于 CoT-Self-Consistency 等推理密集型方法 20% 以上，同时所需的推理计算量减少了 10-40 倍。最后，研究表明自我发现的推理结构在不同模型家族间具有普遍适用性：从 PaLM 2-L 到 GPT-4，从 GPT-4 到 Llama2，并且这些结构与人类推理模式存在共通之处。