Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning

• 作者： Chaojie Wang, Yanchen Deng, Zhiyi Lyu, Liang Zeng, Jujie He, Shuicheng Yan, Bo An
• 提交日期： 2024年6月20日（v1），最后修订于2024年7月22日（v4）
• 主题分类： 计算机科学 > 人工智能 (cs.AI)
• arXiv ID： 2406.14283

摘要

大型语言模型（LLMs）在许多自然语言任务中展现了令人印象深刻的能力。然而，自回归生成过程使得LLMs在执行多步推理时容易产生错误、幻觉和不一致的陈述。本文通过将LLMs的多步推理视为一个启发式搜索问题，引入Q*——一个通用、灵活且敏捷的框架，通过审慎规划来引导LLMs的解码过程，旨在缓解这一病理现象。

通过学习一个即插即用的Q值模型作为启发式函数，用于估计预期的未来奖励，我们的Q*可以有效引导LLMs选择最有前途的下一步推理步骤，而无需对当前任务微调LLMs，从而避免了显著的计算开销以及在其他任务上性能退化的潜在风险。在GSM8K、MATH和MBPP上的大量实验证明了我们方法的优越性，有助于提升现有开源LLMs的推理性能。