Tree of Thoughts: Deliberate Problem Solving with Large Language Models

论文信息

• 标题：Tree of Thoughts: Deliberate Problem Solving with Large Language Models
• 作者：Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan
• 提交日期：2023年5月17日（v1），最终修订于2023年12月3日（v2，NeurIPS 2023 最终版）
• 分类：计算机科学 > 计算与语言 (cs.CL)；人工智能 (cs.AI)；机器学习 (cs.LG)
• 论文链接：https://arxiv.org/abs/2305.10601
• 代码仓库：https://github.com/princeton-nlp/tree-of-thought-llm

摘要

语言模型越来越多地被部署用于解决各种通用任务，但在推理过程中仍局限于 token 级别的从左到右决策过程。这意味着它们在需要探索、战略性预见或初始决策起关键作用的任务中可能表现不佳。为了克服这些挑战，我们提出了一种新的语言模型推理框架——思维树 (Tree of Thoughts, ToT)，它泛化了流行的链式思维 (Chain of Thought) 提示方法，允许模型在作为问题解决中间步骤的连贯文本单元（思维）上进行探索。ToT 使语言模型能够通过考虑多个不同的推理路径和自我评估来做出深思熟虑的决策，从而决定下一步行动，并在必要时进行前瞻或回溯以做出全局选择。我们的实验表明，ToT 在三个需要非平凡规划或搜索的新任务上显著增强了语言模型的问题解决能力：24点游戏、创意写作和迷你填字游戏。例如，在24点游戏中，采用链式思维提示的 GPT-4 仅能解决 4% 的任务，而我们的方法实现了 74% 的成功率。