作者： Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan
提交日期： 2023年5月17日 (v1)
主题分类： 计算与语言 (cs.CL); 人工智能 (cs.AI); 机器学习 (cs.LG)
摘要：
语言模型正被越来越广泛地应用于解决各种通用问题，但在推理过程中，它们仍然局限于逐词（token-level）、从左到右的决策过程。这意味着，在那些需要探索、战略前瞻或初始决策起关键作用的任务中，它们可能表现不佳。为了克服这些挑战，我们引入了一个新的语言模型推理框架——思维树（Tree of Thoughts, ToT）。该框架推广了流行的思维链（Chain of Thought）提示方法，允许对作为问题解决中间步骤的连贯文本单元（即“思维”）进行探索。ToT 使语言模型能够进行深思熟虑的决策，通过考虑多种不同的推理路径并自我评估选择来决定下一步行动，以及在必要时进行前瞻或回溯以做出全局选择。我们的实验表明，ToT 在三个需要非平凡规划或搜索的新任务上显著增强了语言模型的问题解决能力：24点游戏、创意写作和迷你填字游戏。例如，在24点游戏中，使用思维链提示的 GPT-4 仅解决了 4% 的任务，而我们的方法达到了 74% 的成功率。
代码仓库： https://github.com/ysymyth/tree-of-thought-llm