Graph of Thoughts: Solving Elaborate Problems with Large Language Models

• 作者：Maciej Besta, Nils Blach, Ales Kubicek, Robert Gerstenberger, Lukas Gianinazzi, Joanna Gajda, Tomasz Lehmann, Michal Podstawski, Hubert Niewiadomski, Piotr Nyczyk, Torsten Hoefler
• 提交时间：2023年8月18日（v1），最新版本 v4（2024年2月6日）
• 分类：计算机科学 > 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG）

摘要

本文提出 Graph of Thoughts（GoT）框架，该框架将大型语言模型（LLM）的提示能力提升到超越 Chain-of-Thought 或 Tree of Thoughts（ToT）等范式的水平。GoT 的核心思想与主要优势在于，能够将 LLM 生成的信息建模为任意图结构：其中信息单元（“LLM 思考”）作为顶点，边对应这些顶点之间的依赖关系。这种方法能够将任意的 LLM 思考组合成协同增效的结果，提炼整个思考网络的精髓，或通过反馈循环增强思考。实验表明，GoT 在不同任务上均优于现有技术，例如在排序任务上，相比 ToT 质量提升 62%，同时成本降低超过 31%。GoT 支持扩展新的思考变换，可用于开创新的提示方案。该工作使 LLM 推理更接近人类思维或大脑机制（如循环机制），这两者都形成复杂的网络结构。