作者： Ling Yang, Zhaochen Yu, Tianjun Zhang, Shiyi Cao, Minkai Xu, Wentao Zhang, Joseph E. Gonzalez, Bin Cui
提交/修订日期： 2024年6月6日提交，2024年10月14日修订 (v2)
主题/分类： 计算与语言 (cs.CL)
摘要：
本文提出了 Buffer of Thoughts (BoT)，一种新颖且通用的思维增强推理方法，旨在提升大语言模型（LLMs）的准确性、效率和鲁棒性。具体而言，我们提出了 元缓冲区（meta-buffer） 来存储一系列从跨任务问题解决过程中提炼出的信息丰富的高级思维，即 思维模板（thought-template）。然后，针对每个问题，我们检索一个相关的思维模板，并自适应地将其实例化为特定的推理结构以进行高效推理。为了保证可扩展性和稳定性，我们进一步提出了 缓冲区管理器（buffer-manager） 来动态更新元缓冲区，从而随着更多任务被解决而增强元缓冲区的能力。
我们在10个具有挑战性的推理密集型任务上进行了广泛的实验，相比之前的SOTA方法取得了显著的性能提升：在Game of 24上提升11%，在Geometric Shapes上提升20%，在Checkmate-in-One上提升51%。进一步的分析证明了我们的BoT具有优越的泛化能力和模型鲁棒性，同时平均仅需多查询提示方法（例如，思维树/图）12%的成本。值得注意的是，我们发现我们的 Llama3-8B+BoT 模型有潜力超越 Llama3-70B 模型。
项目地址： https://github.com/YangLing0818/buffer-of-thought-llm
备注： 本文为NeurIPS 2024 Spotlight论文。