Logic-of-Thought: 将逻辑注入上下文以实现大语言模型的完整推理

基本信息

• 论文标题：Logic-of-Thought: Injecting Logic into Contexts for Full Reasoning in Large Language Models
• 作者：Tongxuan Liu, Wenjiang Xu, Weizhe Huang, Yuting Zeng, Jiaxing Wang, Xingyu Wang, Hailong Yang, Jing Li
• 提交时间：2024年9月26日（v1），最后修订 2025年2月7日（v2）
• 主题分类：Computation and Language (cs.CL)
• 备注：18页，已被 NAACL 2025 接收
• arXiv：2409.17539 [cs.CL]

摘要

大语言模型（LLMs）在各类任务中展现出卓越能力，但在复杂逻辑推理任务上的表现仍不尽人意。尽管思维链（Chain-of-Thought）等提示方法能在一定程度上提升 LLMs 的推理能力，但它们存在"不忠实"（unfaithful）问题，即推导出的结论可能与生成的推理链不一致。为解决这一问题，部分研究采用命题逻辑（propositional logic）方法来进一步增强 LLMs 的逻辑推理能力。然而，这些方法在提取逻辑表达式时可能存在的遗漏，会导致逻辑推理过程中的信息损失，从而产生错误结果。

为此，本文提出 Logic-of-Thought (LoT) 提示方法：利用命题逻辑生成扩展的逻辑信息描述，并将其作为原始上下文的额外增强，从而保证信息完整性并提升逻辑推理能力。LoT 与现有提示方法正交（orthogonal），可无缝集成。

大量实验表明，LoT 在五项逻辑推理任务上以显著优势提升了多种提示方法的性能。具体而言：
- 在 ReClor 数据集上，使思维链性能提升 +4.35%；
- 在 RuleTaker 数据集上，使带自洽性（Self-Consistency）的思维链性能提升 +3.52%；
- 在 ProofWriter 数据集上，使思维树（Tree-of-Thoughts）性能提升 +8%。

关键要点

• 问题：现有提示方法（如 CoT）推理链与结论不一致；基于命题逻辑的方法存在逻辑表达式提取遗漏导致的信息损失。
• 方法：LoT 用命题逻辑生成扩展的逻辑信息描述，作为原始上下文的补充增强，确保信息完整。
• 特性：与现有提示方法正交，可即插即用。
• 效果：在五个逻辑推理任务上显著提升多种提示方法的表现。