作者： Liangming Pan, Alon Albalak, Xinyi Wang, William Yang Wang
摘要： 大型语言模型（LLMs）已展现出类人的推理能力，但在处理复杂逻辑问题时仍然存在困难。本文介绍了一个新颖的框架 Logic-LM，它将 LLMs 与符号求解器相结合，以提升逻辑问题解决能力。我们的方法首先利用 LLMs 将自然语言问题翻译成符号化表述。随后，一个确定性的符号求解器对公式化的问题进行推理。我们还引入了一个自精炼模块，该模块利用符号求解器的错误信息来修正符号化表述。我们在五个逻辑推理数据集上证明了 Logic-LM 的有效性：ProofWriter、PrOntoQA、FOLIO、LogicalDeduction 和 AR-LSAT。平均而言，Logic-LM 相比仅使用标准提示的 LLM 实现了 39.2% 的显著性能提升，相比使用思维链提示的 LLM 实现了 18.4% 的提升。我们的研究结果表明，Logic-LM 通过将 LLMs 与符号逻辑相结合，为可信的逻辑推理提供了一条有前景的途径。代码和数据已在 https://github.com/teacherpeterpan/Logic-LLM 公开。
主题/分类： Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
会议信息： EMNLP 2023 (Findings, long paper)
提交/修订日期： 2023年5月20日提交，2023年10月19日修订（版本 v2）