Chain-of-Verification Reduces Hallucination in Large Language Models

• 作者： Shehzaad Dhuliawala, Mojtaba Komeili, Jing Xu, Roberta Raileanu, Xian Li, Asli Celikyilmaz, Jason Weston
• 提交日期： 2023年9月20日（v1）；最新版本2023年9月25日（v2）
• 分类： 计算与语言 (cs.CL)；人工智能 (cs.AI)
• 论文链接： arXiv:2309.11495

摘要

生成看似合理但实际不正确的信息（即幻觉）是大语言模型中尚未解决的问题。本文研究了语言模型对其自身回答进行反思以修正错误的能力。作者提出了Chain-of-Verification（CoVe） 方法，该方法包括以下步骤：(i) 模型首先草拟一个初始回答；(ii) 然后规划验证问题以事实检查其草稿；(iii) 独立回答这些问题，以使答案不受其他回答的偏见影响；(iv) 最终生成经过验证的回答。

实验表明，CoVe 在多种任务中均能减少幻觉，包括基于 Wikidata 的列表类问题、闭书 MultiSpanQA 以及长文本生成任务。