Chain-of-Verification Reduces Hallucination in Large Language Models
作者
Shehzaad Dhuliawala, Mojtaba Komeili, Jing Xu, Roberta Raileanu, Xian Li, Asli Celikyilmaz, Jason Weston
摘要
生成看似合理但实际错误的事实信息（即“幻觉”）是大语言模型中尚未解决的问题。本文研究语言模型对其自身回答进行深思熟虑以纠正错误的能力。作者提出了Chain-of-Verification (CoVe) 方法，该方法包含以下步骤：
- 起草初始回答：模型首先生成一个初步回复；
- 规划验证问题：模型针对其草稿规划用于事实核查的验证问题；
- 独立回答问题：模型独立地回答这些问题，以避免受到其他回答的偏置影响；
- 生成最终验证回答：模型基于验证结果生成最终的、经过核查的回答。
实验表明，CoVe 方法在一系列任务中均能减少幻觉现象，涵盖来自 Wikidata 的列表型问题、闭卷 MultiSpanQA 以及长文本生成等任务。
主题分类
- 主要分类：计算与语言（cs.CL）
- 相关分类：人工智能（cs.AI）
其他信息
- arXiv 编号：2309.11495
- 提交时间：2023年9月20日（v1），2023年9月25日（v2，当前版本）
- DOI：https://doi.org/10.48550/arXiv.2309.11495