作者： Akari Asai, Zeqiu Wu, Yizhong Wang, Avirup Sil, Hannaneh Hajishirzi
提交日期： 2023年10月17日
摘要： 尽管大型语言模型（LLMs）能力卓越，但由于其仅依赖于自身封装的参数化知识，生成的回答常常包含事实性错误。检索增强生成（RAG）是一种通过检索相关知识来增强语言模型的临时方法，可以减少此类问题。然而，不加区分地检索和整合固定数量的段落，无论检索是否必要或段落是否相关，都会降低语言模型的通用性，或导致生成无用的回答。本文提出了一个名为自反思检索增强生成（Self-RAG）的新框架，该框架通过检索和自反思来增强语言模型的质量和事实性。我们的框架训练一个单一的任意语言模型，使其能够按需自适应地检索段落，并使用称为“反思标记”的特殊标记来生成内容并反思检索到的段落及其自身的生成结果。生成反思标记使得模型在推理阶段可控，使其能够根据不同的任务需求调整自身行为。实验表明，Self-RAG（70亿和130亿参数）在多种任务上显著优于最先进的大型语言模型和检索增强模型。具体而言，Self-RAG在开放域问答、推理和事实核查任务上优于ChatGPT和检索增强的Llama2-chat，并且在提高长文本生成的事实性和引用准确性方面，相对于这些模型显示出显著的优势。
主题/分类：
- 计算与语言 (cs.CL)
- 人工智能 (cs.AI)
- 机器学习 (cs.LG)
论文信息： 30页，2张图，12个表格。