# REPLUG: Retrieval-Augmented Black-Box Language Models
## 作者
- Weijia Shi
- Sewon Min
- Michihiro Yasunaga
- Minjoon Seo
- Rich James
- Mike Lewis
- Luke Zettlemoyer
- Wen-tau Yih
## 摘要
我们提出了 REPLUG，一种检索增强的语言建模框架。该框架将语言模型（LM）视为黑盒，并通过一个可调优的检索模型对其进行增强。与以往使用特殊交叉注意力机制训练语言模型以编码检索文本的检索增强语言模型不同，REPLUG 仅将检索到的文档直接添加到冻结的黑盒 LM 的输入前面。这种简单的设计可以轻松应用于任何现有的检索模型和语言模型。此外，我们展示了可以利用 LM 来监督检索模型，从而使检索模型能够找到帮助 LM 做出更好预测的文档。我们的实验表明，经过调优检索器的 REPLUG 能够显著提升 GPT-3 (175B) 在语言建模任务上的性能 6.3%，以及 Codex 在五样本 MMLU 任务上的性能 5.1%。
## 主题/分类
**计算机科学 > 计算与语言 (cs.CL)**