Dense X Retrieval: What Retrieval Granularity Should We Use?

基本信息

• 标题：Dense X Retrieval: What Retrieval Granularity Should We Use?
• 作者：Tong Chen, Hongwei Wang, Sihao Chen, Wenhao Yu, Kaixin Ma, Xinran Zhao, Hongming Zhang, Dong Yu
• arXiv 编号：arXiv:2312.06648 [cs.CL]
• 提交时间：2023 年 12 月 11 日（v1）；最后修订于 2024 年 10 月 4 日（v3）
• DOI：https://doi.org/10.48550/arXiv.2312.06648

主题与分类

• 主分类：Computation and Language (cs.CL)
• 交叉分类：Artificial Intelligence (cs.AI)、Information Retrieval (cs.IR)

摘要（中文翻译）

稠密检索（dense retrieval）已成为在开放域 NLP 任务中获取相关上下文或世界知识的重要方法。当在推理阶段将学习到的稠密检索器应用于检索语料库时，一个常被忽视的设计选择是语料库索引所采用的检索单元（retrieval unit），例如文档、段落或句子。作者发现，检索单元的选择会显著影响检索任务与下游任务的性能。

与通常使用段落或句子的做法不同，本文提出了一种新的稠密检索单元——命题（proposition）。命题被定义为文本中的原子表达，每个命题封装一个独立的事实信息（factoid），并以简洁、自包含的自然语言形式呈现。

作者对不同检索粒度进行了实证比较。实验表明：使用诸如命题这类细粒度单元对语料库建立索引，在检索任务中显著优于段落级单元；此外，在给定特定计算预算的情况下，使用细粒度检索单元为检索增强语言模型（retrieval-augmented language models）构造提示（prompt），可以提升下游问答（QA）任务的性能。

关键词

稠密检索（dense retrieval）、检索粒度（retrieval granularity）、命题（proposition）、检索增强语言模型、开放域问答