facebook/wiki_dpr

数据集简介

Facebook 发布的 Wiki DPR 数据集，是一个用于密集段落检索（Dense Passage Retrieval, DPR）任务的大规模开源数据集。它旨在训练和评估基于稠密向量的开放域问答系统。

主要用途

该数据集主要用于训练和评估开放域问答和信息检索模型。具体来说，它支持模型学习如何根据问题，从大规模知识库（如维基百科）中精准地检索出相关段落作为答案依据。

数据类型/模态

数据集主要包含文本模态的数据，结构通常包括：
* 问题：自然语言形式的查询。
* 相关段落：从维基百科中提取的、能够回答对应问题的正样本段落。
* 负样本段落：与问题不相关或相关性较弱的段落，用于对比学习。

规模与统计信息

• 下载量：超过 4 万次，表明其在研究社区中被广泛使用。
• 数据来源：基于维基百科构建，知识覆盖面广。
• 特点：提供了高质量的（问题，相关段落）配对，是训练 DPR 等稠密检索模型的基准数据集之一。

使用场景

1. 训练检索式问答模型：作为核心训练数据，用于教模型学习问题和答案段落之间的语义关联。
2. 信息检索研究：作为基准数据集，用于评估不同稠密检索模型在段落检索任务上的性能。
3. 开放域问答系统开发：构建问答系统时，用于训练检索模块，以从海量文档中快速找出候选答案。