Large Dual Encoders Are Generalizable Retrievers
基本信息
- 标题：Large Dual Encoders Are Generalizable Retrievers（大型双编码器是可泛化的检索器）
- 作者：Jianmo Ni, Chen Qu, Jing Lu, Zhuyun Dai, Gustavo Hernández Ábrego, Ji Ma, Vincent Y. Zhao, Yi Luan, Keith B. Hall, Ming-Wei Chang, Yinfei Yang
- 提交日期：2021 年 12 月 15 日
- arXiv 编号：arXiv:2112.07899v1 [cs.IR]
- DOI：https://doi.org/10.48550/arXiv.2112.07899
主题分类
- 主分类：Information Retrieval (cs.IR)
- 交叉分类：Computation and Language (cs.CL)
摘要
已有研究表明，在一个领域上训练的双编码器（dual encoder）往往难以泛化到其他领域的检索任务。一种普遍的看法是，双编码器的瓶颈层（bottleneck layer）——即最终得分仅由查询向量与段落向量的点积计算得到——过于受限，无法使双编码器成为一个有效的、可跨域泛化的检索模型。
本文对这一观点提出了挑战：作者在保持瓶颈嵌入维度不变的前提下，扩大了双编码器模型的规模。通过多阶段训练，出人意料的是，模型规模的扩大在多种检索任务上带来了显著提升，尤其是在跨域（out-of-domain）泛化方面。
实验结果显示，本文提出的双编码器 GTR（Generalizable T5-based dense Retrievers，基于 T5 的可泛化稠密检索器）在 BEIR 数据集上显著优于现有的稀疏与稠密检索器。更令人惊讶的是，消融实验发现 GTR 具有很高的数据效率：仅需 MS Marco 监督数据的 10% 即可达到最佳的跨域性能。所有 GTR 模型已在 https://tfhub.dev/google/collections/gtr/1 发布。
关键贡献
- 挑战了"双编码器瓶颈层限制跨域泛化能力"的传统认知
- 提出通过扩大模型规模（保持嵌入维度固定）并结合多阶段训练来提升泛化能力
- 提出 GTR 模型，在 BEIR 数据集上显著超越现有检索器
- 发现 GTR 具有极高的数据效率，仅用 10% 的 MS Marco 监督数据即可取得最佳跨域性能
相关链接
- PDF：https://arxiv.org/pdf/2112.07899
- 模型发布：https://tfhub.dev/google/collections/gtr/1