作者： Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, Yunfeng Liu
提交/修订日期： 2021年4月20日提交，2023年11月8日修订（v5）
主题/分类： 计算与语言 (cs.CL); 人工智能 (cs.AI); 机器学习 (cs.LG)
摘要：
位置编码在Transformer架构中已被证明是有效的，它为序列中不同位置元素之间的依赖关系建模提供了有价值的监督。本文首先研究了将位置信息整合到基于Transformer的语言模型学习过程中的各种方法。然后，我们提出了一种名为旋转位置嵌入（RoPE）的新方法来有效利用位置信息。具体来说，所提出的RoPE使用旋转矩阵对绝对位置进行编码，同时将显式的相对位置依赖关系纳入自注意力公式中。值得注意的是，RoPE具有一些有价值的特性，包括序列长度的灵活性、随相对距离增加而衰减的令牌间依赖性，以及为线性自注意力配备相对位置编码的能力。最后，我们在各种长文本分类基准数据集上评估了使用旋转位置嵌入的增强型Transformer（也称为RoFormer）。实验表明，它始终优于其他替代方案。此外，我们还提供了理论分析来解释一些实验结果。RoFormer已集成到Hugging Face中：https://huggingface.co/docs/transformers/model_doc/roformer。