Longformer：长文档处理的高效 Transformer

原论文标题： Longformer: The Long-Document Transformer
作者： Iz Beltagy 等
arXiv： 2004.05150

核心内容

长序列 Transformer 的自注意力机制在序列长度上开销为二次方，为解决此问题，Longformer 引入了线性规模注意力机制，将局部窗口化注意力与全局任务相关注意力相结合，从而可以高效处理数千 token 的长文本序列。在多个长文本任务中，该模型取得了优异性能，优于先前如 RoBERTa 等基准模型。:contentReference[oaicite:0]{index=0}