Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers

基本信息

• 作者：Sixiao Zheng, Jiachen Lu, Hengshuang Zhao, Xiatian Zhu, Zekun Luo, Yabiao Wang, Yanwei Fu, Jianfeng Feng, Tao Xiang, Philip H.S. Torr, Li Zhang
• 发表：CVPR 2021
• arXiv 编号：arXiv:2012.15840 [cs.CV]
• 提交日期：2020 年 12 月 31 日（v1）；修订于 2021 年 3 月 30 日（v2）
• 项目主页：https://fudan-zvg.github.io/SETR/

摘要

目前大多数语义分割方法采用带编码器-解码器架构的全卷积网络（FCN）。编码器逐步降低空间分辨率，并以更大的感受野学习更抽象/语义化的视觉概念。由于上下文建模对分割至关重要，近期的研究努力主要集中在通过空洞卷积（dilated/atrous convolutions）或插入注意力模块来增大感受野。然而，基于编码器-解码器的 FCN 架构始终未变。

本文旨在提供一种替代视角，将语义分割视为序列到序列（sequence-to-sequence）的预测任务。具体而言，作者采用纯 Transformer（即不包含卷积、不进行分辨率缩减）将图像编码为一系列 patch。由于 Transformer 的每一层都建模了全局上下文，该编码器可与一个简单的解码器组合，构成一个强大的分割模型，称为 SEgmentation TRansformer（SETR）。

大量实验表明，SETR 在 ADE20K（50.28% mIoU）和 Pascal Context（55.83% mIoU）上取得了新的最优结果，并在 Cityscapes 上取得了有竞争力的成绩。特别是在投稿当天，该方法在竞争激烈的 ADE20K 测试服务器排行榜上位列第一。

主题分类

• 主分类：Computer Vision and Pattern Recognition (cs.CV)

核心贡献

• 提出将语义分割重新建模为序列到序列预测任务；
• 使用纯 Transformer 编码器（无卷积、无分辨率缩减）处理图像 patch 序列；
• 通过每层的全局上下文建模，配合简单解码器实现强有力的分割模型 SETR；
• 在多个主流分割基准上达到当时的最优（SOTA）性能。