Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers
基本信息
- 作者：Sixiao Zheng, Jiachen Lu, Hengshuang Zhao, Xiatian Zhu, Zekun Luo, Yabiao Wang, Yanwei Fu, Jianfeng Feng, Tao Xiang, Philip H.S. Torr, Li Zhang
- Subjects：Computer Vision and Pattern Recognition (cs.CV)
- Comments：CVPR 2021；项目主页：https://fudan-zvg.github.io/SETR/
- arXiv：arXiv:2012.15840 [cs.CV]（v1: 2020-12-31；v3: 2021-07-25）
- DOI：https://doi.org/10.48550/arXiv.2012.15840
摘要（中文翻译）
近期大多数语义分割方法采用编码器-解码器架构的全卷积网络（FCN）。编码器逐步降低空间分辨率，并以更大的感受野学习更抽象/语义化的视觉概念。由于上下文建模对分割至关重要，最新研究主要通过空洞/膨胀卷积或插入注意力模块来增大感受野，但基于编码器-解码器的 FCN 架构始终未变。
本文将语义分割视为序列到序列（sequence-to-sequence）预测任务，提供了一种替代视角。具体而言，作者使用纯 Transformer（不含卷积、不做分辨率缩减）将图像编码为图块（patch）序列。由于 Transformer 的每一层都对全局上下文进行建模，该编码器可与简单解码器结合，构成强大的分割模型，称为 SEgmentation TRansformer（SETR）。
大量实验表明，SETR 在 ADE20K（50.28% mIoU）和 Pascal Context（55.83% mIoU）上取得新的 state of the art，在 Cityscapes 上也取得有竞争力的结果。尤其在投稿当日的 ADE20K 测试服务器排行榜上位列第一。
主题/分类
- 计算机视觉与模式识别（cs.CV）
- 关键词：语义分割、Transformer、序列到序列预测、SETR、编码器-解码器架构