MADTP: 多模态对齐引导的动态Token剪枝加速视觉-语言Transformer
基本信息
- 论文标题：MADTP: Multimodal Alignment-Guided Dynamic Token Pruning for Accelerating Vision-Language Transformer
- 作者：Jianjian Cao, Peng Ye, Shengze Li, Chong Yu, Yansong Tang, Jiwen Lu, Tao Chen
- 提交日期：2024年3月5日
- 发表信息：CVPR 2024（IEEE Conference on Computer Vision and Pattern Recognition）
- 论文篇幅：19页，9幅图
- arXiv编号：arXiv:2403.02991 [cs.CV]
- DOI：https://doi.org/10.48550/arXiv.2403.02991
主题分类
- 主分类：计算机视觉与模式识别（Computer Vision and Pattern Recognition, cs.CV）
摘要
视觉-语言Transformer（Vision-Language Transformers, VLTs）近来取得了显著成功，但同时也带来了沉重的计算开销，其中主要原因是视觉与语言token数量庞大。现有的面向VLTs压缩的token剪枝研究大多采用基于单一模态的方案，忽略了不同模态之间对齐在引导token剪枝过程中的关键作用，从而导致某一模态中的重要token在另一模态分支中被错误地剪除。同时，现有VLT剪枝工作也缺乏根据不同输入样本对每一层进行动态压缩的灵活性。
为此，作者提出了一个名为多模态对齐引导的动态Token剪枝（Multimodal Alignment-Guided Dynamic Token Pruning, MADTP） 的新框架，用于加速各类VLTs。具体而言：
- 首先引入精心设计的多模态对齐引导（Multi-modality Alignment Guidance, MAG） 模块，能够对齐来自不同模态的同一语义概念的特征，以确保被剪除的token对所有模态而言都较不重要。
- 进一步设计了新颖的动态Token剪枝（Dynamic Token Pruning, DTP） 模块，可根据不同输入实例自适应地调整每一层的token压缩比例。
在多个基准上的大量实验表明，MADTP在保持有竞争力性能的同时，显著降低了多种多模态模型的计算复杂度。值得注意的是，将其应用于NLVR2数据集上的BLIP模型时，MADTP可将GFLOPs降低80%，而性能下降不到4%。
关键词
视觉-语言Transformer、Token剪枝、多模态对齐、动态压缩、模型加速、计算复杂度