SAM 2: Segment Anything in Images and Videos
基本信息
- 标题：SAM 2: Segment Anything in Images and Videos
- 作者：Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollár, Christoph Feichtenhofer
- 提交时间：2024 年 8 月 1 日（v1）；最后修订于 2024 年 10 月 28 日（v2）
- arXiv 编号：arXiv:2408.00714 [cs.CV]
- 项目网站：https://ai.meta.com/sam2
摘要
本文提出了 Segment Anything Model 2（SAM 2），一个面向图像与视频中可提示视觉分割（promptable visual segmentation）的基础模型。
作者构建了一个数据引擎，通过用户交互不断改进模型与数据，收集了迄今为止规模最大的视频分割数据集。模型采用带有流式记忆（streaming memory）的简洁 Transformer 架构，支持实时视频处理。
在本文数据上训练的 SAM 2 在广泛任务中表现强劲：
- 视频分割：精度更高，所需交互次数比先前方法少 3 倍；
- 图像分割：比 Segment Anything Model（SAM）更准确，且快 6 倍。
作者认为其数据、模型与洞见将成为视频分割及相关感知任务的重要里程碑，并开源了主模型、数据集、训练代码及演示。
主题分类
- 主分类：Computer Vision and Pattern Recognition（cs.CV）
- 其他分类：Artificial Intelligence（cs.AI）；Machine Learning（cs.LG）
附加信息
- Comments：Website: https://ai.meta.com/sam2
- DOI：https://doi.org/10.48550/arXiv.2408.00714
- 许可：arXiv non-exclusive license