Qwen-VL: 一个多功能的视觉-语言模型，用于理解、定位、文本阅读及更多任务
基本信息
- 标题：Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond
- 作者：Jinze Bai, Shuai Bai, Shusheng Yang, Shijie Wang, Sinan Tan, Peng Wang, Junyang Lin, Chang Zhou, Jingren Zhou
- 提交日期：2023年8月24日（v1）；最后修订：2023年10月13日（v3）
- arXiv ID：arXiv:2308.12966 [cs.CV]
- DOI：https://doi.org/10.48550/arXiv.2308.12966
- 代码与模型：https://github.com/QwenLM/Qwen-VL
主题分类
- 主分类：Computer Vision and Pattern Recognition (cs.CV)
- 交叉分类：Computation and Language (cs.CL)
摘要
本文介绍了 Qwen-VL 系列，一组大规模视觉-语言模型（LVLMs），旨在感知和理解文本与图像。该模型以 Qwen-LM 为基础，通过精心设计的以下四个部分赋予其视觉能力：
- 视觉感受器（visual receptor）
- 输入-输出接口（input-output interface）
- 三阶段训练流程（3-stage training pipeline）
- 多语言多模态清洗语料库（multilingual multimodal cleaned corpus）
除了传统的图像描述和问答任务外，作者通过对齐“图像-描述-边界框”元组（image-caption-box tuples），实现了 Qwen-VL 的定位（grounding） 和文本阅读（text-reading） 能力。
所得到的模型包括 Qwen-VL 和 Qwen-VL-Chat，在相似模型规模下，于广泛的以视觉为中心的基准测试（如图像描述、问答、视觉定位）以及不同设置（如零样本、少样本）中，为通用模型创下了新记录。此外，在真实世界的对话基准测试中，经过指令微调的 Qwen-VL-Chat 相较于现有视觉-语言聊天机器人也展现出优越性。
备注
代码、演示和模型均可在 https://github.com/QwenLM/Qwen-VL 获取。