# 我们距离 GPT-4V 还有多远？用开源套件缩小与商业多模态模型的差距
## 作者
Zhe Chen, Weiyun Wang, Hao Tian, Shenglong Ye, Zhangwei Gao, Erfei Cui, Wenwen Tong, Kongzhi Hu, Jiapeng Luo, Zheng Ma, Ji Ma, Jiaqi Wang, Xiaoyi Dong, Hang Yan, Hewei Guo, Conghui He, Botian Shi, Zhenjiang Jin, Chao Xu, Bin Wang, Xingjian Wei, Wei Li, Wenjian Zhang, Bo Zhang, Pinlong Cai, Licheng Wen, Xiangchao Yan, Min Dou, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao, Jifeng Dai, Wenhai Wang
## 摘要
本文介绍了 InternVL 1.5，一个开源多模态大语言模型（MLLM），旨在弥合开源模型与商业专有模型在多模态理解方面的能力差距。我们引入了三个简单的改进：
1. **强大的视觉编码器**：我们探索了针对大规模视觉基础模型 InternViT-6B 的持续学习策略，提升了其视觉理解能力，并使其能够在不同的大语言模型（LLM）之间转移和复用。
2. **动态高分辨率**：我们根据输入图像的宽高比和分辨率，将图像划分为 1 到 40 个 448×448 像素的图块，支持高达 4K 分辨率的输入。
3. **高质量双语数据集**：我们精心收集了一个高质量的双语数据集，涵盖常见场景和文档图像，并标注了英文和中文的问答对，显著提升了在 OCR 和中文相关任务上的性能。
我们通过一系列基准测试和对比研究评估了 InternVL 1.5。与开源和专有模型相比，InternVL 1.5 表现出了具有竞争力的性能，在 18 个基准测试中的 8 个上取得了最先进的结果。代码已开源。
## 主题/分类
计算机视觉与模式识别 (Computer Vision and Pattern Recognition, cs.CV)
## 备注
技术报告