作者：Xiangxiang Chu, Limeng Qiao, Xinyang Lin, Shuang Xu, Yang Yang, Yiming Hu, Fei Wei, Xinyu Zhang, Bo Zhang, Xiaolin Wei, Chunhua Shen
提交/修订日期：2023年12月28日提交，2023年12月30日修订
主题/分类：计算机视觉与模式识别 (cs.CV)
摘要：
本文提出了 MobileVLM，一个旨在移动设备上运行的高性能多模态视觉语言模型 (MMVLM)。它融合了多种面向移动端的架构设计和技术，包括：一组从头开始训练的、参数量分别为 14 亿和 27 亿的语言模型；一个以 CLIP 方式预训练的多模态视觉模型；以及通过高效投影器实现的跨模态交互。我们在多个典型的 VLM 基准上评估了 MobileVLM。我们的模型表现出与一些更大模型相当的性能。更重要的是，我们在高通骁龙 888 CPU 和 NVIDIA Jetson Orin GPU 上测量了推理速度，分别获得了每秒 21.5 个 token 和 65.3 个 token 的先进性能。我们的代码将在以下地址开源：https://github.com/Meituan-AutoML/MobileVLM。
备注：技术报告。