# MiniCPM-V: A GPT-4V Level MLLM on Your Phone
- **作者：** Yuan Yao, Tianyu Yu, Ao Zhang, Chongyi Wang, Junbo Cui, Hongji Zhu, Tianchi Cai, Haoyu Li, Weilin Zhao, Zhihui He, Qianyu Chen, Huarong Zhou, Zhensheng Zou, Haoye Zhang, Shengding Hu, Zhi Zheng, Jie Zhou, Jie Cai, Xu Han, Guoyang Zeng, Dahai Li, Zhiyuan Liu, Maosong Sun
- **提交日期：** 2024年8月3日
- **分类：** Computer Vision and Pattern Recognition (cs.CV)
- **论文编号：** arXiv:2408.01800
## 摘要
多模态大语言模型（MLLMs）的兴起重塑了AI研究与产业格局，但其高昂的计算成本限制了它们在实际中的应用，使得大多数MLLM需要部署在云端服务器上，无法适用于移动、离线、低功耗及隐私保护等场景。
本文提出**MiniCPM-V**，一系列高效的、可部署在终端设备上的多模态大语言模型。最新的**MiniCPM-Llama3-V 2.5**通过整合最新的MLLM架构、预训练和对齐技术，具备以下特点：
1. **强大性能：** 在涵盖11个主流基准测试的OpenCompass综合评估中，超越了GPT-4V-1106、Gemini Pro和Claude 3。
2. **强OCR能力：** 支持任意宽高比的180万像素高分辨率图像感知。
3. **可信行为：** 低幻觉率，更可靠。
4. **多语言支持：** 支持30+种语言。
5. **手机高效部署：** 可直接运行在手机上。
更重要的是，MiniCPM-V代表了一个有希望的趋势：达到可用性能（如GPT-4V级别）所需的模型尺寸正在迅速减小，同时终端侧计算能力在快速增长。这表明，在终端设备上部署GPT-4V级别的MLLM正变得越来越可能，将在不远的将来解锁更广泛的现实世界AI应用。