Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

基本信息

• 标题：Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
• 作者：Keen You、Haotian Zhang、Eldon Schoop、Floris Weers、Amanda Swearngin、Jeffrey Nichols、Yinfei Yang、Zhe Gan
• 提交日期：2024 年 4 月 8 日
• arXiv 编号：arXiv:2404.05719 [cs.CV]
• DOI：https://doi.org/10.48550/arXiv.2404.05719

主题分类

• 主分类：Computer Vision and Pattern Recognition (cs.CV)
• 交叉分类：Computation and Language (cs.CL)、Human-Computer Interaction (cs.HC)

摘要

近年来，多模态大语言模型（MLLMs）取得了显著进展，但通用领域的 MLLMs 在理解和有效交互用户界面（UI）屏幕方面往往表现不足。本文提出 Ferret-UI，一种专为增强移动端 UI 屏幕理解而设计的新型 MLLM，具备指代（referring）、定位（grounding）与推理（reasoning）能力。

由于 UI 屏幕通常比自然图像具有更细长的宽高比，且包含更小的感兴趣目标（如图标、文字），作者在 Ferret 基础上引入"任意分辨率"（any resolution）机制以放大细节并利用增强的视觉特征。具体而言，每张屏幕图像依据原始宽高比被切分为 2 个子图（竖屏做水平切分，横屏做垂直切分），两个子图分别编码后再送入 LLM。

作者精心采集了广泛的 UI 基础任务训练样本，如图标识别、文本查找和控件列举，并将这些样本格式化为带区域标注的指令跟随数据，以支持精确的指代与定位。为增强模型的推理能力，作者进一步构建了面向高级任务的数据集，包括详细描述、感知/交互对话和功能推断。在精心整理的数据集上训练后，Ferret-UI 展现出对 UI 屏幕的出色理解能力以及执行开放式指令的能力。

在模型评估方面，作者建立了一个覆盖上述所有任务的综合基准。Ferret-UI 不仅超越了大多数开源 UI MLLMs，还在所有基础 UI 任务上超过了 GPT-4V。