导读
想象一下，您正在操作手机上的应用，点击了半天却找不到准确的按钮——这套交互逻辑的背后，实际上隐藏着深层次的技术难题。手机UI界面中包含图标、文字、按钮等众多小元素，它们层层叠加，要让大模型真正“看懂”并完成交互操作，这项任务远比处理自然图像复杂得多。
为什么会这样？核心原因有两个：一是UI屏幕的宽高比与自然图像差异显著，二是UI界面中的元素——例如一个小图标或一个字——尺寸极其微小，可能仅占屏幕面积的0.1%以下。现有的多模态大模型（MLLM）主要是为自然图像设计的，若直接套用在UI界面上，会导致大量细节信息丢失。
Ferret-UI正是针对这一痛点提出的解决方案。它基于Ferret模型进行了两项关键改进：
优化了模型架构，使其能够适配不同分辨率和宽高比的UI屏幕；
构建了一套涵盖14种移动UI任务的高质量数据集。
- 论文名称：Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
论文地址：https://arxiv.org/abs/2404.05719
代码：无
Introduction
将UI领域的专业知识融入Ferret模型，具体是如何实现的？以下两个方向同步推进：
调整模型架构，使其能够处理不规则长宽比的屏幕截图；
构建UI专用的指代和定位任务数据集。
模型架构
如前所述，UI截图的两个特性带来了很大挑战：宽高比不规则、元素尺寸极小。例如，许多问题聚焦于仅占屏幕0.1%不到的图标。如果直接沿用Ferret的原始输入方式，视觉细节将会变得模糊不清。
这里参考了SPHINX、LLaVA-NeXT和Monkey等模型中的“any resolution”概念。具体做法是：根据原始截图的长宽比，从两种网格配置中二选一——1x2或2x1。举个例子，如果您的手机是竖屏显示，就将其切成上下两部分；如果是横屏，则左右切分。这样划分出的子图像更接近正方形，能够更精确地锁定细节。具体的配置选择可参考表1a。
UI数据收集
与大多数UI理解研究类似，本次研究考察了iPhone和Android设备的屏幕截图，数据汇总于表1中。需要特别说明的是，Android数据在高级任务阶段未被纳入训练混合中，后续的实验将阐述这一选择所带来的影响。
任务设计
数据集的构建方法较为系统，可以归纳为三类不同的方式。
重新构建Spotlight任务。 从现有的 Spotlight 基准中提取了 screen2words、widgetcaptions 和 taperception 三个任务，并将其转换为对话式的问答对。具体做法是：借助GPT-3.5 Turbo，根据事先编写的提示模板，生成多种风格的提问：
Screen2words：为截图撰写一段摘要；
Widget Captions：针对某个UI元素 [bbox]，给出最能描述其功能的短语；
Ta perception：预测 [bbox] 这个元素是否可点击。
在每个训练样本中，随机选取一条提示，与原始图像及真实答案配对。
基础任务。 本部分设计了7个任务，可分为两大类：
指代任务： 识别图像中的特定元素，并输出边界框进行标注。具体包括：
- OCR（文字识别）
- 图标识别
- 控件分类（识别按钮、文本框等属于哪一类）
定位任务： 反之，描述输出中某个元素的具体位置。具体包括：
- 控件列表：列出所有可识别的控件。
- 查找文本：根据文本内容找到目标区域。
- 查找图标：根据功能描述找到对应图标。
- 查找控件：根据类型找到特定控件。
训练数据的生成流程如下图所示。
高级任务。 这四项任务的复杂度进一步提升：
详细描述： 模型需对UI元素进行细致描述。
功能推理： 不仅仅是识别图标，还要推测其支持的操作。
对话感知与对话交互： 这两项任务均要求模型能够融入对话上下文，理解并生成与UI相关的多轮交互。
高级任务的数据生成流程同样配有专门的设计图。
Experiments
Ferret-UI-anyres是集成了anyres功能的版本。在训练过程中，仅更新解码器和投影层参数，视觉编码器保持冻结状态。总共使用了25万个训练样本，所有样本均转换为指令跟随格式。基础版（Ferret-UI-base）需训练1天，而anyres版在8块A100 GPU上大约需要训练3天。
实验结果
Analysis
实验结果的几个亮点如下：
公共基准与基础UI任务： Ferret-UI全面超越了GPT-4V，尤其在指代和定位的准确性方面表现突出。
高级任务： 虽然明显优于同期竞品Fuyu和CogAgent，但仍不及GPT-4V。不过这并不意外——GPT-4V在模型参数规模和训练数据量方面具有显著优势。
分辨率调整的效果： 在iPhone基础任务中，引入anyres后，指代和定位指标提升了2个百分点。高级任务的提升效果更加显著——iPhone方面的性能直接提升了20个百分点。然而，值得注意的是，Android高级任务的性能反而有所下降。原因很可能在于Android高级任务数据未被纳入训练混合中，随着模型对iPhone屏幕理解深度的增加，其有限的泛化能力被“挤占”了。
此外，消融实验还揭示了一个有趣的现象：基础任务实际上是在为模型“打地基”——增强的视觉和空间理解能力反过来有助于执行高级任务。换言之，只有夯实了基础，高层推理才能稳固。