导读

尽管多模态大语言模型在自然图像理解方面已取得长足进步，但在处理图文混杂、尤其是高分辨率文本密集的文档图像时，其表现仍显不足。应读者需求，本文详细解读微软近期开源的又一力作——KOSMOS-2.5。该模型专为文本密集图像（如文档扫描件、屏幕截图）设计，核心亮点如下：

• 多模态端到端整合：视觉编码器与文本解码器通过重采样模块相连，既能检测文本内容及坐标，又能生成Markdown格式文本，实现一站式处理。
• 大规模预训练：在海量文本密集图像语料库上预训练，显著提升多模态理解能力。
• 双重任务训练：同时训练生成带空间信息的文本块与结构化Markdown文本，增强通用多模态识字能力。
• 范式转变：从encoder-only或encoder-decoder转向decoder-only，这一变革在文本图像理解领域具有里程碑意义。

• 论文名称：KOSMOS-2.5: A Multimodal Literate Model
• 论文地址：https://arxiv.org/abs/2309.11419
• 代码地址：https://github.com/microsoft/unilm/tree/master/kosmos-2.5

引言

KOSMOS-2.5的模型架构由三个核心组件构成：

1. 预训练视觉编码器：基于Vision Transformer（ViT），负责提取图像特征。
2. 重采样模块：采用Perceiver Resampler配合注意力池化，降低图像嵌入的维度。
3. 语言解码器：基于Transformer架构的解码器，根据图像和文本上下文预测下一个token。

KOSMOS-2.5接受由图像表示与文本表示组成的复合输入：

1. 图像表示：采用可变分辨率输入策略，提取固定大小的图像块（16×16），然后通过重采样（注意力池化）减少图像嵌入数量。

2. 文本表示：分为两种——带边界框的文本行，或纯Markdown文本。

输入表示的灵活性具体体现为：

• 对于带有文本行和边界框的图像-文本对，输入表示为：

  

  其中 ⊕ 表示文本行与其边界框的连接，T_n 为行文本，B_n 为边界框嵌入。

  

• 当文本采用Markdown格式时，输入简化为 Image EmbeddingMarkdown Text。

• 两种情况下， 和 用于标记序列边界， 和 用于标识图像嵌入的起止位置。

这种灵活的设计使KOSMOS-2.5能够适应多种文档分析任务。

数据集来源

1. IIT-CDIP：大规模公共扫描文档图像数据集，用于模型训练。
2. arXiv论文：开放获取平台上的论文页面。
3. PowerPoint幻灯片：从网页收集的幻灯片，增加数据多样性。
4. 通用PDF：通过爬虫收集的开放领域数字PDF文件。
5. 网页截图：从mC4网页数据集中抓取并渲染生成。
6. README.md文件：GitHub项目中的Markdown格式文件。
7. DOCX文件：从网页爬取的Word文档，并转换为Markdown格式。
8. LATEX文档：从arXiv论文中提取的PDF及其对应的Markdown信息。
9. HTML文件：从mC4子集中获取，并转换为Markdown格式。

数据处理

不同类型的数据需要执行不同的处理流程：

1. IIT-CDIP：以扫描文档为主，使用Microsoft Read API提取文本和布局信息。
2. arXiv论文、PowerPoint幻灯片、通用PDF：先编译或转换为PDF，再利用PyMuPDF解析器提取文本和布局。
3. 网页截图：通过Playwright访问URL提取HTML，再用lxml解析DOM树以获取元素边界框。

特定格式处理

1. README（Markdown）：收集GitHub项目中的README.md文件，先用Pandoc转换为HTML，再通过wkhtmltopdf生成图像。
2. DOCX（Markdown）：收集Word DOCX文件，用Pandoc转换为Markdown，并利用markdownify将表格转为Markdown格式。
3. LATEX（Markdown）：使用LaTeXML将LATEX代码转换为HTML序列，再转为Markdown，表格保持在页面开头位置。
4. HTML（Markdown）：借助Playwright导航HTML结构并提取文本，配合自定义规则和正则表达式精炼，最终格式化为Markdown。

预训练目标

KOSMOS-2.5的预训练聚焦于两个紧密关联的转录任务：

1. 生成带空间信息的文本块——为图像中每个文本块分配空间坐标。
2. 生成结构化文本输出——使用Markdown格式捕获样式与结构（例如表格、列表、粗体、斜体等）。

采用Markdown格式的优势在于，它利用特定标记清晰区分不同结构元素，并将粗体、斜体等排版强调标准化。这样一来，文档结构的学习与自然语言理解被整合到同一模型中。这种预训练方法使KOSMOS-2.5能够处理结构化信息，保持原始文档的顺序与结构完整性——这对于文本密集图像的理解至关重要。

数据清洗

1. 语言识别过滤：使用fastText进行语言识别，阈值设为0.5，过滤掉非英语文档。
2. 内容多样性：采用MinHash算法识别并移除重复页面（相似度0.8以上视为重复），确保每种数据源内部的内容多样性。
3. 图像与Markdown内容差异处理：对于README、DOCX、LATEX、HTML来源的图像到Markdown数据，由于转换可能引入差异，通过评估图像与Markdown文件之间的token重叠，要求包含的token IOU大于0.95。

预训练数据的详细细分以及各自的采样比例如下表所示：

实验

1. 总参数量：1.3B。
2. 视觉编码器初始化：从Pix2Struct-Large模型的编码器初始化。
3. 语言解码器结构：24层Transformer，隐藏层大小1536，FFN中间层6144，注意力头数16。
4. 训练数据集：布局基础数据（layout-based）远多于标记基础数据（markup-based），因此先使用布局基础数据集单独训练100k步，然后两种数据合并继续训练140k步，最后将评估数据集的训练split加入，再额外训练10k步。
5. Tokenization：使用SentencePiece进行文本tokenization，采用“full-sentence”格式；新增的位置token的词嵌入随机初始化，训练时更新所有参数。
6. 数据增强：采用了TrOCR的数据增强方法，提升模型鲁棒性。

实验结果

分析

实验结果在表2和表3中清晰展现：

• 文本识别任务：KOSMOS-2.5的F1分数分别比Google文档OCR高出0.33%、2.45%和1.35%，优势显著。
• 图像到Markdown任务：与Nougat相比提升明显。例如在README数据集上，KOSMOS-2.5的NED比Nougat BASE高出33.68%（95.09% vs. 61.41%）；在文档数据集上，NTED也提升了33.38%（82.08% vs. 48.70%）。
• 性能提升原因：与主要聚焦学术论文的Nougat相比，KOSMOS-2.5训练数据的多样性大幅增强，对不同类型文档的理解更深入，泛化能力也更突出。

点评

本文解决了当前多模态模型在端到端处理文档图像时面临的痛点，效果全面大幅超越Nougat。从模型结构看并无太多新颖之处，重点实际上在于数据——作者总计构建了324.4M的文档数据，类型比Nougat丰富得多，还额外加入了逐行文本定位与识别能力。我一直认为，一个多模态大模型如果缺乏定位能力，必然是不合格的，这样的模型可以直接忽略。

KOSMOS-2.5的优势：

1. 文本定位与识别：精准识别文本位置及内容。
2. 样式与结构捕捉：熟练捕捉标题、项目符号、表格、粗体等元素。
3. 统一架构与接口：为文本图像理解提供统一架构，适用多种场景。
4. 易于微调：可作为单一模型微调，覆盖信息提取、布局检测、视觉问答、截图理解、UI自动化等任务。
5. 与大型语言模型（LLMs）兼容：其输出可作为LLMs的上下文，通过提示工程进一步增强LLMs的文本图像理解能力。
6. 潜在扩展性：有望通过文本数据增强预训练，将模型升级为通用多模态大语言模型。