本文将为你全面解读 IBM 最新推出的 SmolDocling 模型——一款在文档智能处理领域实现重要突破的轻量级视觉-语言模型。它基于 Hugging Face 的 SmolVLM-256M 构建，模型参数仅为同类产品的 1/5 到 1/10，却能高效处理商业文件、学术论文、技术报告、专利、表单等各类文档类型，并精准还原代码列表、表格、公式、图表、列表等元素。接下来，我们将从核心能力、架构设计、DocTags 格式、训练流程及数据集等方面，为你深入剖析这一“PDF解析利器”的工作原理。
核心能力
- 参数极小，性能出色：模型参数量仅为 2.56亿，但借助 DocTags 格式可实现对整页文档的全面理解与结构还原。
- 多文档类型支持：覆盖商业文件、学术论文、技术报告、专利、表单等多种场景。
- 元素级复现：能够准确识别并复现代码、表格、公式、图表、列表等元素，同时在输出中保留位置信息。
SmolDocling 架构
SmolDocling 的整体工作流程如下：输入的文档页面图像首先经过视觉编码器编码，再通过投影和池化处理，与用户提示的文本嵌入进行拼接，最后输入语言模型自回归地预测 DocTags 序列。
- 视觉骨干：采用 SigLIP base patch-16/512（93M），训练数据经过重新平衡，文档理解占 41%，图像描述占 14%。
- 标记化效率提升：通过将像素到标记的比率提升至每标记 4096 像素，并引入子图像分隔符的特殊标记。
- 语言骨干：采用轻量级的 SmolLM-2 家族（135M），并结合激进的像素洗牌方法，将每个 512×512 的图像块压缩为 64 个视觉标记。
- 输出格式：生成名为 DocTags 的新型通用标记格式，能够捕捉页面元素的完整上下文及其位置信息。
假设有一个包含文本、表格和图表的文档页面图像，SmolDocling 会将其转换为类似下面的 DocTags 序列：
文本内容被封装在 标记中
表格结构使用 OTSL 标记（如 、 等）
图表被封装在 标记中，并可能包含 标记 DocTags 格式
DocTags 受 OTSL 启发，定义了一套结构化的词汇表和规则，明确区分文本内容和文档结构，有效降低了图像到序列模型的混淆。
- 文档块类型：采用 XML 风格的标记，涵盖文本、标题、脚注、公式、列表项等。
- 位置编码：每个元素可嵌套
- 特殊块描述符：针对表格和图像，嵌套额外的描述符，用于标题、表格结构或图像类别。
- 视觉-语义对齐：保持裁剪页面元素（如表格、代码、公式）的统一 DocTags 表示，与完整页面对应物保持一致。
训练流程
SmolDocling 的训练分为三个阶段：
- 初始化：将 DocTags 作为标记纳入分词器，冻结视觉编码器，仅训练剩余网络以适应新的输出格式。确保涵盖所有 DocTags，维持任务和数据类型的平衡混合。
- 解冻视觉编码器：在预训练数据集以及所有特定任务的转换数据集（包括表格、代码、公式和图表）上训练模型。
- 微调：使用所有可用数据集进行最终微调。
预训练数据集
- DocLayNet-PT：包含 140 万页的数据集，从 DocFM 数据集中提取，涵盖来自 CommonCrawl、维基百科和商业相关文档的独特 PDF 文档。通过弱标注步骤，集成了布局元素、表格结构、语言、主题和图像分类等多种标注。
- Docmatix：为保留 SmolVLM 原有的 DocVQA 能力，对 Docmatix 数据集中的 130 万文档应用相同的弱标注策略，并引入了将多页文档转换为 DocTags 的指令。
特定任务的数据集
- 布局：从 DocLayNet-PT 中抽取 76K 页进行人工标注和严格质量审查，形成 DocLayNet v2 数据集。另从 WordScape 提取 63K 页，并合成生成 250K 页的 SynthDocNet 数据集，增强模型对不同布局、颜色和字体的适应能力。
- 表格：在 PubTables-1M、FinTabNet、WikiTableSet 以及从 WordScape 文档中提取的表格数据上训练，并将表格结构信息转换为 OTSL 格式。
- 图表：为弥补现有图表数据集在数量和视觉多样性方面的不足，利用 FinTabNet 数据集的 90,000 个表格数据，生成了包含 250 万张视觉多样图表的 SynthChartNet 数据集。
- 代码：使用 LaTeX 和 Pygments 生成了涵盖 56 种编程语言的 930 万段视觉多样代码的 SynthCodeNet 数据集，以满足技术书籍和科学文档中代码片段处理的需求。
- 公式：结合公开数据集和从 arXiv 提取的公式，创建了包含 550 万独特公式的 SynthFormulaNet 数据集。
常见问题
Q1：SmolDocling 参数这么少，为什么还能达到高性能？
SmolDocling 通过精心设计的视觉-语言骨干（SigLIP + SmolLM-2）、高效的标记化策略（像素洗牌、每标记4096像素）以及全新的 DocTags 格式，大幅缩小了模型尺寸，同时保留了文档理解的完整性。训练过程中还使用了大量针对性的合成数据集，进一步增强了模型的泛化能力。
Q2：DocTags 和 OTSL 是什么关系？
DocTags 受 OTSL（Open Table and Structure Language）启发，并扩展了其标记体系。DocTags 不仅支持表格结构（通过 OTSL 标记如
Q3：如何获取或使用 SmolDocling 模型？
模型基于 Hugging Face 的 SmolVLM-256M，目前相关代码和预训练权重已在 Hugging Face 平台开放（搜索“SmolDocling”即可）。你可以直接加载模型进行推理，或参考官方文档进行微调。
Q4：训练用到的合成数据集（如 SynthDocNet、SynthChartNet）是否公开？
IBM 在论文中提到了这些数据集，但部分数据集（如 SynthDocNet、SynthCodeNet、SynthFormulaNet）为 IBM 内部合成生成，目前尚未全部开放。公开数据集如 DocLayNet-PT、Docmatix、PubTables-1M 等可在相关项目页面下载。
小提示
- 输入图像建议：为保证最佳识别效果，输入的文档页面图像建议采用 512×512 或更高分辨率，并尽量保持页面内容清晰、无遮挡。
- DocTags 结果的可读性：模型输出的 DocTags 序列较长，建议使用后处理脚本将 XML 标签解析为结构化 JSON，或直接渲染为可视化的文档布局。
- 微调注意事项：如果你需要针对特定领域（如医疗病历、法律合同）进行微调，建议先使用 DocLayNet-PT 或类似数据集进行预训练，再使用少量标注数据微调，效果更佳。
通过上述教程，你应该对 SmolDocling 的架构、训练流程、数据集以及 DocTags 格式有了全面的了解。无论是研究文档AI还是落地应用，这个轻量级模型都提供了一个高效、准确的新选择。