文档处理这项工作，说起来简单，实际操作却颇为复杂。无论是学术论文、商业合同，还是技术手册、考试试卷，几乎每个领域都需要从文档中精准提取关键信息。然而，传统方法在面对复杂的文档布局和多样化的元素（如文本、表格、公式混排）时，往往难以兼顾效率与准确率。幸运的是，AI大模型的发展为这一难题带来了全新解法。简而言之，字节跳动近期开源的Dolphin文档解析大模型，凭借其独特的技术架构，在该领域实现了重要突破。
一、项目概述
Dolphin 是字节跳动开源的一款轻量级、高效率的文档解析大模型。其核心思路是“先解析结构，再解析内容”——即先确定页面上的元素类别与位置，再逐一解析各元素的具体内容。这种两阶段的处理策略，使其在处理学术论文、商业报告、技术文档等多种类型的文档图像时，均能保持稳定表现。更值得关注的是，它的性能甚至超越了 GPT-4.1、Mistral-OCR 等模型。尽管参数量仅 322M，整体体积小巧、运行速度快捷，却支持文本、表格、公式等多种元素的解析，并且输出格式灵活，可生成 JSON、Markdown、HTML 等多种格式，便于与各类系统集成。代码与预训练模型均已开源，这对开发者而言无疑是一大福音。
二、技术原理
（一）两阶段解析方法
那么 Dolphin 究竟是如何实现的呢？它采用了一种非常精巧的两阶段解析架构，有效化解了传统方法在效率与准确性上的矛盾。
第一阶段是页面级布局分析。Dolphin 首先利用 Swin Transformer 对输入的文档图像进行编码，提取视觉特征。接着，基于解码器生成一个文档元素序列，每个元素均包含其类别（如标题、表格、图表）和坐标位置。这一阶段的目标是按照自然阅读顺序，输出结构化的布局信息，相当于为文档绘制一张“地图”，为后续元素内容解析奠定基础。
第二阶段是元素级内容解析。借助第一阶段提供的布局信息，Dolphin 从原始图像中裁剪出每个元素的局部视图。然后，针对不同类型的元素，使用特定的提示词（prompts）进行并行内容解析。例如，表格会通过专用提示词解析为 HTML 格式，而公式和文本段落则共享另一套提示词解析为 LaTeX 格式。这种并行机制显著提升了处理效率，同时任务特定的提示词也保证了不同元素的解析质量。
（二）异构锚点提示
Dolphin 的另一核心技术特性称为异构锚点提示（Heterogeneous Anchor Prompting）。在第二阶段元素级解析中，它为不同类型的文档元素设计了专属提示词。这些提示词不仅引导模型准确识别并解析对应元素的内容，还能帮助模型更好地理解元素之间的结构关系。例如，针对表格元素，专用提示词会引导其生成结构化的 HTML 输出；而对于文本段落和公式，则通过共享提示词解析为 LaTeX 格式。这一机制使 Dolphin 在处理复杂布局和多样化元素时更加灵活且高效。
三、主要功能
（一）布局分析
Dolphin 能够识别文档中的各类元素，如标题、图表、表格、脚注等，并按照自然阅读顺序生成元素序列。这一功能在把握文档整体结构时尤为关键，特别是处理复杂的学术论文和技术文档时，可帮助用户快速定位并提取重要信息。
（二）内容提取
Dolphin 可将整个文档页面解析为结构化的 JSON 格式或 Markdown 格式，便于后续处理与展示。这种结构化输出让文档内容更易操作和集成，无论是用于数据存储、信息检索，还是进一步的内容分析，都极为便捷。
（三）文本段落解析
Dolphin 支持多语言（如中文和英文）的文本内容识别与提取，能够准确识别文档中的文本，并保留其原有的格式和排版信息。对于跨语言文档处理和多语言信息提取而言，这一功能意义重大，极大提升了文档处理的通用性与灵活性。
（四）公式识别
Dolphin 支持复杂公式的识别，包括行内公式和块级公式，并以 LaTeX 格式输出。在学术研究和技术文档中，公式往往是最关键也是最复杂的信息之一。能够准确识别和解析公式，有助于用户更好地理解和利用文档中的数学内容。
（五）表格解析
Dolphin 能够解析复杂的表格结构，提取单元格内容并生成 HTML 格式的表格。表格是文档中常见的数据呈现形式，Dolphin 的这一功能可以有效提取表格中的结构化数据，方便用户进行数据分析和后续处理。
四、性能表现
（一）高效性
Dolphin 的轻量级架构与并行解析机制使其在运行效率上优势明显。仅 322M 的参数规模，体积小、速度快，即使在资源受限的环境中也能高效运行。实际测试中，其速度比 Mathpix 快了近 2 倍。这意味着在真实应用场景中，Dolphin 能够快速响应用户需求，大幅提升文档处理效率。
（二）准确性
在多种文档解析任务中，Dolphin 的准确性表现同样卓越。在页面级解析任务中，无论是纯文本文档，还是包含表格、公式、图表等复杂元素的文档，Dolphin 都能准确提取内容与结构信息，其编辑距离指标在多项基准测试中优于现有先进模型。在元素级解析任务中，对于文本段落、公式和表格，其解析准确率也达到了行业领先水平，完全能够满足高精度文档解析的需求。
五、应用场景
（一）学术研究
在学术研究领域，Dolphin 可帮助研究人员快速解析论文中的文本、公式和图表等，从而更高效地开展文献整理与数据分析。将论文内容转换为结构化格式后，研究人员能够更便捷地提取关键信息，加速研究进程。
（二）商业办公
在商业办公场景中，Dolphin 可用于提取商业文档的关键信息，例如合同审查、报告生成等。它能快速准确地识别文档中的文本内容和结构，帮助用户快速定位并提取重要信息，从而提高工作效率、降低人工成本。
（三）教育领域
在教育领域，Dolphin 能够将教材和试卷数字化，支持在线学习和多语言教学。纸质教材和试卷转为电子格式后，学生和教师可以更便捷地进行学习与教学活动，同时也有助于教育资源的共享与传播。
（四）技术开发
在技术开发领域，Dolphin 可解析技术文档，方便代码管理与技术交流。它能够帮助开发者快速提取技术文档中的关键信息，如代码片段、技术参数等，从而更好地理解和应用相关技术。
（五）日常应用
在日常办公中，Dolphin 可以快速处理各类文档，例如会议记录、报告等，帮助用户提高办公效率，节省时间和精力。
六、在线体验
为了让用户更好地了解和体验 Dolphin 的强大能力，字节跳动提供了一个在线体验 Demo，用户可通过访问 [Demo-Dolphin](http://115.190.42.15:8888/dolphin/) 进行实际操作。
在这个在线平台上，用户可直接上传自己的文档图像，实时查看 Dolphin 的解析结果，感受其高效与准确。通过在线体验，用户可以更直观地了解 Dolphin 的性能表现与应用场景，为后续实际应用提供参考。
七、部署使用
（一）环境准备
1. 克隆仓库：首先从 GitHub 克隆 Dolphin 的官方仓库：
git clone https://github.com/ByteDance/Dolphin.git cd Dolphin
2. 安装依赖：然后安装项目所需的依赖库：
pip install -r requirements.txt
（二）下载预训练模型
用户可根据需要选择以下两种方式之一下载预训练模型：
1. 原始模型格式（基于配置文件）：预训练模型文件下载后放在 ./checkpoints 文件夹中。
2. Hugging Face 模型格式：访问 Hugging Face 模型卡页面，或通过以下命令从 Hugging Face Hub 下载模型：
git lfs install git clone https://huggingface.co/ByteDance/Dolphin ./hf_model
或者使用 Hugging Face CLI 工具：
huggingface-cli download ByteDance/Dolphin --local-dir ./hf_model
（三）推理使用
Dolphin 提供了两种推理框架，支持页面级和元素级的文档解析。
1. 页面级解析：
使用原始框架（基于配置文件）：
# 处理单个文档图像 python demo_page.py --config ./config/Dolphin.yaml --input_path ./demo/page_imgs/page_1.jpeg --sa ve_dir ./results # 处理目录中的所有文档图像 python demo_page.py --config ./config/Dolphin.yaml --input_path ./demo/page_imgs --sa ve_dir ./results
使用 Hugging Face 框架：
# 处理单个文档图像 python demo_page_hf.py --model_path ./hf_model --input_path ./demo/page_imgs/page_1.jpeg --sa ve_dir ./results # 处理目录中的所有文档图像 python demo_page_hf.py --model_path ./hf_model --input_path ./demo/page_imgs --sa ve_dir ./results
2. 元素级解析：
使用原始框架（基于配置文件）：
# 处理单个表格图像 python demo_element.py --config ./config/Dolphin.yaml --input_path ./demo/element_imgs/table_1.jpeg --element_type table # 处理单个公式图像 python demo_element.py --config ./config/Dolphin.yaml --input_path ./demo/element_imgs/line_formula.jpeg --element_type formula # 处理单个文本段落图像 python demo_element.py --config ./config/Dolphin.yaml --input_path ./demo/element_imgs/para_1.jpg --element_type text
使用 Hugging Face 框架：
# 处理单个表格图像 python demo_element_hf.py --model_path ./hf_model --input_path ./demo/element_imgs/table_1.jpeg --element_type table # 处理单个公式图像 python demo_element_hf.py --model_path ./hf_model --input_path ./demo/element_imgs/line_formula.jpeg --element_type formula # 处理单个文本段落图像 python demo_element_hf.py --model_path ./hf_model --input_path ./demo/element_imgs/para_1.jpg --element_type text
八、结语
总体而言，Dolphin 作为字节跳动开源的文档解析大模型，凭借创新的两阶段解析方法、异构锚点提示技术以及轻量级架构，确实为文档解析领域带来了全新突破。它在性能上表现优异，能够高效、准确地处理多种文档图像，并在多个实际应用场景中展现出强大的实用价值。可以预见，未来它有望在更多领域发挥关键作用，为文档智能化处理带来更多可能。