在检索增强生成（RAG）系统的实际部署与落地过程中，有一个环节常常被低估，却往往是决定系统性能瓶颈的关键——那就是OCR的质量。当非结构化的PDF文档经由OCR技术转化为文本时，如果识别过程不够完美，产生的噪声会逐层传导，最终显著影响RAG系统的输出质量。这些噪声大致可分为两类：一类源于OCR识别本身的不精确，属于语义噪声；另一类则来自数据格式的不统一，属于格式噪声。不同级别的语义噪声在纯文本、数学方程以及表格上的表现各有差异，而这些扰动都是基于真实OCR输出结果设计的，具有较强的实战参考价值。

为了系统性地评估这一问题，研究团队专门构建了名为OHRBench的基准测试。其核心目标，就是衡量现有OCR方案在真实世界RAG应用场景中的实际表现究竟如何。从测试结果来看，有几个关键发现值得关注：

• 基于流水线的OCR方案表现最优。在所有被测试的OCR方案中，使用Marker方案实现了最佳的检索性能，而MinerU则在生成任务和整体评估中占据了主导地位。
• 所有OCR方案都存在性能下降。即便是表现最好的方案，在整体评估中EM@1指标也下降了1.9，F1@1下降了2.93。如果进一步拆解来看，检索与生成两个阶段的损失就更加明显了。
• RAG系统中不依赖OCR，而是直接使用视觉-语言模型（VLMs），或许是一条值得探索的新路径。

OHRBench基准数据集的构建也颇具匠心。研究团队从六个真实世界的RAG应用领域中，精选出350个非结构化PDF文档，然后根据文档中的多模态元素（如文字、表格、图片）生成对应的问答对，并经过人工严格验证。整体评估协议分为三个环节：首先是构建基准数据集本身；其次是对当前主流OCR方案进行测评，构建相应的OCR处理后结构化数据；最后是评估OCR噪声对RAG系统各个组件乃至整体效果的叠加影响。

由于文档布局本身的复杂性，OHRBench中的样本在结构上差异很大，每个数字所代表的PDF页面数量也充分反映了这种多样性。而从表格处理的角度来看，问题就更加直观了。例如，在某个真实案例中，原始表格在经过MinerU的OCR处理后，其结果已经与地面真实数据存在明显偏差。研究者正是以这些真实案例为参照，对原始表格分别施加了中等和严重的扰动，从而模拟出不同强度的噪声场景。