端到端OCR这一轮技术热潮，持续的时间最多也就两年。以DeepSeek OCR为代表的方案，将超大规模语言模型直接当作解码器使用，借助语言先验知识，确实大幅提升了识别精度。但必须正视其代价：输出序列越长，KV cache就随之不断膨胀，显存消耗越来越大，解码延迟也越来越高。这种结构上的缺陷是根深蒂固的。
现有模型的应对方式也很直接——采用类似for循环的逐页处理机制，每处理完一页就清空记忆，再切换到下一页。说白了，这只是一个工程层面的临时补丁，并非真正意义上的长程理解能力。
反观人类。抄写一本书时，你会持续回头去查看所有写过的内容吗？不会。注意力只集中在三件事上：正在抄的原文、刚写下的几行字、以及接下来要落笔的那个字。更早写过的内容，会自然地被“软遗忘”淡出记忆。正是依靠这套认知机制，人才能在极低的认知负荷下完成数百页的连续转录。
受此启发，百度团队提出了一种名为“无限OCR”（Unlimited OCR）的方案。他们将解码器中所有的注意力层，全部替换为“参考滑动窗口注意力”（Reference Sliding Window Attention，简称R-SWA）。核心效果是：注意力计算开销大幅降低，同时在整个解码过程中，KV cache被固定在一个恒定值内，不再无限膨胀。
论文链接：https://arxiv.org/pdf/2606.23050
GitHub地址：https://github.com/baidu/Unlimited-OCR
根据论文的描述，他们将DeepSeek OCR编码器的高压缩率，与这种恒定KV cache的设计结合，结果就是Unlimited OCR可以在标准32k最大长度限制下，单次前向传播就把几十页文档一次性转录完成。
更关键的是，R-SWA是一种通用的解析注意力机制。除了OCR，它同样适用于ASR、翻译等同样需要参考输入的长程任务。
R-SWA的设计逻辑
标准的多头注意力（MHA）依赖全量KV cache，输出token数线性增长，cache也随之同比例扩大。对于一本需要输出十万个token的多页文档，KV cache会无限膨胀，推理速度也越来越慢。这正是当前所有端到端OCR模型无法一次性解析整本书的根本原因。
R-SWA将注意力拆分为两段：参考段（reference）和解码滑动窗口（decode window）。
参考段中存放视觉token和提示词（prompt），整个解码过程中始终保持全局可见，且不参与状态转移——视觉特征仅编码一次，后续完全静止。这一设计巧妙地避免了普通滑动窗口注意力（SWA）的缺陷：如果也将视觉token纳入滑动循环，会导致“视觉特征逐步模糊”，越往后越难以分辨。R-SWA直接解决了这个问题。
解码滑动窗口的宽度固定为n（默认128），以因果方式向右滑动。每生成一个新token，最早进入窗口的那个token的KV就被移除。解码侧的KV cache规模，始终被限制在一个固定容量内，不会随输出长度线性增加。
这张图直观对比了R-SWA与标准全量注意力的KV cache。在长序列解码时，差异尤为显著。当输出token数远超窗口宽度，R-SWA的cache占用量收敛到一个有界常数，而MHA则是无上限增长。这种差距会随着输出长度越拉越大，正是R-SWA能够实现近乎无限推理的理论基础。
Unlimited OCR沿用了DeepSeek OCR的DeepEncoder编码器。该模块将SAM-ViT与CLIP-ViT级联，并在衔接处进行16× token压缩，一张1024×1024的PDF页面最终只产生256个视觉token。如此高的压缩率意味着：同时输入几十页文档，prefill阶段的视觉token总量也仍然在可控范围内。DeepEncoder负责压缩视觉端，R-SWA稳住解码端，两者结合，支撑起了Unlimited OCR在32K最大长度限制下一次性解析数十页的能力。
上图展示了Unlimited OCR的整体架构。
实验结果
1.单页文档：达到端到端SOTA
研究团队在OmniDocBench v1.5和v1.6上进行了评测，与当前主流的端到端VLM方案做了系统性对比。在v1.5上，Unlimited OCR（3B-A0.5B）取得了93.23的Overall分数，比DeepSeek-OCR高出6.22。在v1.6上，Unlimited OCR以93.92%的Overall分数直接拿下端到端方案的SOTA，超越了Logics-Parsing-v2（93.33%）和FireRed-OCR（93.26%）等同期工作。
更细致的对比来自OmniDocBench v1.5涵盖的9种文档类型——学术论文、书籍、考卷、杂志、报纸、便签等。逐类别来看，Unlimited OCR在所有类别、所有指标上均优于DeepSeek OCR，并且在9项文字编辑距离和阅读顺序指标中，有7项超过了DeepSeek OCR 2。这表明R-SWA的引入带来了无损增益，没有任何代价。
2.长程解析：多页一次性转录
这才是Unlimited OCR区别于所有现有模型的关键能力。研究团队自己构建了一个内部测试集，收录了小说、学术文档和论文，按页数分为2、5、10、15、20、40+页六档，每档至少10本，用于评估多页一次性解析的质量。
Distinct-n用来衡量生成文本中不重复n-gram的比例，是检测长程生成是否陷入循环重复的重要指标。即使在40页以上的场景，Distinct-35仍然达到了96.90%，编辑距离保持在0.11以内。研究团队特别指出，该场景下出现的误识别，主要来自PDF里的小字体文本在1024×1024分辨率下本身就模糊，与R-SWA在长程推理中失去方向无关。
3.推理效率
在推理吞吐量（TPS）方面，随着输出序列变长，DeepSeek OCR的TPS持续下滑：输出6000个token时下降到5822.87 TPS，而Unlimited OCR稳定在7847.71 TPS，领先约35%。
在单页OmniDocBench评测场景下，Unlimited OCR的吞吐量也比DeepSeek OCR高出12.7%（5580 vs. 4951 TPS）。每一步Flash Attention v3 kernel的调用延迟，在Unlimited OCR中始终保持平稳；而在DeepSeek OCR中，延迟随着解码步骤线性增加，并在KV cache跨越某个对齐边界时才会出现骤降。
不足与未来方向
实事求是地说，研究团队自己也没有回避：目前的Unlimited OCR，在有限上下文长度（如32K）下，并未实现真正意义上的“无限”解析。因为prefill端的长度仍然受到上下文窗口的约束——输入页数一多，prefill阶段的视觉token总量也会随之累积，不可能无限制。
短期计划是将最大训练上下文扩展到128K，支持更多页面一次性prefill。长期目标则是构建一个prefill池，让模型能够自动按需读取KV片段，模拟人翻页时的记忆检索行为，这才有可能实现真正的无限解析。
此外，他们也有计划将R-SWA迁移到自动语音识别（ASR）和翻译等同样需要参考输入的长程任务上。
Unlimited OCR揭示了一个核心结论：在端到端模型的解码器里，将全量注意力完整替换为R-SWA，对解析任务完全无损。这实际上提供了一条用有限资源撬动长程推理能力的实用路径。将KV cache从随解码长度无限增长，转变为有界常数——这一改变，很有希望在OCR之外更广泛的参考型长程生成任务中发挥价值。