DeepSeek开源3B模型DeepSeek-OCR：用光学压缩探索文本处理新路径
DeepSeek团队近日开源了一款名为DeepSeek-OCR的300亿参数模型，通过创新的“光学压缩”技术，在保持高准确率的同时大幅降低了文本处理所需的计算资源。该模型将视觉模态引入文本信息处理领域，为解决大语言模型（LLM）处理长文本时的计算瓶颈提供了全新思路。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
传统LLM在处理长文本时面临计算复杂度呈平方级增长的难题——序列长度每增加一倍，算力消耗将呈现四倍增长。DeepSeek-OCR的突破性在于将文本转换为图像进行压缩处理：通过视觉模态的“光学压缩”，模型用更少的视觉Token承载相同信息量。实验数据显示，该技术可实现7-20倍的Token压缩率，在10倍压缩下OCR准确率超过97%，即使压缩20倍仍能保持60%以上的准确率。
模型架构由编码器DeepEncoder和解码器DeepSeek3B-MoE组成。DeepEncoder采用SAM-base（8000万参数）与CLIP-large（30亿参数）的串联结构，前者负责局部特征提取，后者进行全局信息整合。中间嵌入的16×卷积压缩器可将输入图像的Token数量大幅削减，例如1024×1024图像经处理后，进入全局注意力层的Token从4096个降至数百个。这种设计使模型既能处理高分辨率输入（支持512×512至1280×1280多分辨率），又有效控制了内存开销。
解码器部分采用混合专家（MoE）架构，64个专家中激活6个，配合2个共享专家，实际激活参数约5.7亿。这种设计使300亿参数规模的模型兼具3000亿参数模型的表达能力与500亿参数模型的推理效率。在OmniDocBench基准测试中，使用100个视觉Token的DeepSeek-OCR表现优于GOT-OCR2.0（每页256个Token），使用800个Token时则超越MinerU2.0（平均每页超6000个Token）。
数据构建方面，团队从互联网收集了3000万页多语言PDF文档（中英文占2500万页），通过粗标注（fitz提取）和精标注（PP-DocLayout等模型生成）结合的方式构建训练集。针对小语种数据，创新采用“模型飞轮”机制：先用版面分析模型检测文本区域，再用生成的数据训练GOT-OCR2.0，最后用训练好的模型标注更多数据，形成数据生成闭环。模型还整合了300万条Word文档数据以提升公式识别能力，以及2000万条场景OCR数据（中英文各半）增强自然图像解析能力。
该模型不仅具备基础OCR功能，更实现了对复杂图像的结构化解析。通过统一提示词，可自动提取金融图表数据、转换化学结构式为SMILES格式、解析几何图形并生成密集描述。在STEM领域（如化学、物理、数学），这种能力可显著提升符号和图形密集型场景的处理效率。
研究团队还提出了一个颇具前瞻性的设想：通过光学压缩模拟人类遗忘机制。具体方案是将历史对话内容渲染为图像，通过逐步压缩图像尺寸实现信息模糊化——近期内容保持高分辨率，久远内容自然淡化。这种设计理论上可支撑“无限上下文”处理，使模型在保持近期上下文高保真的同时，降低历史上下文的计算资源占用。
目前，DeepSeek-OCR已开源原生分辨率的Tiny（64 Token）、Small、Base、Large四档模式，以及动态分辨率的Gundam模式。在实际生产环境中，单张A100-40G显卡每日可生成超20万页训练数据，20个节点（160块A100）的集群日处理量可达3300万页。团队强调，当前成果仅是起点，后续将开展数字-光学文本交替预训练、“大海捞针”测试等系统性研究，以全面验证光学压缩技术在上文处理中的潜力。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票