DeepSeek开源OCR模型:文本识别更强,单卡日训超20万页
人工智能领域迎来一项重大突破——DeepSeek公司近日在GitHub平台开源了一款创新的OCR模型,同时发表了技术论文《DeepSeek+OCR:上下文光学压缩》。这项技术通过视觉模态实现文本信息的高效压缩,为解决大语言模型处理长文本时的计算瓶颈提供了全新思路。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
研究团队发现,现有大语言模型在处理超长文本时面临显著的计算压力。为此,他们创新性地将文本信息转化为视觉模态,运用“一图胜千言”的原理大幅减少Token消耗。实验数据显示,这种光学压缩技术可实现近10倍的无损上下文压缩,同时保持97%以上的OCR准确率。在A100-40G显卡环境下,单日可生成超过20万页的模型训练数据。
该模型采用双组件架构设计:DeepEncoder编码器负责图像特征提取与压缩,DeepSeek3B-MoE解码器则从压缩后的视觉Token中重建文本。解码器采用混合专家(MoE)架构,在300亿参数规模中仅激活约5.7亿有效参数,兼顾了模型表达能力与推理效率。当压缩率控制在10倍以内时,OCR精度稳定在97%;即使压缩率提升至20倍,准确率仍维持在60%左右。
研究团队提出了更具前瞻性的设想——模拟人类记忆衰退机制。通过逐步缩小历史上下文的图像渲染尺寸,实现Token消耗的递减免压缩。随着图像尺寸缩小,内容清晰度相应降低,最终达到类似人类记忆的渐进式遗忘效果。这种设计为处理无限上下文信息提供了理论可能,目前该方向仍处于早期探索阶段。
项目核心成员包括Haoran Wei、Yaofeng Sun和Yukun Li三位研究员。其中Haoran Wei曾主导开发第二代OCR系统GOT-OCR2.0,具备深厚的技术积累。该模型开源后迅速获得业界关注,GitHub平台累计获得超过1400个星标。
尽管市场对DeepSeek未发布R2新模型存在争议,但此次技术突破显示公司正专注于底层技术创新。光学压缩技术不仅优化了现有模型性能,更为下一代大语言模型的发展开辟了新路径。这种将文本与视觉信息深度融合的研究方向,可能成为通向通用人工智能的重要突破口。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑,终于有了实质性进展。美国证券交易委员会(SEC)主席保罗·阿特金斯(Paul Atkins)近日证实,那份允许加密项目在早期获得注册豁免权的“安全港”框架提案,已经正式送抵白宫,进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上,阿特金斯透露了这
微策略Strategy报告:第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大?看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告,受市场剧烈波动影响,这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向,向来是加密世界的风向标。这不,它向Web3基础设施的版图扩张,又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露,其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出,立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol,日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议,在运营不到三年后,终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets(ILMs)——一
PAAL代币揭秘:深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中,谁真正掌握了项目的话语权?PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介,更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币,用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票





