DeepSeek引爆AI圈:视觉路线成焦点,Karpathy等大佬如何评价?
近期,AI领域迎来了一项引人瞩目的技术突破——DeepSeek团队开源的DeepSeek-OCR模型凭借其独特的视觉压缩技术,在GitHub上迅速斩获超过4000个Star,引发全球开发者与科研人员的热烈讨论。该模型通过将文本转换为视觉token的方式,实现了对长文本的高效压缩与处理,为解决大模型上下文效率问题提供了全新思路。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
该技术的核心在于视觉token的压缩效率革新。传统多模态模型中,视觉token通常仅用于处理图像或无法用文字描述的内容,因其空间占用远高于文本token。举例来说,一万个英文单词若转换为文本token约需15000个,而视觉token可能达到3万至6万个。但DeepSeek的研究表明,通过特殊压缩算法,视觉token的效率可提升10倍,使得原本需要10000个单词的文本,理论上仅需约1500个压缩视觉token即可完整表示。
这一突破引发了关于人类认知机制的联想。研究指出,人类大脑在回忆文本内容时,往往依赖视觉记忆定位,如记住段落所在页码、位置等信息。这种生物机制与视觉token压缩的思路不谋而合,但模型能否在压缩视觉token的基础上保持语言推理能力,仍是待解的疑问。有研究者提出,过度依赖视觉表征可能削弱模型的语言表达能力,但若能平衡效率与性能,该技术或将成为扩展模型上下文容量的关键路径。
行业反响呈现两极分化。支持者认为,结合DeepSeek此前发布的稀疏注意力机制,该技术有望使大模型上下文窗口扩展至千万级token。例如,用户可将整个代码库或企业文档集作为提示词前缀输入模型,通过缓存机制实现快速查询,无需依赖外部搜索工具。纽约大学助理教授谢赛宁对此表示认同,他曾在扩散Transformer研究中探索过视觉与文本的融合路径。
批评声音则聚焦于技术原创性。有研究者指出,哥本哈根大学2024年发表的《Language+Modelling+with+Pixels》已提出类似概念,其开发的PIXEL架构通过将文本渲染为图像,实现了跨语言的表征迁移。此后,CVPR+2024、NeurIPS+2024等会议陆续出现相关改进研究,包括仅用像素处理图像与语言的CLIPPO模型,以及利用视觉token扩展文本上下文的多模态学习方案。
尽管存在争议,DeepSeek-OCR的开源策略获得广泛认可。技术社区迅速展开实践探索,Django框架联合创始人Simon+Willison仅用4个提示词便在英伟达Spark硬件上运行该模型,耗时40分钟;科技博主NiceKate+AI则成功将其部署至Mac设备。这些案例显示,该模型在工程实现上具有较高可行性。
值得关注的是,部分研究者认为谷歌Gemini模型可能已应用类似技术。其庞大的上下文窗口与优秀的OCR性能,或源于视觉token压缩的隐藏能力。但DeepSeek的完全开源策略,使任何团队均可验证并改进这一技术,这种透明度在商业竞争中显得尤为珍贵。
在Hacker+News等平台,讨论延伸至模型认知能力的边界。有用户设想,若模型能像物理学家Hans+Bethe般记忆海量数据,将极大提升知识调用效率。例如,将整个元素周期表或代码库存入上下文窗口,可能彻底改变科研与编程模式。然而,这种“工作记忆”扩展是否以牺牲语言表现为代价,仍需更多实证研究。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑,终于有了实质性进展。美国证券交易委员会(SEC)主席保罗·阿特金斯(Paul Atkins)近日证实,那份允许加密项目在早期获得注册豁免权的“安全港”框架提案,已经正式送抵白宫,进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上,阿特金斯透露了这
微策略Strategy报告:第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大?看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告,受市场剧烈波动影响,这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向,向来是加密世界的风向标。这不,它向Web3基础设施的版图扩张,又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露,其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出,立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol,日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议,在运营不到三年后,终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets(ILMs)——一
PAAL代币揭秘:深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中,谁真正掌握了项目的话语权?PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介,更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币,用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票





