首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
DeepSeek新论文:下一代大模型如何实现记忆分离

DeepSeek新论文:下一代大模型如何实现记忆分离

热心网友
81
转载
2026-01-13

继去年底发布一篇新论文后,1月12日晚,DeepSeek又更新了一篇研究论文,这次聚焦在大规模模型的条件记忆模块。研究团队在结论部分指出,这一技术有望成为下一代稀疏大语言模型中不可或缺的核心架构基础。


此前有消息透露,DeepSeek的下一代大模型V4计划在春节前后推出。结合近期的几项研究进展,业内人士猜测,这篇论文或许已经勾勒出DeepSeek V4的技术演进蓝图。

这篇最新发表的论文由DeepSeek与北京大学合作完成,论文标题为《Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models》(《基于条件查找的条件记忆:大语言模型稀疏性的新维度》)。在作者名单中,DeepSeek创始人梁文锋的名字同样位列其中。

论文的核心观点在于,当前的大规模模型实际上承担着两种性质截然不同的任务:一种是需要深度动态计算的组合推理,另一种则是静态知识的检索与调用。而现有的Transformer架构本身缺乏原生的知识查找机制,只能通过低效的计算过程来模拟检索行为。例如,当模型需要查询不变的常识或事实时,不得不耗费大量算力重新推导一遍,既浪费计算时间又占用宝贵资源。

为了解决这个问题,DeepSeek研究团队引入了“条件记忆”作为补充的稀疏性维度,并通过名为Engram的条件记忆模块予以实现。该模块旨在优化混合专家计算结构与静态记忆存储之间的权衡关系。

团队还发现了一个U型缩放规律,表明混合专家与条件记忆之间的稀疏容量分配策略,在性能上严格优于纯粹的MoE基准模型。值得注意的是,虽然记忆模块直观上有助于知识检索,但团队在通用推理、代码生成和数学问题求解等领域观察到了更为显著的性能提升。

简单来说,当前的MoE模型在处理动态推理和静态知识时使用的是同一套计算方法,效率较低且算力消耗大。而这篇文章的本质,是为大模型做了一次“分工优化”:让专业的模块处理专业的任务。比如,用专门的“记忆本”来管理固定知识库,而推理模块则专注于复杂逻辑思考,再按最佳比例分配计算资源,最终让模型既反应迅捷,又聪慧过人。

DeepSeek在论文最后明确表示,条件记忆技术将成为下一代稀疏模型不可或缺的建模基础。有行业人士推测,此次提出的条件记忆架构,很可能就是下一代大模型DeepSeek V4所采用的核心技术框架。

此前有报道称,DeepSeek计划于2月发布新一代旗舰模型DeepSeek V4,且内部初步测试表明,V4在代码编程能力上已经超越了市场上其他顶级模型。目前DeepSeek官方尚未对此消息作出任何回应。报道同时提及,具体的发布计划可能会根据实际情况进行相应调整。

自2024年底发布V3模型以来,DeepSeek的下一代旗舰模型一直备受期待。去年底,DeepSeek发布了小幅升级的V3.2版本,并提及该版本在多个基准测试中超越了OpenAI的GPT-5和Google的Gemini 3.0 Pro。业界始终关注着DeepSeek的旗舰模型进展,V4的正式推出,预计将成为行业关注的焦点。

来源:https://www.163.com/dy/article/KJ5ANGKM0519DDQ2.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

复旦团队破解六十年数学物理难题成果登上数学顶刊
科技数码
复旦团队破解六十年数学物理难题成果登上数学顶刊

复旦大学等机构破解了困扰学界60年的经典数学物理难题,成果发表于国际顶尖期刊。研究系统分析了二维不可压缩欧拉方程中“猫眼流”涡旋结构在不同扰动下的稳定性,首次严格证明了其存在“合并不稳定性”,为理解磁重联等物理过程提供了新理论工具,其分析框架有望应用于更广泛的涡。

热心网友
05.16
7月25日外媒科学网站摘要:科学家警告,人类正无意间向宇宙泄露“地球坐标”
科技数码
7月25日外媒科学网站摘要:科学家警告,人类正无意间向宇宙泄露“地球坐标”

《自然》:一桩悬案了结? “砷基生命”论文终遭撤稿,但争议远未结束 科学界一桩持续了15年的公案,最近有了新进展。顶级期刊《科学》(Science)正式撤回了那篇曾引发轰动的争议性论文——该研究当年声称,在美国加州莫诺湖发现的一种细菌,能够用有毒的砷元素替代生命必需的磷来构建DNA,这直接挑战了我们

热心网友
04.17
科研产出占全球40%,顶刊数量却不足4%:中国学术期刊如何突围?
科技数码
科研产出占全球40%,顶刊数量却不足4%:中国学术期刊如何突围?

中国科研产出激增背后:学术出版话语权与经济成本的双重挑战 近期,在上海科学会堂举行的Insight Press(睿见出版)首批高质量学术期刊创刊仪式暨第十一期“好望角科学沙龙”上,科学家、出版机构负责人与期刊主编们齐聚一堂,共同探讨中国一流学术期刊的未来发展路径。当前,中国科学家正以前所未有的速度产

热心网友
04.16
中国科协:2026年NeurIPS会议资助调整与学者参会指引
科技数码
中国科协:2026年NeurIPS会议资助调整与学者参会指引

中国科学技术协会2026年3月31日发布告示:中国科协曾于2026年3月27日就2026年NeurIPS会议发表声明,本意是尽力维护我国关涉学者正当利益,其措施原则是清晰、适当的,没有发生变化。现就

热心网友
03.31
康奈尔大学将离开全球最大论文预印本平台arXiv
科技数码
康奈尔大学将离开全球最大论文预印本平台arXiv

Cornell University 图源:wikipedia撰文|张天如果有一天,全球科研人员突然无法访问arXiv,许多领域的研究节奏可能会被打乱。每天清晨刷新论文列表,已经成为部分数学家、物理

热心网友
03.31

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

警惕人工智能依赖 避免大脑能力退化
业界动态
警惕人工智能依赖 避免大脑能力退化

科学家警告,过度依赖人工智能可能削弱创造力与批判性思维,类似GPS损害方向感。研究显示,AI替代需“认知摩擦”的思考过程,或导致认知能力衰退。专家建议应有意识使用AI,使其成为思维“扩音器”而非替代品,例如先自主判断、加深信息处理、主动创意构思,以保护并锻炼大脑独特能力。

热心网友
05.18
谷歌阿里微软云端AI决战 云电脑迎来行业新机遇
业界动态
谷歌阿里微软云端AI决战 云电脑迎来行业新机遇

谷歌推出云端AI驱动的安卓电脑,重塑PC形态。当前AIPC多依赖云端算力,本地硬件价值受质疑。云电脑与AI结合成为新方向,对网络延迟更宽容。谷歌联合硬件伙伴推进该方案,阿里等云服务商也已布局。传统芯片、终端厂商及微软、苹果正以不同策略应对AIPC趋势。未来竞争将聚焦云端能力、系统重构与生态协。

热心网友
05.18
企业数字化转型全流程解析:从战略规划到AI智能体落地
业界动态
企业数字化转型全流程解析:从战略规划到AI智能体落地

结论先行:在2026年的商业环境中,企业数字化转型方法的核心不再是单纯的IT系统堆砌,而是“业务流程自动化”与“AI智能化”的深度融合。成功的数字化转型方法论应遵循“小步快跑、场景切入、数据驱动”的原则,利用AI Agent(智能体)技术打通烟囱式系统,实现平滑升级,而非推倒重来。 一、 拒绝假大空

热心网友
05.18
产品设计软件推荐与选择指南
业界动态
产品设计软件推荐与选择指南

面对琳琅满目的产品设计软件,许多设计师和团队都在追问:究竟哪一款才是最好的选择?然而,真正的答案并非一个简单的软件名称,而是一套基于您具体工作流程的适配逻辑。本文将为您系统解析,如何跳出“最好”的迷思,找到最“对”的那款工具,从而最大化团队效率与产出价值。 核心决策逻辑 首先,我们必须确立一个核心原

热心网友
05.18
跨境电商售后难题的智能客服解决方案
业界动态
跨境电商售后难题的智能客服解决方案

跨境电商的售后环节,本质上是客户信任的二次考验。当问题出现时,初次交易建立的信任已然动摇,若处理不当,将直接导致客户永久流失。因此,构建一套真正高效的售后体系,必须实现三大核心目标:响应速度需如本地支付般即时;处理规则需预先设定,实现小额纠纷的自动化化解;最终,所有流程数据必须形成闭环,驱动供应链的

热心网友
05.18