梁文锋披露DeepSeek V4：全新记忆架构或将面世
1月13日消息，今天凌晨，DeepSeek开源了全新架构模块“Engram”，并同步发布了技术论文，署名作者中再次出现了梁文锋。据悉，Engram模块通过引入可扩展的查找式记忆结构，为大模型提供了区别于传统Transformer与MoE的全新稀疏性维度。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
DeepSeek在论文中指出，当前主流大模型在处理两类任务时存在结构性低效：一类是依赖固定知识的“查表式”记忆，另一类是复杂推理与组合计算。传统Transformer（无论Dense或MoE）均需通过多层注意力与MLP重建这些静态模式，导致计算资源被大量消耗在“重复构造已知模式”上。
Engram的核心机制是基于现代化哈希-N-Gram嵌入的O(1)查找式记忆。模块会对输入Token序列进行N-Gram切片，并通过多头哈希映射到一个规模可扩展的静态记忆表中，实现常数时间的检索。
论文强调，这种查找与模型规模无关，即便记忆表扩展至百亿级参数，检索成本仍保持稳定。与MoE的条件计算不同，Engram提供的是“条件记忆”。模块会根据当前上下文隐向量决定是否启用查找结果，并通过门控机制与主干网络融合。
论文显示，Engram通常被放置在模型早期层，用于承担“模式重建”职责，从而释放后续层的计算深度用于复杂推理。DeepSeek在27B参数规模的实验中，将部分MoE专家参数重新分配给Engram记忆表，在等参数、等算力条件下，模型在知识、推理、代码与数学任务上均取得显著提升。
在相关技术讨论平台上，观点认为Engram的机制有效减少了模型早期层对静态模式的重建需求，使模型在推理部分表现得更“深”。有开发者指出，这种架构让大规模静态记忆得以脱离GPU存储限制，通过确定性寻址实现主机内存预取，从而在推理阶段保持低开销。多位观察者推测，Engram很可能成为DeepSeek下一代模型“V4”的核心技术基础。
相关攻略
如何彻底卸载 OpenClaw？多种清洁卸载方法详解 OpenClaw 是一款广受好评的开源应用程序，许多用户选择在 Windows 操作系统上安装使用。然而，当你不再需要它时，如何确保将其从电脑中完全、彻底地移除呢？许多用户反馈，简单的卸载操作常常会遗留冗余文件和注册表项，这些“残余数据”长期累积
DeepSeek 崩上热搜！宕机背后暗藏重大升级信号 一次持续超过8小时的服务中断，让国产AI大模型DeepSeek意外登上社交媒体热搜榜。这场突如其来的技术故障，让无数正在赶论文、进行角色扮演对话，甚至单纯想找AI聊天的用户，共同体验了数字时代的“依赖戒断反应”。 然而，行业观察人士普遍认为，此次
（更新：已恢复） DeepSeek崩了 冲上热搜，服务突发故障无法加载内容 3月29日晚间，国内人工智能领域出现突发服务异常。大量用户反映，备受关注的大语言模型DeepSeek出现访问故障，界面持续加载无法正常使用。话题“DeepSeek 崩了”迅速登上微博热搜榜，引发广泛讨论。 从社交媒体实时反馈
4月1日消息，随着AI不断深入日常生活，大家有没有发现AI越来越会拍彩虹屁了？近期发表在权威期刊《Science》上的一篇论文，对目前全球最先进的11个大语言模型进行了系统评估，揭露了一个有趣的真相
3月最后一周，DeepSeek突发大规模服务中断，OpenAI宣布关闭AI视频生成工具Sora。当前的AI行业，技术领先不等于商业成功，惊艳亮相不等于能笑到最后。原标题：《视频 | DeepSeek
热门专题
热门推荐
末日生存手游推荐：前往九游开启你的废土冒险之旅 近年来，末日生存题材手游以其独特的沉浸感与生存挑战，持续吸引着大量玩家。在废墟世界中探索资源、应对危机、重建秩序的核心玩法，带来了紧张而富有成就感的游戏体验。如果你正在寻找一款高品质的末日生存手游，九游平台无疑是理想的起点。这里汇集了多款深受好评的末日
《纪念碑谷3》第二关“小镇”超详细图文攻略 《纪念碑谷》系列凭借其独特的视觉艺术与空间谜题设计广受赞誉。最新发布的《纪念碑谷3》在第二章节“小镇”中，将这一美学风格与机关逻辑提升到了新的层次。本章节不仅延续了标志性的极简主义美学，其空间层次感与交互严谨性也更具挑战性。本攻略将为你完整解析《纪念碑谷3
《生存33天》：“沙漠之王”高效通关攻略 在热门生存手游《生存33天》中，玩家面临的挑战远不止于无尽的丧尸潮。游戏深度结合了生存资源管理与高难度首领战策略，其中“沙漠之王”堪称游戏中期最具考验的BOSS。它不仅是实力分水岭，击败后更能获得稀有材料、限定头衔及海量经验金币，大幅推动队伍成长。本文将深入
《生存33天》“四只手”首领完全通关攻略 你是否在“四只手”首领关卡止步不前？不必焦虑，这个Boss在《生存33天》中素有“新秀杀手”之称。初次遭遇时，其独特的机制与高额伤害往往让玩家措手不及，不少冒险者在此耗费了数日时光。然而，只要掌握了它的核心规律，你就会发现这个敌人不过是外强中干。以下这份详尽
《剑与远征：启程》前排坦克英雄赫普深度解析：双形态切换机制与实战搭配指南 在《剑与远征：启程》这款策略放置手游中，组建一支攻守兼备的队伍至关重要，而前排坦克英雄的选择往往是决定胜败的关键。今天，我们将聚焦于蛮血部族的一位特色英雄——赫普。作为一名超稀有品质的坦克，赫普不仅具备坚实的防御力，更凭借独特