DeepSeek推出mHC新架构:攻克超连接训练不稳定难题
就在1月1日下午,DeepSeek官方发布了一篇引人注目的新论文,其中正式提出了一种名为mHC(流形约束超连接)的全新架构。这项研究的核心目标,在于解决传统超连接技术在大规模模型训练过程中经常出现的稳定性难题,同时延续其带来的显著性能提升优势。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
该论文由三位研究者共同担任第一作者,分别是谢振达(Zhenda Xie)、韦毅轩(Yixuan Wei)以及曹焕奇(Huanqi Cao)。值得一提的是,DeepSeek创始人兼首席执行官梁文锋也位列作者之中。
论文摘要部分的核心内容如下:
近年来,以超连接为代表的网络结构通过拓展残差连接的宽度并引入多样化的连接方式,成功突破了过去十年间广泛使用的标准残差连接范式。尽管这类方法带来了明显的性能增益,但其连接模式的多样化本质上削弱了残差连接所具备的恒等映射特性,进而引发了训练过程中的严重不稳定、可扩展性受限,并导致了较高的内存访问开销。
为了应对上述挑战,研究团队提出了流形约束超连接(mHC)。这是一个通用框架,能够将超连接中的残差连接空间投影至特定流形之上,从而恢复恒等映射属性,同时结合精细化的基础设施优化策略,保障整体计算效率。
实验结果表明,mHC在大规模训练场景下表现稳定,不仅实现了可观的性能提升,还展现出优异的扩展能力。研究团队认为,mHC作为对超连接机制的一次灵活且实用的改进方案,有望推动对神经网络拓扑结构设计的深入探索,并为基础模型的发展提供新的技术路径。
相关论文可通过以下链接获取:
https://huggingface.co/papers/2512.24880
https://arxiv.org/abs/2512.24880
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑,终于有了实质性进展。美国证券交易委员会(SEC)主席保罗·阿特金斯(Paul Atkins)近日证实,那份允许加密项目在早期获得注册豁免权的“安全港”框架提案,已经正式送抵白宫,进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上,阿特金斯透露了这
微策略Strategy报告:第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大?看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告,受市场剧烈波动影响,这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向,向来是加密世界的风向标。这不,它向Web3基础设施的版图扩张,又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露,其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出,立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol,日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议,在运营不到三年后,终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets(ILMs)——一
PAAL代币揭秘:深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中,谁真正掌握了项目的话语权?PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介,更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币,用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票





