DeepSeek研究团队近日发布了一篇题为《mHC: Manifold-Constrained Hyper-Connections》(《流形约束超连接》)的论文,正式推出全新网络架构——mHC。该设计致力于解决大模型训练中普遍存在的不稳定性难题,有望为未来基础模型架构的升级提供关键思路。
论文作者名单中,DeepSeek创始人兼CEO梁文锋作为联合作者参与,核心研发工作由解振达、魏毅轩与曹焕琪主导完成。

论文链接:https://www.php.cn/link/df4940468534f2c23ad26a7e9c1aba46
据论文披露,mHC通过引入严格的数学约束机制(例如由双随机矩阵定义的流形结构),将传统超连接模块中潜在的信号放大效应从高达3000倍大幅压缩至仅约1.6倍,从而在根本上抑制了梯度爆炸与数值震荡,显著增强训练鲁棒性,同时不牺牲模型表达能力。实测表明,在27B参数规模模型上,采用mHC后推理准确率提升约7%,而训练耗时仅增加6.7%,达成了“低开销、高回报”的协同优化目标。
结合文中提到的“内部多轮大规模验证”以及DeepSeek过往产品迭代节奏,业界普遍预期其下一代旗舰模型V4或将支持长达100万token的上下文窗口,深度适配国产AI加速芯片,并初步集成多模态理解与生成能力。发布时间预计锁定在2026年2月初,借势春节用户活跃高峰集中展示技术突破。
源码地址:点击下载
