DeepSeek论文解读：新架构mHC如何突破深度学习瓶颈

时间：2026-01-04 15:01

2025年12月31日，来自DeepSeek-AI的研究团队在arXiv上发布了一篇题为《mHC: Manifold-Constrained Hyper-Connections》的技术论文。这项研究

2025年12月31日，来自DeepSeek-AI的研究团队在arXiv上发布了一篇题为《mHC: Manifold-Constrained Hyper-Connections》的技术论文。这项研究由解振达、韦毅轩、曹焕琦等十余位研究人员共同完成，通讯作者为解振达，DeepSeek创始人梁文锋亦参与其中。他们提出了一种全新的神经网络连接方式，有望解决当前大模型训练中一个长期被忽视却至关重要的问题：如何在提升性能的同时，保持训练过程的稳定与高效？

从残差连接说起：AI为何需要捷径

在深度学习领域，残差连接是一种经典而重要的设计。可以把它想象成一条“信息高速公路”，让数据在网络层之间直接流通，避免信息在传递过程中丢失或减弱。这种设计自2015年提出以来，已成为当今绝大多数大型语言模型的基石。可以说，没有残差连接，就没有现代AI的繁荣。

后来，研究者尝试拓宽这条路，变成了超连接（HC）——好比把单车道拓成四车道，并允许车辆在不同车道间自由变道。理论上，这能承载更复杂的交通流（信息流），但问题随之而来：没有规则的变道导致交通混乱，某些车道上车辆（信号）堆积如山，另一些却空空如也。在网络中，这就表现为信号在传递过程中被异常放大或缩小，训练变得极不稳定。

mHC：为信息流动加上交通规则

面对这一矛盾，DeepSeek团队提出了他们的解决方案——流形约束超连接（mHC, Manifold-Constrained Hyper-Connections）。它所做的就是在这条高速公路上加装智能导航和限速系统，让它既能跑得快，又能开得稳。

他们用一个巧妙的数学规则来约束车道间的变道行为：确保从任何一个车道流出的车辆总数，与流入该车道的车辆总数，都保持恒定。这就像在每个路口设置了智能信号灯系统，保证整个路网的车辆总数分布始终平衡。

三种神经网络“信息通道”设计对比。标准残差连接像一条单车道直路，信息从上一层直接流向下一层，简单稳定，但流通能力有限。HC将单车道拓宽为多车道，允许信息在通道间自由交互，能力更强。mHC在多车道系统中加入了智能交通信号灯，通过将连接矩阵约束在一个特定规则的空间中，确保信息在多通道间有序、均衡地流动，在提升能力的同时保障了训练稳定性。

这套交通规则通过一个名为Sinkhorn-Knopp的经典算法来实时计算和维持。算法不断微调变道比例，直到满足上述守恒条件。实践中只需迭代约20次即可达到很好的平衡，计算代价很小。这带来了很多好处：

信号不爆炸也不消失：无论网络多深，输入信号的能量都能大致保持稳定。

训练更平稳：梯度（指导模型调整的方向信号）的幅度受控，模型学习过程更稳健。

保留灵活性：车辆依然可以变道（信息依然能在多个通道间交互），只是变道方式更有序。

实验结果：更大、更稳、更强

团队在多个尺度的语言模型上验证了mHC的效果：

训练曲线平稳

在训练一个拥有270亿参数的模型时，使用原始超连接的方案在约1.2万步时出现了异常的损失值尖峰（相当于学习成绩突然暴跌）。而采用mHC的模型训练曲线平滑下降，最终效果比基线模型更好。