首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
DeepSeek新版mHC上线,R2模型距我们还有多远?

DeepSeek新版mHC上线,R2模型距我们还有多远?

热心网友
39
转载
2026-01-04

去年1月,春节前夕,“DeepSeek冲击波”席卷业界,中美同时“破圈”,成为年度现象级事件。而2026年一开年,DeepSeek又惊喜时刻进一步提前。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

1月1日,DeepSeek在AI开源社区HuggingFacear和研究分享平台arXiv发布论文,提出了名为mHC(Manifold-Constrained Hyper-Connections)的新型神经网络架构优化方案,再次引发讨论热潮,其对AI产业,包括大模型、芯片等领域可能产生的影响也备受瞩目。


图片来自DeepSeek论文“mHC:Manifold-Constrained Hyper-Connections“

mHC架构让大模型训练更稳、更快、更省

DeepSeek此次提出的mHC架构,建立在字节豆包大模型Foundation团队2024年11月发布的Hyper-Connections(HC)基础上。

彼时,豆包团队宣称HC有望替代大模型开发领域沿用近10年的ResNet残差神经网络架构,通过拓宽残差连接宽度,增加连接模式多样性,提升大模型性能和灵活性。

不过,HC只在理论推演和小模型实验中取得了成绩,在大模型训练中,残差连接通道间的交互极易导致信号爆炸或消失,进而全盘失控,无法取得稳定的训练结果,可扩展性也随之降低,成本则大幅升高。

DeepSeek在论文中称,mHC的核心创新在于引入Manifold-Constrained(流形约束),通过Sinkhorn-Knopp算法将残差映射矩阵投影到“双随机矩阵”构成的Birkhoff多面体上。

简单来说,这相当于为上述“易爆”的信号传播环节加上稳定器,确保信号在多层传递过程中受到约束,均值不变、总量守恒,以此解决HC在大模型训练中的稳定性、可扩展性问题。

DeepSeek给出了HC和mHC在270亿参数级别训练中的演示数据,HC在训练到1.2万步左右时信号放大倍数已暴增至3000倍,训练随之崩溃。

而mHC在同等训练中,信号放大倍数仅为1.6倍,全程平稳运行。与此同时,相较于传统架构,mHC训练时的损失显著下降,BBH数据集评测的困难任务推理能力和DROP数据集评测的阅读理解表现均提升2%以上。


图片来自DeepSeek论文“mHC:Manifold-Constrained Hyper-Connections“

另外,DeepSeek延续了“高性价比”“效率优先”的一 贯风格,论文称研究团队同时设计了高效的基础设施优化方案,最终,在残差通道扩展4倍后,mHC的额外训练时间开销仅为6.7%。

DeepSeek在论文中总结称,实验证明mHC在大规模训练中表现稳定,性能优越,具备良好的可扩展性,期望其能为拓扑结构设计提供新视角,并推动基础模型的演进。

值得一提的是,论文作者署名多达19人,核心作者为解振达、韦毅轩、曹焕奇,前两者均为清华大学高等研究院博士,也均进入过微软亚洲研究院联培项目,而DeepSeek创始人、CEO梁文锋的名字则列于最后。

在HuggingFacear上,从2024年1月的LLM论文至今,DeepSeek共发布了23篇重要论文,11篇中有梁文锋署名,包括MoE、Coder、R1、V3等节点性重要成果。

或引发AI架构连锁反应,英伟达生态再获加持

mHC发布后,在研究者、业界、媒体中都有较高的讨论度。相较于此前聚焦专门领域的OCR、Math-V2和在V3基础上更新的V3.2,mHC更被视为是一种底层创新,再加之新年伊始的节点,也更多被赋予了一层象征意义。

科技研究机构Odmia首席分析师苏连杰接受Business Insider采访时称,DeepSeek可能会在AI领域引发连锁反应,竞争对手可能会着手开发类似的架构。

实际上,就在DeepSeeK发布论文的次日,普林斯顿和UCLA的研究团队就提出了名为Deep Delta Learning的架构,同样旨在更新ResNet的基本架构。

接连涌现的新研究,提升了业界对2026年大模型架构产生重大范式更新和迭代的期待。

苏连杰还认为,相关研究成果会在DeepSeek其后的新模型中有所体现。

不少机构预计DeepSeek将在春节前后进行重大发布,很可能是备受期待却推迟已久的R2,并以此复刻去年的“冲击效应”,也可能是更新更快的通用模型V4,进一步激发实用性和经济价值。

不过,目前尚无可靠消息论证mHC是否会进入新模型。

去年春节期间,DeepSeek R1给AI芯片产业带来巨大冲击,甚至一度被认为将颠覆“算力为王”的逻辑,让以英伟达为代表的美股AI芯片产业链公司股价大跌。此次,mHC对算力、硬件端的影响也受到关注。

一份专家调研纪要显示,mHC架构虽然通过效率提升、工程优化提升了整体算力的质效比,延续了“无需堆算力就能打造顶尖大模型”的叙事,但其本身依赖FP32高精度计算格式,对内存带宽和高速互联带宽也提出了更高要求,尤需高端芯片的支持。

而且,目前该架构主要针对英伟达超节点链路设计,更适配英伟达生态,而对国产芯片兼容性较弱。

实际上,此前DeepSeek推迟R2发布时,即有分析称缺少英伟达芯片是原因之一。如果这种架构规模化铺开,英伟达的生态短期内会得到优势强化,国产芯片则需着力强化编译层的适配。而长期来看,供应mHC架构的AI芯片需要提升存储带宽,并转向更加精细化的设计。

不过,值得注意的是,2025年英伟达等制造商的美国AI芯片受地缘、政策因素影响逐渐淡出中国市场后,国产芯片替代大幅加速。相关厂商在提升性能以追赶领先者的同时,也逐渐在生态构建层面大举布局,华为昇腾、摩尔线程等都宣布适配DeepSeek大模型,不过其精度格式仍与英伟达有明显差距。

在国产芯片的生态突围中,与DeepSeek等领先大模型的深度耦合被认为至关重要。2026年,英伟达、AMD等国际巨头重返中国的努力、国产芯片的继续成长,以及大模型创新带来的变量,可能会让故事变得更加精彩。(作者|胡珈萌,编辑|李程程)

来源:https://www.163.com/dy/article/KIEDT4AS05118O92.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

经典重演:何小鹏化身偷“芯”特工,打造全球首款 L3 级算力汽车“小鹏 G7”
业界动态
经典重演:何小鹏化身偷“芯”特工,打造全球首款 L3 级算力汽车“小鹏 G7”

经典重演:何小鹏化身偷“芯”特工,打造全球首款 L3 级算力汽车“小鹏 G7” 7月2日,小鹏汽车放出了一段名为“Mission:Turing-图灵计划情报泄露”的视频。这可不只是一段简单的总部展示,更像是一部精心编排的“科技特工片”。视频里,一位神秘特工上演了攀楼潜入未来总部的戏码,目标直指实验室

热心网友
04.22
单季营收681亿美元,净利429亿!英伟达财报再次炸裂,黄仁勋
业界动态
单季营收681亿美元,净利429亿!英伟达财报再次炸裂,黄仁勋"画饼"智能体

编辑 | 王凤枝 单季营收681 3亿美元,净利润429 6亿美元,数据中心业务狂飙75%,推理成本更是迎来量级式下降。 过去几个月,关于“AI泡沫”的争论在资本市场从未停歇。然而,英伟达刚刚交出的这份第四财季成绩单,用最硬核的数据,给整个产业情绪注入了一剂强心针。 面对这台全速运转的“印钞机”,C

热心网友
04.22
拿下Meta超级大单+10%股权绑定,AMD稳坐算力
业界动态
拿下Meta超级大单+10%股权绑定,AMD稳坐算力"第二选择"

Meta豪掷数百亿,AMD的“备胎”终于要上位了? AI算力军备竞赛的战火,烧出了新剧情。就在周二,Meta与AMD联手扔下了一枚重磅冲击波:双方达成一项多年期协议,Meta将在其AI数据中心部署规模高达6吉瓦(GW)的AMD GPU,并配套使用AI优化型CPU。首批搭载MI450 GPU的AMD

热心网友
04.22
MacBookNeo热销致A18Pro库存告急?
科技数码
MacBookNeo热销致A18Pro库存告急?

MacBook Neo平价版爆火背后:一场甜蜜的供应链烦恼与苹果的生态棋局 上个月初,苹果悄然投下了一枚“平价冲击波”——起售价4599元、教育优惠价仅3999元的MacBook Neo笔记本正式登场。对于早已拥有iPhone或iPad的用户而言,这无疑是完善苹果生态拼图的绝佳选择;而对于初次接触苹

热心网友
04.22
NVIDIA GTC2026大会上黄仁勋又要扔“核弹”,采用A16工艺的“神秘芯片”或将发布
业界动态
NVIDIA GTC2026大会上黄仁勋又要扔“核弹”,采用A16工艺的“神秘芯片”或将发布

英伟达GTC前瞻:代号“Feynman”的下一代芯片,将如何定义未来算力? 距离NVIDIA GTC 2026大会(3月16日至19日)开幕越来越近,黄仁勋已经提前放出风声,预告将发布一款“让世界震惊的芯片”。市场的目光,正被牢牢锁定在这场即将到来的技术盛宴上。 根据韩国媒体Chosun Biz的报

热心网友
04.22

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

数据挖掘与分析的基本流程
业界动态
数据挖掘与分析的基本流程

数据挖掘与分析的基本流程 想把一堆数据变成洞察和决策?你需要一个系统的流程。这里梳理了一套清晰可行的路径,按步骤推进,能让你的数据分析工作事半功倍。 第一步:数据探索 拿到数据别急着动手。先得跟它“认识认识”,看看它到底长什么样。这个过程就是数据探索:通过检验数据质量、绘制图表、计算关键特征量等方式

热心网友
04.23
数据抓取的原理
业界动态
数据抓取的原理

数据抓取这件事,本质上就是让自动化程序代替人手,按照预设的规则,从浩瀚的互联网上高效地收集公开信息。整个过程听起来很技术化,但其实可以把它拆解成几个环环相扣的步骤,理解起来并不难。 目标选择 第一步是明确方向。就像出门寻宝得先有张地图,数据抓取也需要事先锁定目标网站,并精确圈定出你要提取的具体数据内

热心网友
04.23
合同快速对比:提高效率与准确率的秘诀
业界动态
合同快速对比:提高效率与准确率的秘诀

在商业领域中,合同管理是一项至关重要的任务 生意越做越大,需要处理的合同自然也堆积如山。这时候,合同管理的效率与准确性,就成了所有管理者必须直视的关键问题。如何应对?答案之一是建立起一套高效的合同快速对比机制。今天,我们就来拆解一下实现合同快速对比的核心步骤与实用方法,帮你把这项繁琐却重要的工作,变

热心网友
04.23
币圈的“巨鲸”地址是公开的吗?如何追踪他们的动向?
web3.0
币圈的“巨鲸”地址是公开的吗?如何追踪他们的动向?

币圈巨鲸地址可通过五种方式识别:一、用Etherscan等浏览器查Top Holders;二、借Nansen、Arkham等平台看已标记地址;三、监控CryptoQuant交易所净流量;四、订阅Whale Alert实时警报;五、交叉验证Nansen、Glassnode等多源数据确保准确性。 币圈加

热心网友
04.23
谷歌确认Gemini赋能新版Siri:苹果情境感知功能定档2026年发布
业界动态
谷歌确认Gemini赋能新版Siri:苹果情境感知功能定档2026年发布

谷歌与苹果联手:下一代Siri背后的AI范式转移 科技圈最近有个大新闻,在Google Cloud Next26大会上,官方消息终于落定:苹果正式选定谷歌作为其首选云服务提供商。双方正在联手,基于谷歌的Gemini模型,共同开发下一代“Apple Foundation”机型。这意味着什么?简单说,那

热心网友
04.23