首页 游戏 软件 资讯 排行榜 专题
首页
AI
DeepSeek新年论文:梁文锋署名,提出全新mHC架构

DeepSeek新年论文:梁文锋署名,提出全新mHC架构

热心网友
32
转载
2026-01-01

IT之家1月1日消息,北京时间今天下午,DeepSeek发布了一篇新论文,提出了名为mHC的全新架构。据论文介绍,此项研究旨在解决传统超连接在大规模模型训练中的稳定性问题,同时保持其显著的性能增益。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

这篇论文的第一作者共有三位:Zhenda Xie、Yixuan Wei和Huanqi Cao。值得一提的是,DeepSeek创始人兼CEO梁文锋也在作者名单之列。

DeepSeek开年发布新论文:提出全新mHC架构,梁文锋现身作者名单

IT之家摘录论文摘要大意如下:

近期,以超连接为例的研究通过扩展残差流宽和多样化连接模式,拓展了过去十年建立的无处不在的残差连接范式。虽然带来了显著的性能提升,但这种多样化从根本上损害了残差连接固有的恒等映射属性,从而导致严重的训练不稳定性和受限的可扩展性,并且还会产生显著的内存访问开销。

为了应对这些挑战,我们提出了流形约束超连接,这是一个通用框架,可将HC的残差连接空间投影到特定的流形上,以恢复恒等映射属性,同时结合严格的基础设施优化以确保效率。

实验表明,mHC对于大规模训练是有效的,可提供切实的性能改进和卓越的可扩展性。我们预计,mHC作为HC的灵活且实用的扩展,将有助于更深入地理解拓朴架构设计,并为基座模型的演进提供有希望的方向。

论文链接

Hugging Face:https://huggingface.co/papers/2512.24880

Arxiv:https://arxiv.org/abs/2512.24880

来源:https://tech.ifeng.com/c/8pYxGLp7TkL
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

谷歌TurboQuant如何绕过内存墙?重新审视它的技术突破
AI
谷歌TurboQuant如何绕过内存墙?重新审视它的技术突破

在大模型时代,资源瓶颈不只是硬件问题,更是数学问题。作者|王艺3月25日美股开盘,存储芯片板块集体遭遇“黑色时刻”。美光科技收跌4%,西部数据下跌4 4%,SK海力士跌去5 6%,闪迪更是重挫6 5

热心网友
03.27
谷歌压缩算法解读:内存通胀时代的终结者?
科技数码
谷歌压缩算法解读:内存通胀时代的终结者?

破解算力问题,降低模型所需的存算空间,有很多种途径,是减少训练时算力,还是减少推理时算力?稀疏化、量化、压缩、蒸馏等手段,都是方法之一。只是当前鉴于不同方法的优势特征,各家模型企业及研究机构都会选择

热心网友
03.26
马斯克点赞Kimi:颠覆11年无人敢碰的搜索技术
AI
马斯克点赞Kimi:颠覆11年无人敢碰的搜索技术

马斯克亲自点赞,Kimi动了十一年没人敢碰的东西导语: AI界最“理所当然”的设计之一,终于被质疑了科技博主Avi Chawla在X上发了一条长帖,详细拆解了月之暗面Kimi团队刚刚发布的一篇技术报

热心网友
03.17
DeepSeek论文元旦发布:梁文锋详解大模型架构新章节
AI
DeepSeek论文元旦发布:梁文锋详解大模型架构新章节

机器之心编辑部新年第一天,DeepSeek 发布了一篇新论文,提出了一种名为mHC(流形约束超连接)的新架构。该研究旨在解决传统超连接在大规模模型训练中的不稳定性问题,同时保持其显著的性能增益 。简

热心网友
01.03
清华大学校友团队:DeepSeek出手终结ResNet十年统治
AI
清华大学校友团队:DeepSeek出手终结ResNet十年统治

新智元报道编辑:桃子 好困【新智元导读】2026年架构革命的枪声已经打响!ResNet用十年证明了「加法捷径」能救训练,但也暴露了「只加不减」的天花板。DeepSeek新年王炸之后,普林斯顿和UCL

热心网友
01.02

最新APP

火柴人传奇
火柴人传奇
动作冒险 04-01
街球艺术
街球艺术
体育竞技 04-01
飞行员模拟
飞行员模拟
休闲益智 04-01
史莱姆农场
史莱姆农场
休闲益智 04-01
绝区零
绝区零
角色扮演 04-01

热门推荐

洛克王国世界彼得大道蓝水晶点位汇总
游戏攻略
洛克王国世界彼得大道蓝水晶点位汇总

《洛克王国:世界》彼得大道蓝水晶全收集指南 对于《洛克王国:世界》的探险家而言,彼得大道的蓝水晶收集是探索蒸汽朋克街区的重要目标。整个区域总计散落着5颗珍贵的蓝水晶,它们通常隐藏在建筑的窗台边缘、显眼标志物的背面,或是不易察觉的角落中,考验着玩家的观察力。通过下方这张彼得大道地图,你可以快速建立起对

热心网友
04.04
洛克王国世界11个古币兑换机详细攻略
游戏攻略
洛克王国世界11个古币兑换机详细攻略

洛克王国11个古币兑换机终极位置指南与兑换攻略 在《洛克王国》的广阔世界中探索,你是否在世界各地留意到那些造型别致的“古币兑换机”?这正是将你辛苦搜集的古代钱币,转化为海量实用资源与稀有宠物蛋的核心设施。然而,分散各处的11台兑换机具体坐标,常常让玩家耗费大量时间。本文为你带来全网最详细的古币兑换机

热心网友
04.04
三角洲行动2026年3月28日今日摩斯密码分享
游戏攻略
三角洲行动2026年3月28日今日摩斯密码分享

《三角洲行动》2026年3月28日摩斯密码大全及开门位置攻略 在《三角洲行动》这款游戏中,每日更新的密码门是获取额外奖励的关键环节。地图中隐藏的摩斯密码门每天都会变化,玩家需要先精确定位,再输入正确密码才能开启。为了方便各位玩家快速获取2026年3月28日的游戏资源,本文将完整分享今日全部五张热门地

热心网友
04.04
洛克王国世界巨灵石图鉴
游戏攻略
洛克王国世界巨灵石图鉴

洛克王国世界巨灵石图鉴详解 它的磅礴能量,深深根植于脚下无垠的大地。作为洛克王国中最古老的岩石系精灵之一,世界巨灵石不仅精通驾驭土壤与岩石的地系魔法,还拥有一个非常独特的习性——它竟然以土壤和石块作为日常零食。你常常能在野外听见它“嘎嘣嘎嘣”咀嚼岩石的清脆声响,这个趣闻在洛克王国中流传甚广,讲述得活

热心网友
04.04
暗区突围钢铁真理QBZ191终极外观是什么样-暗区突围钢铁真理QBZ191终极外观解析
游戏攻略
暗区突围钢铁真理QBZ191终极外观是什么样-暗区突围钢铁真理QBZ191终极外观解析

外观设计亮点 钢铁真理QBZ191突击步枪,其外观设计堪称视觉与功能的结合典范。枪身采用凌厉的几何线条勾勒,呈现出极具攻击性的战斗姿态。特有的金属质感涂装工艺,使得枪体在不同光照环境下能呈现出富有层次的光影变幻,冷峻的科技美感油然而生。仔细观察,部件接缝处的精密加工与战术防滑刻纹均处理得细致入微,充

热心网友
04.04