游乐游手机版
首页/业界动态/文章详情

月之暗面否认K3蒸馏小模型传闻

时间:2026-07-24 12:29
月之暗面否认K3模型是蒸馏小模型,称性能跃升源自底层原创架构创新,包括KDA混合注意力机制、AttnRes残差技术及MoonClip优化器。其中MoonClip使20T数据达到40T训练效果,成本功耗减半,配合稀疏MoE架构,整体扩展效率提升约2 5倍。

7月23日下午,月之暗面企业业务负责人黄震昕就外界关于K3模型是否为“蒸馏小模型”的质疑作出正式回应,明确否认了该说法。他进一步强调,K3性能跃升的核心驱动力在于底层原创架构的突破创新,而非对现有模型的蒸馏复刻或简单模仿。

K3蒸馏小模型?月之暗面否认

7月16日,月之暗面旗下Kimi K3正式发布,这款参数规模高达2.8万亿的开源模型凭借在Arena前端代码榜单登顶的亮眼表现,引发了全球AI圈的广泛关注。然而,随之而来的是一些业内人士的质疑——性能突然大幅跃升,是否“偷师”了其他闭源大模型?所谓“蒸馏”,简单来说就是利用现有模型的输出作为训练数据,本质上属于复制而非创新。黄震昕的回应明确否定了这一猜测,并指出K3的竞争力来源于三项原创核心技术:Kimi Delta Attention(KDA)混合线性注意力机制、Attention Residuals(AttnRes)注意力残差技术,以及首次应用于大模型训练的Moon Clip二阶优化器。

其中,Moon Clip优化器尤为引人注目。在训练数据资源趋于饱和的大背景下,它能让20T数据跑出40T级别的训练效果——同等性能下,训练成本与算力功耗直接减半。再配合896个专家中仅激活16个的极致稀疏MoE架构,K3相较前代K2的整体扩展效率提升了约2.5倍。这才是关键所在:不是靠“克隆”或“蒸馏”,而是靠底层架构的硬核突破与原创创新。

来源:https://finance.sina.com.cn/jjxw/2026-07-23/doc-iniiusme4622119.shtml
上一篇极氪车主跨境自驾车机被锁,官方回应防盗措施已解除 下一篇名爵新车被质疑抄袭小米 总经理回应:抄自家底更有底气
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
三星Galaxy S27系列再曝 多处组件放弃自供
业界动态 · 2026-07-25

三星Galaxy S27系列再曝 多处组件放弃自供

三星盖乐世S27系列预计明年春季正式登场,其中标准版与S27+主摄像头可能采用索尼传感器,并且会引入第三方显示驱动芯片及京东方OLED显示面板。而S27Pro取消了笔槽设计,内部配备5000毫安时电池。此外,猎户座2700芯片将搭载于S27和S27+两款机型上。

小米神秘旗舰入网,玄戒芯片、澎湃OS、自研AI大模型
业界动态 · 2026-07-25

小米神秘旗舰入网,玄戒芯片、澎湃OS、自研AI大模型

小米新旗舰(型号2608BPX34C)已入网,配备67瓦快充,支持UWB超宽带技术及N79频段,或为首款阔折叠机型。该机有望搭载自研三纳米制程玄戒O3芯片与澎湃OS4操作系统,并备案了小米大模型、文心一言等多个人工智能大模型。

Google确认Pixel系列涨价 存储芯片成本激增所致
业界动态 · 2026-07-25

Google确认Pixel系列涨价 存储芯片成本激增所致

谷歌确认其手机系列将全面涨价,因存储芯片等成本激增。新机与存量机型均受影响,旗舰款起售价上调一百美元,标准版取消入门容量配置,高端版可能缩减运行内存以平衡成本。此外,所有型号价格均有所调整。

特朗普因欧盟谷歌罚款暴怒,再次威胁加征巨额关税
业界动态 · 2026-07-25

特朗普因欧盟谷歌罚款暴怒,再次威胁加征巨额关税

特朗普再度释放强硬信号——这次将矛头对准欧盟,导火索是欧盟对谷歌开出一张高达10亿欧元的罚单。简单来说,新仇旧怨一并清算,关税大棒又一次挥向大西洋彼岸的盟友。 事件经过如下:欧盟委员会于本周三发布新闻稿,正式宣布对谷歌处以10亿欧元罚款,理由是谷歌涉嫌违反欧盟的《数字市场法》。这部法律的核心目标就是

升仕175V踏板摩托车上市169cc动力升级售11800元
业界动态 · 2026-07-25

升仕175V踏板摩托车上市169cc动力升级售11800元

7月25日,升仕175V龙骨踏板摩托车正式上市,官方定价为11800元,与先前推出的150V和150X车型保持一致。先来了解几个关键信息:这款车早在7月20日就已开启销售,目前官方渠道均可查询到。 最核心的升级在于动力系统。175V搭载了一台实际排量为168 7cc(最新宣传口径为169cc级别)的