游乐游手机版
首页/业界动态/文章详情

美团万亿参数大模型LongCat-2.0国产芯片训练发布

时间:2026-07-01 12:46
美团发布万亿参数大模型LongCat-2 0,在五万卡国产算力集群上完成全流程训练与推理。总参数1 6T,激活参数33B至56B,原生支持百万token上下文。通过故障率降低70%、训练效率提升1 5倍及LSA稀疏注意力等创新,在编程与Agent场景中达到或接近前沿闭源模型水平。

6月30日,美团正式发布了新一代万亿参数大模型LongCat-2.0,并宣布对外开源。

这次最引人注目的,是它号称业界首个在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型。具体来说,总参数达到1.6T,平均激活参数约48B,动态范围在33B到56B之间,从零开始预训练,原生支持100万token的超长上下文。

其实在正式版发布前,LongCat-2.0的预览版本就已经通过OpenRouter平台和longcat.ai面向全球开发者开放调用了。截至目前,这个模型已经跻身OpenRouter全球大模型调用量前三,月调用量紧随Hermes、Claude Code和OpenClaw之后,位列全球第一、第二和第三位。

预训练数据规模超过30T tokens,覆盖了中文、英文、多语言和代码等多类数据。面对万卡级训练中常见的硬件故障、通信异常、显存压力与数值波动,LongCat团队从稳定性、正确性和效率三个维度,逐一攻克了国产算力训练中的难题。

在稳定性方面,通过HCCL异常处理、弹性扩缩卡和自动故障恢复,将月均日故障率降低了70%以上;在正确性上,自研设计确定性算子、Bitwise一致性验证和参数检测,保障了训练结果的可靠,同时基于实践经验提升了关键模块的计算精度、优化了Reduce逻辑;在效率上,通过流水线调度、显存优化和算子级控核,训练MFU提升了1.5倍。最终,LongCat实现了稳态日吞吐超过1T tokens/day,完成万亿参数MoE模型在国产算力上的稳定训练。

到了推理阶段,LongCat-2.0围绕模型、算子和框架进行了协同优化。通过大规模专家并行聚合访存带宽,支撑了万亿参数MoE模型的低延迟解码;将零计算专家机制融入专家并行通信流程,让路由到零专家的token真正避免了不必要的传输与计算;针对通信、Attention、GEMM等核心算子优化调度,结合提前下发与权重预取等框架机制,进一步降低了推理链路中的等待开销。

值得一提的是,LongCat-2.0采用了一种名为LongCat Sparse Attention(LSA)的稀疏注意力机制。在处理长文本时,它不再“逐字逐句地看”,而是智能筛选关键信息,将计算量从平方级降至线性级。这使得模型在100万Token的超长上下文中,依然能保持信息定位与理解能力。

代码任务中不同token的复杂度差异巨大——定义变量名和推导递归算法对算力的需求完全不同。LongCat-2.0通过零计算专家实现了token级动态激活(33B~56B),简单token不消耗算力,复杂token则自动获得更多计算资源。

架构层面,LongCat-2.0通过MOPD架构融合了Agent、Reasoning、Interaction三组专家能力——Agent Experts专攻工具调用与自主纠错,Reasoning Experts深耕数学与STEM推理,Interaction Experts优化指令遵循与交互体验。推理时,由门控网络根据任务类型动态调度最擅长的专家,而不是简单合并参数。得益于此,模型在编程、推理、交互等维度均表现突出。

综合评测结果显示,LongCat-2.0在Code和General Agent场景表现优异。

编程能力方面,LongCat-2.0在考察深层工程能力的SWE-bench Pro中获得了59.5,领先于Gemini 3.1 Pro(54.2)、GPT-5.5(58.6)和Claude Opus 4.6(57.3);在SWE-bench Multilingual中取得77.3的成绩,与Claude Opus 4.6(77.8)保持在同一水平;此外,在真实终端指令交互评测Terminal-Bench 2.1中取得70.8,体现了其在真实运维与开发终端任务中的稳定执行与纠错能力。

在真实办公场景的复杂任务处理方面,LongCat-2.0在搜索智能体评测集RWSearch中获得78.8,在生产力场景评测集FORTE中获得73.2,在BrowseComp中获得79.9,均达到或接近前沿闭源模型水平,能够较好地契合企业级Agent的落地需求。

来源:https://www.donews.com/news/detail/1/6614732.html
上一篇西祠胡同官宣7月1日正式回归上线 下一篇蔚来APP iOS版大面积闪退,客服已回应
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
诺基亚TA-1619入网:1400mAh电池双卡双待新机
业界动态 · 2026-07-01

诺基亚TA-1619入网:1400mAh电池双卡双待新机

诺基亚又有新动作了。7月1日消息,一款型号为TA-1619的诺基亚新机已经拿到了电信设备进网许可,不过证件照目前还没公布。 从入网信息来看,这是一款TD-LTE数字移动电话机,支持TD-LTE网络,属于LTE单天线终端设备。双卡双待、VoLTE语音模式都支持,终端款式为直板。核心配置方面,电池额定容

芯佰微CBMRF900系列国产射频芯片突破海外壁垒
业界动态 · 2026-07-01

芯佰微CBMRF900系列国产射频芯片突破海外壁垒

芯佰微电子发布CBMRF9002和CBMRF9009两款射频收发芯片,采用直接变频架构,覆盖10MHz至7250MHz频段,支持最大450MHz带宽及JESD204B高速接口,性能对标国际,满足5G基站与卫星通信等高端需求,突破海外技术壁垒。

月起私人充电桩可卖电 每度净赚5毛
业界动态 · 2026-07-01

月起私人充电桩可卖电 每度净赚5毛

近期有一则重大利好消息,值得新能源车主们特别留意——车网互动价格机制改革已正式落地。自7月1日起,湖北武汉的新能源车主,可在家中的私人充电桩上通过“卖电”轻松赚钱。具体而言,就是借助峰谷电价差,实现低买高卖,每度电净收益约5毛钱。过去,车网互动(V2G)基本只局限于特定的公共充电站,受试点规模限制,

谷歌发布Nano Banana 2 Lite 4秒出图1元4张
业界动态 · 2026-07-01

谷歌发布Nano Banana 2 Lite 4秒出图1元4张

先说几个关键信息:谷歌DeepMind又给图像生成赛道添了新选项。7月1日发布的消息,Nano Banana 2 Lite正式亮相。这个名字听起来像是水果命名系列大爆发,实际上它的技术代号是Gemini 3 1 Flash Lite Image,属于Gemini 3 1家族。最大的卖点就两个:快,便

技嘉专业电竞装备助力2025 CFS世界总决赛
业界动态 · 2026-07-01

技嘉专业电竞装备助力2025 CFS世界总决赛

2025CFS世界总决赛将于12月3日至14日在重庆举行,来自四大赛区的16支战队参赛。技嘉AORUS作为赛事设备合作伙伴,以主板、显示器等专业硬件保障比赛稳定流畅,并通过赛事反哺研发的闭环模式支持电竞发展。