快科技6月30日消息,今日,美团正式推出新一代万亿参数大模型LongCat-2.0,并宣布将对外开源。先划几个重点:这是业界首个完全依托国产算力完成训练与推理全流程的万亿级参数模型,总参数量高达1.6万亿,从零开始预训练,原生支持1M超长上下文。
在此之前,LongCat的测试版本已在OpenRouter上取得了不错的成绩——总调用量跻身全球前三。具体到两大细分榜单:Hermes月调用量位列全球第一,Claude Code月调用量全球第二,仅次于Claude Opus 4.8。能在这些熟悉的基准上追至如此位置,说明其基础实力确实过硬。
LongCat团队还透露,近期会将Infra框架、推理引擎、模型参数等核心技术一并开源,作为对全球开发者社区的一份回馈。

预训练数据方面,规模超过30T tokens,覆盖中文、英文、多语言及代码等多类数据。真正硬核之处在于,面对万卡级训练中常见的硬件故障、通信异常、显存压力与数值波动,LongCat团队从稳定性、正确性与效率三个维度逐一突破,将国产算力训练这件事基本做透。
稳定性上,通过HCCL异常处理、弹性扩缩卡与自动故障恢复,月均日故障率直接降低70%以上。正确性方面,自研了确定性算子、Bitwise一致性验证与参数检测,确保训练结果可靠的同时,基于实战经验提升了关键模块的计算精度,并优化了Reduce逻辑。效率更是关键——通过流水线调度、显存优化及算子级控核,训练MFU提升了1.5倍。
最终,LongCat实现了稳态日吞吐超过1T tokens/day,在国产算力上成功完成万亿参数MoE模型的稳定训练。这一里程碑意味着国产大模型在基础设施层面又向前迈进了一大步。
