美团龙猫注意力机制升级：提速10倍，精准处理1M超长文本
文自 | 凹非寺
量子位 | 公众号 QbitAI
文本处理速度大幅提升超过50%，同时还解锁了多达1M的上下文处理能力。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
美团龙猫LongCat系列在新年之际再出新招，正式发布了名为LoZA的全新稀疏注意力机制。
这项创新技术集中火力，旨在攻克长文本任务在理解与算力上的核心难题。
相比LongCat系列此前采用的全注意力机制MLA，新的LoZA仅对其一半的核心模块进行了改造。
但模型的长文本处理能力却从256K显著扩展至1M，解码速度也有了显著提升。
其表现甚至优于同类型的Qwen-3模型。
接下来，让我们一起看看它的具体实现方案。
如何实现“只算关键部分”？
全注意力机制的算力瓶颈在于其平方级的计算复杂度，这导致模型处理长文本任务时对硬件要求苛刻，并伴随着推理延迟问题。
LoZA的核心思路是让模型将算力资源聚焦于处理重要的内容，对于次要部分则减少计算开销。
作为LongCat系列的核心技术升级，LoZA主要是在原有的MLA机制基础上进行针对性改造。
具体分为两步走。
首先，对模型中的多头潜在注意力模块进行一次全局“筛查”，找出那些适合被改造的模块。
在原有的MLA架构中，每个模块都是处理注意力的核心单元。新方案为每个模块配备一个可学习的权重α。
α值越高，说明该模块进行全注意力计算越关键，一旦简化就容易丢失性能；α值越低则意味着模块的可替代性强，即便换成更轻量级的计算方式，对整体理解能力的影响也不大。
在训练过程中，团队冻结模型其他参数，只更新α的梯度，通过这种专门的校准训练让模型自主学习α值，然后按α值从小到大排序，找出那些稀疏化后不影响性能的MLA模块，作为后续的优化目标。
随后，将找出的50%低重要性模块替换成更轻巧的流式稀疏注意力SSA。
这样就形成了一种交错结构，团队将这种结构称为ZigZag。
SSA的计算复杂度是线性的，远低于全注意力的平方级复杂度。
所以这种交错结构让模型既不会因为过度简化而变“笨”，又能将计算复杂度降到线性级别，节省大量算力。
为了让模型在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个大小为1024 Token的稀疏窗口。
每个窗口包含1个负责抓取整体关联的“全局块”和7个负责紧盯附近内容的“局部块”，单块大小为128 Token。
这样的改造也无需从头训练，在中期训练阶段就能完成，成本也比较低。
从测试数据来看，LoZA的表现相当不错，主要是在“更快”的同时“没变笨”。
速度上，处理128K上下文时，解码速度直接比原来快10倍；
处理256K上下文时，模型预加载速度提升了50%，后续解码阶段生成内容时还能节省约30%的算力。这意味着同样的硬件，现在能同时处理两倍多的长文本任务。
这也让LongCat-Flash-Exp解锁了1M的上下文处理窗口。
性能上，LoZA也没有因为简化而“缩水”。
在处理问答、写代码这类日常任务时，和原版LongCat-Flash持平；处理长文本任务时，表现反而更好。
比如在MRCR测试里，超越了同样能处理1M长文本的Qwen-3模型，表现也更稳定。
接下来，团队还计划让LoZA支持动态稀疏比例。
短文本场景自动多用全注意力保证精度，长文本场景自动增加稀疏模块提升效率，甚至适配多模态模型处理长视频、长图文内容。
真是新年新气象！
论文地址已发布。
— 完 —
相关攻略
一、前言：PCIe 5 0 SSD今年能普及吗？去年年底，我们还满心期待 2026 会是 PCIe 5 0 SSD 真正普及的一年。可谁也没想到，AI 引发的这轮半导体风暴，直接让存储市场的价格全线
这项由印度萨蒂亚赛巴巴高等学习学院联合印度理工学院罗帕尔分校和红帽公司共同完成的研究发表于2026年3月的arXiv预印本平台，编号为arXiv:2603 17309v1。有兴趣深入了解的读者可以通
快科技3月29日消息，据日本AKIBA PC Hotline报道，市面上出现了一批仿真度极高的假冒三星990 PRO SSD。其包装、标签几乎与正品无异，甚至能被Windows和CrystalDis
宋恒旭 粉笔划过黑板的一瞬间，篮球场上运动鞋不时发出的响声，这些生活中看似普通的摩擦现象，背后却隐藏着物理学界长期未能完全破解的谜题。近日，美国哈佛大学研究团队在《自然》杂志发表研究成果，首次揭示了
IT之家 3 月 28 日消息，零部件短缺推高了内存和 SSD 价格，市场环境正好给了诈骗者可乘之机。面对远低于正常市场价的“超值优惠”，不少消费者很容易上当。尤其是在 AI 数据中心持续大量占用
热门专题
热门推荐
OPPO A6k手机重磅发布：天玑6300处理器、高清LCD直屏、7000mAh超大电池，售价仅1999元起 OPPO旗下广受欢迎的A系列再添实力新机。近日，备受期待的OPPO A6k正式上市发售。这款新品搭载了备受好评的天玑6300八核处理器，并配备了一块容量高达7000mAh的耐用长寿电池，成为
速览 在《红色沙漠》的广阔世界中，数量丰富的支线任务与主线剧情共同构筑了沉浸式的冒险体验。其中，“熔化锁链的火焰”任务作为瑟金斯家族剧情线的关键环节，其触发机制与主线进程紧密相连。任务并非随时可用，玩家需将主线故事推进到特定阶段后，任务才会自动添加至任务日志。本篇攻略将为你详解此支线任务的接取条件与
《异种航员2》运动机制深度解析 在《异种航员2》（Xenonauts 2）的策略战斗中，对“时间单位”（TU）的高效运用是取胜的核心。每个士兵的移动、射击乃至战术配合，都依赖于玩家对TU的精确规划。操作上手简单：选中单位后，直接使用鼠标左键点击目的地方格，系统便会清晰显示移动所需消耗的时间单位，帮助
速览 在《异种航员2》(Xenonauts 2)的战局中，掌握“战术规避”与精通“火力输出”同等关键。游戏全新设计的掩体系统，是提升你作战小队生存几率的战略性核心。简言之，战场上绝大多数可见的物体都能转化为你的战术屏障。无论是散落的木箱、残缺的矮墙，还是茂密的灌木丛与坚实的建筑物，巧妙地利用它们，就
速览 在开放世界大作《红色沙漠》中，庞大的支线任务系统为玩家提供了丰富的探索体验。其中，“超凡建造物”任务是阿方索家族势力任务线中的重要一环。要成功接取此任务，玩家必须首先完成其前置任务【枪械名门】。在此之后，任务的下一步关键操作是前往游戏中标注的特定建筑地点进行互动调查——这本质上是一个用于快速移