美团LongCat大升级：新注意力机制解码快10倍，支持百万长文本
美团龙猫LongCat系列在新年之际放出大招，发布了全新的稀疏注意力机制LoZA（LongCat ZigZag Attention）。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
这一技术让256K文本的预加载速度提升超过50%，同时还解锁了长达1M的上下文处理窗口。
作为美团龙猫LongCat系列的新年献礼，LoZA机制的核心在于其创新的ZigZag结构。
该技术集火攻克长文本任务中的理解与算力难题，实现了效率与性能的平衡。
与以往LongCat系列采用的全注意力MLA机制相比，LoZA仅对一半的核心模块进行了改造。
但模型的长文本处理能力却从256K大幅扩展至1M，解码速度也获得了显著提升。
其表现甚至优于同类型的Qwen-3模型。
接下来，我们详细看看它的实现方案。
如何做到“只算关键部分”？
全注意力机制的算力瓶颈在于其平方级的计算复杂度O(L²)，这导致模型在处理长文本任务时对显存要求极高，并会出现推理延迟问题。
LoZA的核心思路是聚焦于处理重要的内容，对不重要的部分少花力气。
作为LongCat系列的核心技术升级，LoZA主要是在原有的MLA机制上进行改造。
具体分为两步。
首先，给模型里的多头潜在注意力模块MLA做一个全局“筛查”，找出哪些模块可以被改造。
在原来的MLA架构中，每个MLA模块都是处理注意力的核心单元，现在的新方案是给每个模块配一个可学习权重α。
α值越高，说明该模块全注意力计算越关键，一旦简化就容易丢性能；α值越低则意味着模块的可替代性强，即便换成更轻量的计算方式，对整体的理解能力影响也不大。
在训练过程中，团队冻结模型其他参数，只更新α的梯度，通过这种专门的校准训练让模型自主学习α值，然后按α值从小到大排序，找出那些稀疏化后不影响性能的MLA模块，也就是后续的优化目标。
随后，将找出的50%低性能模块换成更轻巧的流式稀疏注意力SSA。
这样就形成了一种交错结构，团队将这种结构称为ZigZag。
SSA的计算复杂度是线性的O(L·S)（S为稀疏窗口大小，固定为1024 Token），远低于全注意力的O(L²)。
所以这种交错结构让模型既不会因为过度简化而变笨，又能把计算复杂度降到线性级别，省下不少算力。
为了让模型在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024 Token的稀疏窗口。
每个窗口里有1个负责抓整体关联的“全局块”和7个负责盯附近内容的“局部块”，单块大小为128 Token。
这样的改造也不需要从头训练，在中期训练阶段就能完成，成本也比较低。
从测试数据来看，LoZA的表现也不错，主要是“更快”的同时“没变笨”。
速度上，处理128K上下文时，解码速度直接比原来快了10倍；
在处理256K上下文时，模型预加载（读文本过程）速度快了50%，后续解码阶段生成内容时还能省下30%的算力，相当于同样的硬件，现在能同时处理两倍多的长文本任务。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
在性能上，LoZA也没因为简化而缩水。
处理问答问题、写代码这类日常任务时，和原版LongCat-Flash持平；在处理长文本任务时，表现反而更好。
比如在MRCR测试里，反超了同样能处理1M长文本的Qwen-3模型，还更稳定。
接下来，团队还计划让LoZA支持动态稀疏比例。
短文本场景自动多用全注意力保证精度，长文本场景自动增加稀疏模块提升效率，甚至适配多模态模型处理长视频、长图文内容。
好一个新年新气象！
论文地址已公布。
相关攻略
4月4日消息，发布仅1天的阿里千问新模型Qwen3 6-Plus，冲上全球知名大模型API调用平台OpenRouter的日榜榜首，成为当下最受企业和开发者热捧的大模型。OpenRouter最新数据显
4月7日消息，没人愿意读生硬刻板、满是企业腔的AI生成内容。读者只要察觉到文本里那些标志性的AI写作痕迹，页面跳出率就会直线飙升。油管发布的一项调研结果显示，目前已有92%的内容创作者在使用生成式A
让 AI 替你叫车：哈啰顺风车上线出行行业首个 MCP 服务 4月3日，哈啰顺风车推出一项业内瞩目的创新举措：正式上线名为MCP的新型服务。通俗来讲，这项服务将顺风车从寻找车主、智能匹配到最终下单支付的完整流程能力，封装成了一套标准化的技术接口，直接向各类大语言模型和AI智能体开放调用权限。 这一变
2026年4月新版OpenClaw QQ机器人接入全攻略：实践步骤、问题排查与深度解读 随着2026年4月OpenClaw重要更新的发布，其原生集成QQ平台支持的功能引起了大量开发者的关注。这一特性意味着用户无需借助任何第三方插件，即可将智能AI助手便捷地部署为QQ私聊或群聊机器人。本文将系统性地解
当AI眼镜学会“跑腿”：语音解锁单车，无感支付停车费 近来，智能穿戴领域的一个新动向值得关注：阿里旗下的千问AI眼镜，正式接入了蚂蚁集团的GPASS平台。这可不是一次简单的功能叠加，它意味着，诸如共享单车骑行、停车缴费这一系列高频的“AI办事”功能，开始从手机屏幕转移到了你的眼前。 简单说，借助GP
热门专题
热门推荐
4月3日消息，今日，vivo年度影像旗舰X300 Ultra正式开售，新机定位专业V单+口袋摄影机，影像能力全面拉满。vivo X300 Ultra配备蔡司大师镜头群，覆盖14mm蔡司超广角、35m
4月2日消息，微软资深Windows工程师Raymond Chen发布长文，呼吁用户和企业IT团队，不要每次在系统出现问题后就第一时间将责任归咎于Windows更新。Chen指出，许多被归咎于每月更
近期，日本玩家围绕卡普空旗下女性角色视觉风格的变迁展开了广泛讨论。有玩家将十年前以当时技术水准塑造的代表性美少女角色玛莉·萝丝，与近年运用最新技术打造的英格丽德进行对比，认为后者在角色表现力上并未体
有多少资深玩家还记得AQUAPLUS旗下那款经典的恋爱冒险作品ToHeart？多年来，关于推出第三部续作的呼声始终不绝于耳。然而，这一计划事实上已被官方终止。近日，该公司社长在一次访谈中透露了项目搁
2026年4月5日，电动自行车行业正面临双重压力：国家层面的以旧换新补贴政策正式退出，叠加原材料成本持续攀升，导致终端售价普遍上调，市场销售明显承压。根据2026年最新实施的消费品以旧换新政策，电动