小米推HySparse稀疏注意力模型，兼顾长文本精度与效率
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
2026年2月9日，小米MiMo大模型团队正式揭晓了专为Agent时代设计的HySparse混合稀疏注意力架构。该架构创新性地采用“极少量全注意力加稀疏注意力”的协同设计，在确保核心信息捕捉能力不打折的前提下，显著提升了计算与存储效率。这为处理超长文本任务提供了一种能够兼顾精度与成本的新范式，也为大模型注意力机制的优化路径带来了系统的参考。
当下，Agent类模型及应用正处于快速演进阶段，对模型处理超长上下文的能力提出了更高要求。这种能力已不仅关乎技术可行性，更直接关系到实际部署时的经济成本与响应实时性。Agent需要在万字乃至更长的上下文中，稳定地完成信息检索、逻辑推理与多步骤任务规划，同时确保响应速度能满足实时交互的需求。整个行业面临的核心挑战，正从“能否完成计算”，转向“是否负担得起计算”。
HySparse正是针对这一现实挑战提出的架构级解决方案。在覆盖通用能力、数学推理、代码生成及中文理解等多维度评测中，该架构在7B稠密模型与80B混合专家模型两种典型规模下，均展现出持续稳定的性能增益。以80B-A3B MoE模型为例，在总计49层网络中仅保留5层全注意力层，模型整体能力未见下降，部分任务表现甚至有所提升；其KV缓存占用降低了近十倍，实现了性能与资源效率的双重优化。进一步的长文本基准测试也证实：即便大幅削减全注意力层数，HySparse仍能可靠维持对远距离关键信息的访问能力，充分彰显了其混合结构的鲁棒性与适应性。
HySparse的发布，标志着大模型注意力设计从单纯追求算力可及性，向兼顾计算效益与部署可行性的关键跃迁。作为MiMo系列注意力技术的延续，它在MiMo-V2-Flash所采用的混合滑动窗口注意力基础上实现了重要演进——通过引入针对全局性、高价值信息的补充机制，使稀疏结构与全注意力形成兼容互补的关系。这一改进在提升模型建模能力的同时，并未增加KV缓存开销，也未带来明显的额外计算负担。
团队表示，后续将持续推进HySparse在更大参数规模模型上的验证工作，深入探索全注意力层数量的压缩极限，进一步释放超长上下文处理的效能潜力。相关成果也将面向学术界与工业界开放，旨在为混合稀疏注意力方向的研究与实践，提供可借鉴的技术路径与实践经验。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票