Kimi+Linear新架构：长文本处理效率跃升，性能双突破解析
月之暗面公司近日发布了一项突破性的新型注意力架构——Kimi+Linear，这项创新技术有望重塑下一代智能体大语言模型（Agent LLM）的基础框架。团队同步发布了技术报告《KIMI LINEAR：一种高表达力且高效的注意力结构》，并开源了核心代码与预训练模型，相关验证已在内部完成严格测试。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
传统Transformer模型在处理长序列任务时面临两大核心挑战：其一，softmax注意力机制的计算复杂度与序列长度的平方成正比，当文本长度从千级扩展至百万级时，计算量将呈百万倍增长；其二，自回归生成过程中需缓存全部历史token的键值对（KV缓存），显存消耗随序列长度线性攀升，严重制约实时交互能力。尽管线性注意力通过数学变换将复杂度降至线性，但表达能力长期弱于标准注意力机制，尤其在短序列场景下性能差距显著。
Kimi+Linear采用创新的3:1混合层级结构，每三层Kimi Delta Attention（KDA）线性注意力层后接入一层多头潜在注意力（MLA）全局层。这种设计使模型在保持长序列处理效率的同时，通过周期性全局层捕捉远程依赖关系。实验数据显示，该架构在百万token上下文场景下，KV缓存占用较纯MLA模型降低75%，解码吞吐量提升达6倍，且在数学推理、代码生成等复杂任务中表现全面超越传统架构。
架构设计的核心突破在于KDA模块的两大创新：首先，引入对角化门控矩阵实现通道级遗忘控制，使每个特征维度可独立调整信息保留速率，这种精细化调控机制赋予模型类似旋转位置编码（RoPE）的动态位置感知能力；其次，开发硬件高效的块处理算法，通过约束对角加低秩（DPLR）结构将计算量减少50%，并充分利用GPU张量核心实现并行优化。测试表明，KDA算子效率较标准DPLR提升近一倍，在长序列合成任务中准确率显著高于基础Gated DeltaNet。
技术报告特别强调全局注意力层的"无位置编码"（NoPE）设计，所有位置信息处理责任由KDA层承担。这种分工使MLA层可专注于内容关联，避免传统位置编码对训练长度的过拟合问题。在128k上下文基准测试中，Kimi+Linear平均得分较MLA基线提升4.4%，在代码理解任务RepoQA中优势更为明显。强化学习场景下的数学推理测试显示，其训练准确率增速较纯MLA模型快37%，测试集性能提升幅度达15%。
效率对比数据显示显著优势：百万token解码场景下，单token生成时间从MLA的11.48ms压缩至1.84ms，支持批处理规模提升4倍；预填充阶段速度提升2.9倍，显存占用控制在纯MLA模型的25%水平。在1.4万亿token预训练后，模型在MMLU-Pro、Cieval等20余项基准测试中全面领先，数学推理任务AIME 2025得分较基线提升12%。
目前，开发团队已开源KDA模块的CUDA核心实现、vLLM集成方案及480亿参数模型的训练检查点。技术文档指出，该架构通过混合设计释放了循环神经网络（RNN）的潜在能力，其通道级衰减机制可视为数据驱动的动态位置编码，为解决长文本外推问题提供新思路。实验验证表明，精心设计的线性注意力与全局注意力混合模式，首次在性能与效率维度同时超越纯全注意力架构。
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票