32倍压缩性能反超25点！长文本压缩翻车难题破解
COMI团队 投稿
量子位 | 公众号 QbitAI
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
为什么现有上下文压缩方法在高压缩率下集体“翻车”？当模型把32K长文本压到1K，为何性能断崖式下跌？
长文本压缩中容易保留大量“高度相似却重复”的内容，陷入“信息内卷”：看似保留了相关片段，实则堆砌了语义雷同的冗余token，反而误导模型生成错误答案。
来自阿里巴巴未来生活实验室的研究团队发现，这背后是压缩目标的根本错位：现有方法只关注“相关性”，却忽略了“多样性”。当多个高度相似的token同时被保留，它们非但不能叠加信息量，反而会相互干扰（相关不等于正确），让模型在高度相似的冗余信息中迷失方向。
为破解这一困局，研究团队提出一个颠覆性观点：高质量的压缩，需要同时优化“与查询的相关性”和“信息单元间的多样性”。基于此，他们推出创新框架COMI（COarse-to-fine context compression via Marginal Information Gain），通过“边际信息增益”指标与粗到细压缩策略，在32倍高压缩率下仍能精准保留多样化的关键证据链，论文已中稿ICLR 2026。
压缩的“智能标尺”：边际信息增益（MIG）
研究团队发现，现有压缩方法存在盲区：过度依赖相关性导致冗余堆积，而忽略了token间语义相似性引发“信息内卷”。为此，他们使用边际信息增益（MIG）指标，将压缩决策从“单维度相关性”升级为“相关性-冗余性”双维度权衡：
MIG = 本单元与查询的相关性 - 与其他单元的最大相似度
这一指标如同为每个token配备“信息价值计分卡”：既奖励与问题高度相关的片段，又惩罚与已选内容高度重复的片段。
粗到细自适应压缩，让每比特都“物有所值”
有了智能标尺，如何实现精准压缩？COMI采用两阶段策略，像经验丰富的编辑一样“先谋篇布局，再精雕细琢”
第一阶段：粗粒度组重分配——动态调配“压缩预算”
将长文本划分为等长片段后，COMI不再“一刀切”地均匀压缩，而是基于组间MIG动态调整各段压缩率：信息密度高、冗余度低的片段（如包含关键证据的段落）获得更宽松的压缩率；而信息稀疏或高度重复的区域则被大幅压缩。这种自适应分配确保有限的压缩预算精准投向“高价值信息区”
第二阶段：细粒度token融合——加权融合避免“信息稀释”
在每个片段内部，COMI根据token级MIG进行加权融合：高MIG token（相关且独特）在融合中占主导权重，低MIG token（冗余重复）被自然稀释。这一机制有效避免了传统平均池化导致的“关键细节被平滑掉”的问题，使压缩后的表示既紧凑又富含多样化信息
整个框架在NaturalQuestions、HotpotQA等5个数据集上仅需单次训练，即可执行问答、摘要等多种长上下文任务。
实践出真知：高压缩率下的优越性能与深刻洞察
下游任务表现卓越
在32倍压缩约束下，COMI以Qwen2-7B为基座，在NaturalQuestions上实现49.15的Exact Match（EM）分数，比次优基线高出近25个点。即使面对32K超长文本（NarrativeQA），COMI仍能稳定保留推理链关键节点，证明其在极端压缩场景下的鲁棒性。
压缩不是“删减”，而是“提纯”
COMI甚至能提升原生支持256K上下文的Qwen3-4B性能。在NaturalQuestions上，32倍压缩后的COMI达到28.89的F1分数，远超直接输入完整上下文的16.90。这证明高质量压缩不仅是“减负”，更是通过消除冗余干扰实现“信息提纯”，让模型更聚焦于核心证据。
效率与效果兼得
在32倍压缩下，COMI实现端到端推理速度2倍以上提升，且压缩阶段仅引入轻量级开销（NarrativeQA任务中压缩耗时2.76秒，生成仅0.50秒），为工业级部署铺平道路。
总结
COMI工作为长上下文高效推理提供了新范式：
它通过边际信息增益这一简洁而深刻的指标，将压缩目标从“保留相关片段”升级为“保留相关且多样化的信息”，从根本上破解了高压缩率下的性能瓶颈。粗到细的自适应策略则确保了压缩过程既符合全局信息分布，又保留局部语义细节。
这项研究证明，真正的高质量压缩不是简单的“删减”——让每一比特都承载多样化的信息价值，为大模型走向轻量化、实用化迈出关键一步。
论文标题：
COMI: Coarse-to-fine Context Compression via Marginal Information Gain
论文链接：
https://arxiv.org/abs/2602.01719
代码链接：
https://github.com/Twilightaaa/COMI
相关攻略
这几天，我发现网上还是有很多人在骂罗技。感觉这事儿闹得挺大啊，眼看着都快一个星期了，不仅热度没过，网友还把罗技之前的黑料陆陆续续全给翻出来了。事情要从罗技的王牌 —— GPW 系列鼠标说起。因为这个
知名教育网红博主张雪峰猝然离世引发全网惋惜，没想到段子手留几手反向操作，连发了两条微博暗讽张雪峰，结果因为争议太大翻车删博，评论区彻底沦陷。随着争议加大，目前留几手微博账号已经被禁止关注，而禁关意味
等了好几年，19禁爽剧《禁忌女孩》终于迎来全新衍生剧 《禁忌女孩：重置》 。如果你刷过第一季，大概率对她那句名台词还有印象：“百因必有果，你的报应就是我。”可以不夸张地说，这部剧的设定很暗黑、很黄
黑色校服，清冷脸庞，标志性的阴笑，还有那句霸气十足的“百因必有果，你的报应就是我”——娜诺曾是无数剧迷心中的暗黑女神。等了好几年，《禁忌女孩》终于推出全新衍生剧《禁忌女孩：重置》。开播消息一出，全网
COMI团队 投稿量子位 | 公众号 QbitAI为什么现有上下文压缩方法在高压缩率下集体“翻车”？当模型把32K长文本压到1K，为何性能断崖式下跌？长文本压缩中容易保留大量“高度相似却重复”的内容
热门专题
热门推荐
《王者荣耀世界》说剑任务BOSS讨伐：稷下群山天雷隼打法详解 在《王者荣耀世界》的说剑任务中，稷下群山区域的天雷隼是许多玩家遭遇的强力挑战。这只BOSS攻击迅猛，机制独特，常常让挑战者感到棘手。别担心，本篇攻略将为你带来详尽的打法解析与实战技巧，帮助你轻松完成讨伐。 《王者荣耀世界》说剑任务全BOS
ELBOArt是什么 在AI绘图工具层出不穷的今天，如果有一款产品，能让你动动手指就把脑海里的角色瞬间变为图像，是不是听起来就很有吸引力？ELBOArt正是这样一款独特的工具。它的核心“角色创造器”（CharacterCreator），本质上是一个高度智能的转换接口，用户只需通过简单的点击和描述，就
企业数智化转型的深层需求与核心挑战在数字经济时代浪潮中，大型企业的转型升级已超越单一的业务流程优化或信息系统升级范畴。它们面临的核心挑战，是如何在瞬息万变的市场环境中，系统性实现商业模式、运营模式及组织模式的全面创新。传统ERP系统虽稳固了企业运营底盘，但在应对敏捷创新、生态协同及用户体验驱动等新需
Dumm-E是什么 如果说当前AI赛道的主流是竞相追逐“更聪明”、“更全能”，那么Dumm-E的出现，无疑是一次有趣的“逆向飞行”。这款由创意团队Leo Rivas和Dummy Bearz打造的AI聊天机器人，干脆打出了“世界上最笨的AI”的旗号。它的目的不是帮你解答难题或处理工作，而是纯粹为了逗你
CentOS系统LUKS磁盘加密完整教程：为数据安全加上数字防护锁 在CentOS服务器与工作站环境中，保障敏感数据安全是系统管理的重要环节。文件系统级别的磁盘加密技术，尤其是LUKS（Linux统一密钥设置）标准，已成为企业级数据保护的基石。本指南将详细解析如何在CentOS系统中使用LUKS对分