LongCat AI 优化长文信息密度,并非简单地依靠文字堆砌,而是通过一套“精准萃取 + 动态压缩 + 模态对齐”的组合策略。其核心思路是在读取过程中完成信息蒸馏,而非先读完再回头总结。

换句话说,它会自动过滤冗余、重复、低相关性的内容,仅保留对当前任务真正有价值的高质量片段。类比于编辑专业手册,直接删除所有举例说明中的背景铺垫,只保留操作步骤和关键参数,效率自然大幅提升。
那么,这种信息密度优化具体是如何实现的?核心依赖以下三个底层能力。
LoZA 注意力机制:只聚焦关键片段
LongCat 的 LoZA(ZigZag Attention)机制并非扫描全文。它通过可学习权重 α 自动识别最相关的段落、句子甚至词组。例如,处理一份10万字的合同时,模型会跳过标准条款模板,重点锁定“违约责任”、“付款周期”、“管辖法院”等核心区块,通常仅5到8个。然后,将这些区块结构化压缩为带语义标签的紧凑表示,大幅减少无用计算。
DiNA 多模态统一编码:图文音协同提纯
当长文包含图表、截图或语音备注时,LongCat-Next 不再将图像视为附件。它使用 dNaViT 分词器将图像离散化为与文字同源的 Token。例如,一张流程图可被转换为几十个视觉 Token,与旁边的文字描述共同参与注意力计算。模型能识别出“图中第3个节点对应文字第2段第4句”,从而合并语义、剔除图文重复表达,实现从简单的文字协同到真正的图文融合的升级。
GA 智能体上下文管理:边读边忘,边用边存
处理超长文档(如1M token的技术白皮书)时,LongCat 启用 Goal-Aware(目标感知)机制。每轮推理仅加载与当前子任务相关的上下文窗口,例如“提取API错误码列表”。同时,它会把已确认的关键结论(如“错误码401=未授权”)固化为轻量记忆单元,替代原始段落。这样既避免了信息过载,又保障了逻辑连贯性——模型不是死记硬背全文,而是动态管理知识流。
总而言之,LongCat 的优化逻辑可概括为:它将长文本视为动态的知识流,而非静态的数据块。读取到哪里,密度就优化到哪里,这才是其核心优势。
