AI大模型在应对长文本场景时，存在一个不易察觉的显存瓶颈——处理一篇十万字文档，仅存储其全部内容便需消耗几十GB的显存。普通消费级显卡难以承载，即便勉强容纳，推理速度也将大幅下降至不可接受的程度。

放弃缓存以节省显存？这套新方案反其道而行之，不丢弃任何缓存，却实现了更高效的显存利用。

近期，英属哥伦比亚大学与微软研究院联合提出了一种创新方法——SeKV。该论文的共同作者何宇航，本科毕业于武汉大学，博士毕业于牛津大学，现任微软研究院高级研究员。

该方法可将长文本处理时的显存占用降低超过50%，同时保持模型回答准确率几乎不变。在128K长度的文本测试中，显存占用相比完整缓存减少了一半以上。当仅使用原始显存十分之一时，其准确率较现有语义压缩方案平均提升了近六个百分点。

更关键的是，SeKV无需依赖更昂贵的硬件，也无需重新训练大模型。只需在现有模型上添加一个参数规模不足基础模型万分之五的小模块，即可实现上述性能提升。这意味着，原本无法处理100K以上长文本的24GB显存消费级显卡，在应用SeKV后能够处理接近300K长度的文本。

（来源：相关论文）

SeKV旨在解决大模型处理长文本时的核心瓶颈——模型在读取过程中，会将每个词的键值对缓存下来，供后续生成环节反复调用。这一缓存机制不可或缺，否则模型将遗忘之前读过的内容。然而，问题在于缓存大小随文本长度线性增长：从一万字增加到十万字，缓存从几个GB飙升到几十个GB，而显存的发展速度远远跟不上文本长度的膨胀速度。

传统方法大多采取取舍策略：要么直接丢弃部分缓存，仅保留最近或最重要的内容。这固然能节省显存，但被丢弃的信息将永久丢失。若后续问题恰好涉及被丢弃的部分，模型只能依赖猜测。另一些方法则将缓存压缩为摘要，但压缩决策在阅读完成的瞬间便固定下来，后续需要细节时无法解压恢复。

SeKV则另辟蹊径：按语义将内容切分为段落，每个段落仅保留一个浓缩摘要置于显存中用于快速检索，而详细内容则经压缩后存放于CPU内存。当模型发现某段落与当前问题相关时，再从容将详细数据调出。如此无需丢弃任何信息，所有文字均在，只是大部分时间处于压缩状态。显存中仅存放摘要和少数关键锚点——类似于图书馆书架上只陈列目录和索引，读者需要时再查找具体位置。

在该方法中，语义边界上的关键锚点如同书籍的封面和标题，始终置于显眼位置。这好比在商场网红书店找书，书店为吸引顾客会将封面陈列出来，自然便于寻找。

（来源：相关论文）

将详细内容压缩至原体积的二十分之一而不丢失核心信息，所依赖的是奇异值分解——一种从数据中提取主要特征的数学方法。每个段落的键值矩阵被分解为三个小矩阵，仅保留最重要的几十个成分。当需要恢复某个段落时，只需将这三个小矩阵相乘，即可获得一个足够接近原始内容的近似版本。如果你平时进行内容创作，可能有过将文章链接生成二维码的经历，受众在需要时用手机扫码即可查看。上述恢复过程与生成二维码的原理是一致的。

整个系统仅需训练一个极小的路由模块，使其学会判断哪些段落与当前问题相关。该模块参数数量仅为基础模型的万分之五，在八张A100显卡上训练两到六小时即可完成，并且可直接应用于现有大模型，无需重新训练或微调。

从实际应用场景来看，这项技术将带来显著优势：无论是律师或法务人员审阅数百页合同，还是科研人员通读数十篇论文，亦或小说爱好者让AI总结一部长篇小说，这些需求将不再受制于显存限制。SeKV提供了一个可行的折中方案，通过牺牲少量精度换取成倍的显存节约，从而将这道门槛大幅降低。

参考资料：
相关论文：https://arxiv.org/pdf/2606.31145