大型语言模型通过海量数据预训练获取知识，并借助问答形式为用户提供服务，这已成为业界常见做法。然而，模型的知识边界始终受限于其训练数据集。为了突破这一局限，使模型具备“临时查阅资料”的能力，检索外部信息以丰富输出，RAG（检索增强生成）技术应运而生，成为关键解决方案之一。

不过，一个明显的短板也随之凸显——随着上下文信息的不断堆积，模型解码的时间会显著延长，用户等待答案的耐心可经不起这样的考验。

因此，来自阿姆斯特丹大学、昆士兰大学和NA VER实验室的研究团队联合打造出一项创新方案——COCOM（Context COmpression Model），这是一种高效的上下文压缩方法。

论文地址：https://arxiv.org/abs/2407.09252

在传统RAG流程中，为生成准确回答，系统需要处理海量上下文信息——这些信息可能来自多份文档，每份都包含对最终答案有价值的线索。但将如此冗长的文本一股脑儿喂给大模型，解码时间自然飙升，因为模型需要消化更多输入数据，消耗的算力和推理时间随之增加。

COCOM的核心思路，是将长文本上下文压缩为一组更紧凑的上下文嵌入。 这些嵌入可视为原始文本的精华提炼，以更高效的方式传递给大模型。这样一来，既能大幅削减模型输入规模，又能维持甚至提升生成内容的质量。

具体如何实现？COCOM内部配备了一个转换器，负责对输入上下文进行分词处理，将其转化为一系列令牌。随后，这些令牌被送入压缩模型，由它将这些令牌最终转换成一组上下文嵌入。

在训练压缩模型时，研究者采用了两种预训练任务：自编码和基于上下文嵌入的语言建模。自编码任务旨在让模型学会将上下文嵌入“解压缩”为原始输入文本——这有助于模型理解如何高效地压缩与解压信息。而基于上下文嵌入的语言建模，则是训练模型依据压缩后的嵌入，去“预测”文本的后续内容——这能提升模型对嵌入信息的利用效率。

值得一提的是，COCOM还具备一个实用特性：压缩率可灵活调节。开发人员能通过调整压缩率参数，在“减少解码时间”与“保证答案质量”之间找到平衡点。例如，低压缩率会生成更多嵌入，保留更多原始信息，但解码时间也随之增加；高压缩率则减少嵌入数量，加速解码，但可能轻微牺牲答案质量——具体取舍需根据应用场景决定。

更值得关注的是，COCOM还能处理多个上下文场景。在知识密集型任务中，经常需要从多份文档中提取信息来生成答案。COCOM可以为每个文档独立压缩上下文，并将生成的嵌入向量打包发送给大模型。 这样一来，即使面对多文档场景，模型也能保持高效运行。

在Natural Questions、MS MARCO、HotpotQA这三个测试平台上，研究人员将COCOM与现有压缩方法（如AutoCompressor、xRAG、ICAE）进行了对比。结果相当亮眼：COCOM的推理效率提升了5.69倍，内存占用减少了1.27倍。