大模型处理长文本时，推理成本始终是难以回避的痛点——序列越长，计算量按平方级增长，模型部署成本急剧升高。更棘手的是，模型容易“分心”，无关上下文增多会直接拉低输出质量。

为破解这一困局，近期研究提出了一种全新的RAG提示策略——超位置提示（Superposition Prompting）。该方法可直接应用于预训练Transformer模型，完全无需微调，属于轻量级的高效工具。

核心思路：将输入编织成有向无环图

其核心理念是将输入的文本段落（例如系统提示、文档和用户查询）构建为一个有向无环图。简而言之，每个节点代表一段标记序列，边则标示注意力依赖关系。如此一来，模型能够在并行处理所有与查询相关的文档的同时，借助路径剪枝机制果断丢弃无关上下文。通过利用LLM自身的logits即可判断哪些内容应当剪除，从而显著提升长上下文推理的效率。

加速推理：缓存、并行与智能剪枝

为进一步提速，该方法整合了多项优化技术。例如路径缓存——将键值嵌入缓存起来，在线服务时直接复用，免去重复计算。再如路径并行化——由于各路径彼此独立，可并行计算它们的KV缓存和logits，从而缩短用户感知的响应时间。此外，还引入了平衡位置分配策略，确保每个标记在图中拥有恰当的位置；以及基于贝叶斯路径显著性的剪枝方法，利用概率论精准量化文档与查询的相关性，做到该留则留、该弃则弃。

图2 超位置提示与传统（Naive LLM-RAG）提示范式的对比。正方形代表一个标记（token），箭头表示注意力依赖关系。传统方法为“链表”风格的有向无环图（DAG），而超位置提示则重新安排标记依赖关系，使所有文档能够独立处理。凭借这种依赖结构，可轻松利用LLM的logits剪枝无关上下文，从而增强长上下文推理能力。该依赖结构还允许更快速的提示处理，原因在于新缓存机制以及KV缓存和logit计算的并行机会（每个灰色框代表LLM处理的一个逻辑“批次”，并重用上游KV缓存）。

图3 “在线服务”阶段必须计算的内隐注意力依赖关系（(b)-(f)中颜色对应图2中的标记段颜色）。请注意各项优化如何通过剪枝、预计算和并行化来减轻在线服务时的计算负担。值得再次强调的是，实际推理并非针对长序列的稀疏注意力，而是对多个不同短标记段进行密集注意力计算。

实验效果：速度与精度双双跃升

实验数据极具说服力。在NaturalQuestions-Open数据集上，使用MPT-7B指令调整模型，超位置提示相比传统RAG，计算时间减少了93倍，同时准确率提高了43%。在多跳推理数据集MuSiQue上，同样取得了出色效果。更重要的是，所有这些提升均无需额外训练或微调模型——仅凭提示设计和结构优化就能实现如此显著的性能飞跃。

下图展示了NaturalQuestions-Open上的对比结果：超位置提示在准确性与加速两方面均明显超越基线。对于包含超参数的基线（BM-25、TF-IDF、Contriever），图中展示了它们最优准确率配置下的表现，超位置提示的优越性一目了然。

在MuSiQue数据集上，各类模型的检索增强生成准确率对比。对于超位置提示，t表示迭代超位置的次数，k表示每步选择的前k个（即未被剪枝的文档）。

Superposition Prompting: Improving and Accelerating Retrieval Augmented Generation
https://arxiv.org/pdf/2404.06910.pdf