大模型服务的核心战场，正在发生一个明显的转向：从简单的一问一答，逐渐过渡到检索增强问答（RAG）、多文档摘要、长程Agent这类更复杂的任务场景。这些新型负载有一个显著的共同点——单次请求的prompt，通常由几十甚至上百个语义彼此独立的片段拼接而成。这些片段可能是检索出的文档内容、技能描述、记忆快照、历史交互轮次等等，被统一组装成数万甚至数十万token的超长上下文。
到了这个规模，预填充阶段就成了单次请求里最吃算力的“大头”，也自然成了服务商最头疼的成本瓶颈。更棘手的是，一旦缓存没命中，尾部首token延迟可能飙到几十秒，用户体验直接崩盘。
为了应对这个挑战，业界主要演化出了两条降本路径。第一条是位置无关缓存，它打破了传统前缀缓存对严格连续性的依赖。每个语义独立的片段只需要缓存一次，随后可以灵活拼接到任意前缀之后，非常契合RAG和Agent中动态组装prompt的场景。它的底层机制可以抽象成两个核心操作：沿token维度直接拼接的splice，以及通过重算少量token来恢复跨段上下文一致性的correction。另一条路径则是混合注意力架构——用线性注意力替代大部分全注意力层，把注意力计算复杂度从O(n²)压缩到O(n)，同时把无界的历史信息压缩成固定尺寸的循环状态。近期主流的几个生产模型，比如MiniMax-M1、Ring-2.5、Qwen3.5、Kimi-Linear，普遍把75%以上的网络层换成了线性注意力，只保留少量全注意力层来维持关键建模能力。以Qwen3.5-35B-A3B为例，它40层里就有30层是线性注意力设计。
矛盾其实就出在这儿了。当前的位置无关缓存机制，作用在逐token粒度的KV缓存上，而线性注意力层对外只暴露一个per-request级别的循环状态，完全缺失逐token层面的缓存接口。这意味着splice和correction在绝大多数线性层里根本没法执行。换句话说，混合注意力模型里占主体的线性层，恰好处于现有位置无关缓存能力的覆盖范围之外。在此之前，还没有任何系统能在混合注意力大模型上真正落地位置无关缓存。
小红书大模型推理团队联合北京大学、上海交通大学，共同提出了HYPIC，第一次在混合注意力大模型上实现了完整的位置无关缓存支持。这个系统在4个工业级混合注意力模型、5类典型工作负载上的实测数据显示：首token延迟平均降低了3.25倍；在相同SLO约束下，可持续QPS提升了1.66倍；任务质量相比完全重算只下降了1.71分。它的技术内核围绕三大协同机制展开：针对线性层的状态高效复用、面向全注意力层的跨段注意力修复，以及面向冷请求的段级并行加速。
第一项关键机制，是针对线性层的状态高效复用。HYPIC引入了一个叫“转移算子”的缓存单元，实现了常数时间的状态组合。一种比较朴素的PIC设想是：把两段各自的零初值末状态简单相加。这个策略在基础线性注意力里确实成立，但一旦碰到引入了衰减因子、门控机制或delta擦除等增强设计的先进线性注意力模型（比如RetNet、Mamba2、GLA、DeltaNet、GDN、KDA等），就会失效。被忽略的关键变量是一段内部累积的转移算子T_C——也就是该段所有token转移矩阵的连乘结果。真实的末状态应该满足S(C₁·C₂) = T(C₂)·S(C₁) + S(C₂)，简单相加恰恰遗漏了T(C₂)这一项，造成了结构性偏差。实验显示，在RetNet慢衰减头中，仅256 token长度下，误差就已经达到了状态范数的22%。HYPIC的关键洞察在于：T_C与零初值末状态S(C|0)都只由片段内部的token决定，跟前缀无关。因此，系统在片段首次prefill时同步缓存二元组(T_C, S(C|0))，复用时按照组合律左乘T_C再叠加S(C|0)，就能在常数时间内高精度还原任意前缀下的末状态，而且天然兼容所有线性注意力变体。实测在Qwen3.5-35B-A3B模型第0层上，组合后的状态与完全重算结果的差异仅为6×10⁻⁵，处于FP16数值噪声范围内。对于含因果卷积或RoPE位置编码的变体，HYPIC分别通过卷积状态热身与状态重旋转两个补丁完成了严格对齐。
第二项关键机制，是面向全注意力层的跨段注意力修复。HYPIC采用了“缝合窗口”机制来解决跨段注意力失准问题。尽管混合模型里全注意力层数量有限，但它们仍然需要位置无关缓存的支持。然而传统的选择性重算很难迁移过来——因为下方的线性层只保留了末状态，中间token的信息无法向上穿透。如果选择逐token缓存循环状态，或者从头重新递推，就会分别面临存储爆炸和计算冗余的困境。团队发现：KV拼接后的注意力偏差高度集中在各复用片段的起始处，其他区域几乎不受影响。这个现象跟全注意力模型中的attention sink特性一致，在混合架构里也同样存在。基于这个发现，HYPIC为每个内部片段头部w个token构建了一个缝合窗口，默认w=8。缓存时不纳入这个窗口，复用时在完整前缀下重算这些token，从而精准校正跨段注意力。由于实际片段长度通常远超512 token，缝合窗口的占比极小，重算开销完全可控。为了支撑这个机制，线性层在复用过程中需要实时计算缝合窗口自身的T和S，在推进running state的同时，把每个seam token的逐层输出前传到上层的全注意力层。
第三项技术，是段并行。它把“长冷请求”也纳入了可加速的范畴。缓存未命中是不可避免的——语料在持续演进，低频文档也会被剔除，而长冷请求正是尾延迟的主要来源。现有系统仍然把整条prompt视为一个单一单元，在单实例上串行执行所有冷片段的prefill，TTFT随O(n·|C|)增长。张量并行这类实例内优化虽然能提升单次前向速度，但扩展性有限——一条100k token的请求在TP-8配置下仍然需要17.7秒。而位置无关缓存已经赋予了每个片段自包含性：它的prefill结果只取决于内部token。HYPIC顺势提出了实例间段并行：Router实时探测每段缓存的命中状态，把冷片段并行分发到多个scatter worker，再由combine worker聚合各段结果生成完整的运行状态，从而把冷prefill的复杂度从O(n·|C|)降到了O(⌈n/m⌉·|C|+c)。为了最大化吞吐，HYPIC采用了LPT贪心策略来均衡worker负载，同时把每段计算与传输流水线化，避免combine worker被突发同步传输阻塞。段并行与实例内并行（TP/DP/SP）作用于正交维度，可以无缝协同。
这个系统已经在SGLang框架中完整实现，代码总量大约14k行（含Python与Triton），部署在8×H20节点集群上。评测覆盖了4个生产级混合注意力模型（Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B/122B-A10B）、4个公开基准数据集（HotpotQA、TriviaQA、MultiNews、GovReport）以及1条真实RAG生产trace。全量预热后，HYPIC相比Prefix Cache将p50 TTFT平均降低了3.25倍（各模型区间为2.77×–4.05×），质量损失微乎其微——16组“模型×数据集”平均只落后完全重算1.71分，在Qwen3.5-35B上甚至反超了0.47分。作为对照，未缓存T_C的朴素相加方案直接导致了66.9%的分数损失，这充分验证了T_C的关键价值。在生产RAG trace中，在1秒TTFT SLO约束下，HYPIC相比Prefix Cache将可持续QPS提升了1.66倍（1.49×–1.85×），峰值单卡吞吐提升了约1.3–1.5倍。在纯冷未命中路径下，一条32k token的请求，TTFT从单worker的2.83秒降到了8worker的0.49秒，实现了5.7倍加速，而且绝大部分收益来自近似线性扩展的scatter阶段。面对不均匀分片，LPT策略相比Round-Robin将TTFT从1.26秒压到了0.84秒（3.6× vs 2.4×）。系统开销也高度可控：构造(T_C, S(C|0))的一次性开销，在最复杂的稠密转移模型上，也只占prefill主前向的5.2%–6.7%，一次构造、多次复用，足以充分摊薄。
HYPIC第一次把位置无关缓存成功拓展到了混合注意力大模型上：通过缓存段级累积转移算子，实现了线性层的常数时间状态组合；通过轻量缝合窗口，修复了全注意力层的跨段对齐；再通过段并行，把长冷请求转化为可规模化加速的负载。它让RAG和Agent这类长上下文服务，在采用高效混合架构的同时，也能充分享受到片段级缓存复用带来的性能红利。研发团队表示，后续会重点探索分布式PIC管理与调度、多级缓存分层治理等方向，持续推动大模型推理向更快、更省、更具扩展性的目标演进。