1. 翻译的荒谬：RAG 的隐藏成本

先别急着下结论，请仔细审视你最喜欢的那套 RAG 系统——真的，要仔仔细细地看。

在那条精心设计的流水线深处，一个语言模型正在生成丰富的高维隐藏状态。这些状态随后被压缩为一串字符。紧接着，另一个神经网络将字符串重新编码成另一个高维空间。这个向量被保存下来。等到需要时，另一个向量会被取出并与之比较。获胜的字符串被抽出、拼接好，然后交给第三个模型，让它费力地从这些字符里重建隐藏状态。

我们称之为“记忆”。更诚实的说法是：这不过是一场精心设计、高延迟的电话游戏，每个玩家都是神经网络。

整条链路一目了然：

Hidden State → Generate Text → Embed Text → Store Vector → Retrieve Vector → Append Text → Recompute Hidden State

把这串箭头链读两遍。七个步骤中，只有两个是神经网络原生的。另外五个之所以存在，仅仅是因为我们目前还无法持久化神经状态本身——于是我们建了一整个产业，每次需要它回来时，都从文本重建它。向量数据库、嵌入模型、重排序器、分块启发式算法、检索评估器——一个完整的生态系统，都是为了绕开一个缺失的功能。

这绝不是在批评建造它的工程师们。凭他们手里的原始工具，RAG 确实是正确的解法。但我们得对自己诚实：它究竟是什么？一个高开销的翻译层，而非真正的记忆系统。

这不是反对 RAG 的论点。而是说：RAG 解决的是临时性的系统局限，它并不代表 AI 记忆的最终架构。

2. 上下文窗口的幻觉：容量不等于持久性

你肯定已经在心里嘀咕了：“你说这些都没用，直接用两百万 token 的上下文窗口，把东西全倒进去不就行了？”

有点道理。但，还是不行。

更大的上下文窗口解决的是容量问题，而不是可移植性问题，也不是持久性问题。而且，在未来十年应用 AI 的那些关键场景里，它尤其解决不了这些。

设想一下：一个自主智能体把任务交给另一个；或者一个边缘设备（比如无人机、手机、机器人、网络节点）在不同计算集群之间移动；或者一个多智能体流水线，其中路由、工具调用、安全过滤和最终输出分别运行在不同机器的不同进程里。

在所有这些场景中，两台计算机之间的传输单元不可能是一个两百万 token 的提示。带宽成本高得吓人。重新分词会浪费劳力。而且接收方还得把整个对话重读一遍——对每个 token 做一次完整的预填充——才能恢复发送方推理状态的任何痕迹。即便在现代硬件上，这也不是免费操作。这恰恰就是最初的问题，只不过换了个更大的上下文窗口。

一个更大的上下文窗口就好比一本更好的书。但它无法让你瞬间传送你的上一个想法。

3. 系统工程师的现实：延迟预算决定一切

提示工程只管问：“模型给出的答案对不对？”

系统工程则从问“多少毫秒？”开始。

下面是一个粗略的、示意性的 RAG 单次调用延迟预算。正是那种当你的延迟服务等级协议不再慷慨时，你在餐巾纸背面划拉出来的数字：

这些是阻塞的、串行的操作。在解码开始之前，你必须先把提示重建好。在网络跳转和向量搜索返回之前，你无法重建提示。那一列里的每一毫秒都必须等前一个完成。

在聊天机器人里，135 毫秒根本感觉不到。没人会抱怨。

但在连续机器人控制回路、触觉反馈系统、自动驾驶堆栈，或者无线基站之间进行无线电接入节点切换的场景里，135 毫秒根本不在预算之内。它本身就是整个预算——全花在管道上了，而模型还没说出任何有用的话。

这就是逼着人们行动的地方，不再只是学术讨论。直接 GPU 到 GPU 传输潜状态，跳过了嵌入步骤、到向量存储的网络跳转、检索查询、重排序器和提示重建。你不是让每个步骤更快，而是把它们从流水线中移除了。在每一毫秒都已经有主了的领域里，这才是唯一算数的“加速”。

4. 记忆的进化弧：临时桥梁终将退场

这已经不是这个领域第一次掏空一个翻译层了。粗略算来，这已经是第五次了。

每个阶段都曾是多少人的终极方案。但最终没有一个留在了那个位置。

Raw Files → Relational DBs → Search Indices → Text Embeddings → Vector Search → Latent Persistence

这条链里的每个阶段，都以比前一阶段更高的抽象层解决了检索问题，而每个阶段最终都不再是主要接口。关系型数据库没有消失——它们悄悄成了所有东西下面的存储层。搜索索引没有消失——它们成了更大平台中的一个功能。文本嵌入没有消失——它们开启了向量搜索时代。每一层都继续存在。只是不再成为构建新应用的地方。

向量搜索在它真正设计的领域里表现卓越：企业文档搜索、语义知识图谱、生物序列检索、代码发现、推荐系统。它不会消失。可能发生变化的是它作为 AI 系统默认对话记忆机制的角色。那个角色是一座临时桥梁，由模型还无法原生持久化自身状态这个事实支撑着。

在这条链上的每一个“临时桥梁”最终都不再是主要接口。没有明显理由认为这一个会是例外。

5. 实现的现实：潜状态持久化为何如此困难

这并不是说“直接持久化潜藏状态”就很容易。事实上，这极其困难。

文本是一种稳定、通用、标准化、模型无关的交换格式。相比之下，潜藏表示是模型特定的，并且在架构之间通常不稳定。单是这一事实就让互操作性成为核心研究挑战，而不是一个已解决的旁枝末节。

直接记忆注入不是你随手加到技术栈里的一个 API 调用。在两模型之间移动一个活的神经状态，你得同时处理好几个不愉快的细节：

• 架构兼容性。层数、隐藏维度、注意力布局、KV 缓存格式——必须对齐。
• 精度匹配。把 fp16 状态送进 bf16 模型，数字先是一点一点漂移，然后就不只是漂移了。
• 层归一化和残差缩放。两个拓扑完全相同的模型也可能生活在不同尺度缩放的隐藏空间里。
• 位置和旋转嵌入对齐。RoPE 偏移、绝对位置、序列位置记账。任何一个出错，传输过来的状态解码出来就是一本正经的胡言乱语——这大概是记忆系统能有的最糟的故障模式。

这就是为什么“直接持久化隐藏状态”一直停留在研究课题，没有成为包装好的产品。它的互操作性协议比 RAG 的更难，而正是这个原因让 RAG 先被交付了。文本是通用的后备协议，因为它剔除了所有麻烦的东西。

像归纳式潜状态上下文持久化（ILCP）这样的研究方向，正试图解决这些协议对齐问题——在一端学习一个压缩的、可移植的源端状态表示，在另一端学习一个接收端投影，将其映射回目标模型的空间。这种形状的方法正在相邻领域被积极探索，包括移动网络——在那里，传输的潜状态必须在严格亚秒级时间预算内存活于接收基站的变化。不过，诚实地说，目前这些框架只在严格的架构兼容性下才能工作——通常两端是相同模型——而解除兼容性约束是一个开放的研究问题，并非已解决的问题。

这是一个比“向量数据库已死”窄得多的论断。也是一个更有用的论断。

6. 结论：RAG 的终极归宿

下面是不加夸张的预测版本：

随着持久化神经状态逐渐成熟，文本 RAG 将越来越成为互操作性层，而不是 AI 智能体的主要记忆机制。

文本检索将继续做它真正擅长的工作：站在机器与另一个不共享其架构的机器（或人类）对话的边界上。这才是 RAG 栈的真正优势，它不会消失。

将会褪去的是那种假设——认为一个 AI 系统把记忆传给另一个 AI 系统的唯一方式就是通过一串字符。这个假设五年前是合理的。每过一个季度，它的合理性就少一分。

RAG 从来不是终点。它是我们所有人一边等着真正的东西到来，一边搭建的临时方案。

几十年来，计算机以符号存储知识。AI 也短暂地做了同样的事。下一代 AI 系统，可能终于会开始用神经网络的方式去记住——而不是人类书写的方式。

免责声明：本文中的插图使用 AI（Claude Opus 4.8）生成。它们用于示意，并非摄影图片，且图片内部可见的任何标签都是风格化的而非权威性的——精确的函数名、指标值和架构细节请参考正文和代码本身。