在当下大语言模型（LLMs）广泛用于问答、对话等场景的趋势下，如何高效整合外部知识、增强模型对复杂问题的理解与回答能力，已成为RAG（检索增强生成）领域的核心挑战。通俗地说，就是让模型在面对需要多源信息拼接的复杂问题时，能够真正做到“精准检索、有效记忆、优质回答”。
近日，来自清华大学、中国科学院大学、华南理工大学、东北大学以及九星（AI9Stars）的联合研究团队，提出了一种全新的自适应RAG方法——DeepNote。该方法的一个显著特点是首次引入“笔记（Note）”作为知识载体，旨在实现更深入、更持久的知识探索与整合。实验数据表明，无论是开源还是闭源模型，接入DeepNote后，在复杂知识推理任务中均能获得稳定且显著的性能提升，最高可达20.1%。
研究动机：RAG 为何仍力不从心
RAG技术通过引入外部知识（如维基百科）大幅缓解了大模型的幻觉和事实错误问题。然而，传统Vanilla RAG方法仅支持单次检索。试想，如果一个问题需要跨多个实体或事实进行推理，简单的“一问一检索一答”模式显然无法胜任。这种知识匮乏现象在多跳问答、长文本问答等复杂任务中尤为突出。
为应对这些复杂场景，部分研究开始转向多轮检索RAG。然而，多轮检索常常不加筛选地执行多次检索，容易引入大量无关或噪声段落，导致检索结果冗余，反而降低最终回答质量。为构建更高效灵活的RAG系统，近期的工作开始探索自适应RAG，引入动态决策机制，让模型根据反馈判断是否继续检索。但这类方法仍存在两个核心缺陷：
- 检索与生成耦合过紧：每次检索后立即生成答案，模型只能基于当前轮次的知识回答，无法有效整合前后信息。
- 检索策略决策能力不足：让大模型自行判断“是否继续检索”，容易偏离实际知识需求，遗漏关键信息。
这些问题最终归结为一个核心困境：模型缺乏“知识持续积累”的能力——既无法感知是否学到了新知识，也无法真正“记住”和“利用”此前获取的信息。
我们的解决方案：DeepNote
为解决上述难题，我们提出了 DeepNote，一种以“笔记”为核心、以“知识持续积累”为目标的深度检索增强生成框架。其核心逻辑简洁明了：利用“已记录的知识”引导检索，并基于“最优笔记”生成答案。
DeepNote 主要包含三个阶段：
- 1️⃣ 笔记初始化（Note Initialization）：系统基于初始问题和初次检索结果，构建一份初步笔记，作为知识积累的起点。这份笔记由大语言模型自主整理成结构化知识表示，后续所有检索与判断均依赖于此。
- 2️⃣ 基于笔记的自适应检索（Note-Centric Adaptive Retrieval）：系统利用当前的“最佳笔记”生成下一轮检索的查询，并评估新获取内容是否带来实际知识增益。仅当模型判定新知识“值得更新”时，才更新笔记并继续下一轮；否则终止检索。这一机制确保每轮检索目标明确，信息持续积累。
- 3️⃣ 基于最佳笔记的答案生成（Note-Informed Answer Generation）：最终，系统使用已积累的“最佳笔记”生成回答，确保答案来源清晰、内容完整、逻辑连贯。
这一设计模仿了人类处理复杂问题的典型策略：边查阅边记录、反复比对，直至知识充分后再做出判断。
DeepNote 与主流方法对比
为了更直观地展示 DeepNote 的特点，我们整理了一张和现有代表性方法的能力对比表：
说明：
- 多次检索：是否具备多次检索能力。
- 自适应检索：是否能根据当前信息动态决定是否需要进一步检索以及检索什么。
- 模型训练：是否对不同阶段进行了针对性训练或偏好优化。
- 一次性知识总结：是否在检索后执行一次性知识总结。
- 迭代知识总结：是否支持在多轮检索中多次更新、积累、总结知识。
显而易见，DeepNote 是当前唯一在自适应检索控制、自适应知识积累与更新、模型优化这三大核心维度上同时实现系统性突破的方法。该框架不仅填补了自适应检索与知识积累之间的空白，更在复杂知识任务中展现出前所未有的探索深度与广度，标志着自适应RAG技术迈入了新阶段。
实验结果：显著超越现有方法
我们在五个具有代表性的问答数据集上进行了系统评估：
- 多跳问答（复杂）：HotpotQA、2WikiMQA、MusiQue
- 长文本问答（复杂）：ASQA
- 短文本问答（简单）：StrategyQA
结果清晰可见：DeepNote在所有任务上均超越主流RAG方法，相比基础RAG，性能提升最高达+20.1%。即使采用中小参数规模的模型，也展现出强大的能力和泛化性。同时，团队构建了高质量训练数据集DNAlign，并结合DPO（Direct Preference Optimization）对模型进行精细调优，进一步增强了DeepNote在多任务流程中的指令遵循能力与表现。
核心优势分析
- ✅ 真正实现“知识持续积累”：每轮检索并非孤立的“抽样”，而是基于已有知识的不断拓展。
- ✅ 信息密度显著提升：与传统RAG相比，DeepNote的参考内容更加紧凑、相关性更高。
在知识密度与性能分析中，我们系统考察了不同RAG方法对知识密度和质量的影响。实验结果显示，Vanilla RAG检索的文档篇幅冗长，但知识密度较低，含有大量噪声信息；而初始笔记虽能通过单次总结有效提升知识密度，但性能提升主要源于检索内容总长度的缩减，且知识总量下降反而可能导致性能退化。相比之下，DeepNote在保持高知识密度的同时，显著提升了整体性能。这表明，基于笔记的自适应检索机制能够在降低噪声干扰的同时，持续积累更丰富、更精炼且相关性更高的知识，为最终生成提供更坚实的信息支撑。
- ⚙️ 支持自适应停止与深度控制：用户可设定失败阈值和最大步数，自由权衡探索深度与成本。
- ✅ 高通用性：可适配多种开源或闭源模型及检索器，适用于多种实际应用场景。
核心结论与意义
DeepNote将“记忆式推理”机制引入RAG系统，突破了传统RAG“检索-生成”一步到位的局限，使模型在复杂任务中具备更接近人类的信息整合与推理能力。该方法不仅适用于学术研究中针对复杂信息的深度问答，还有望拓展至法律、医学、教育等对准确性与知识整合要求极高的真实场景，具有广泛的落地潜力。