概括而言，RAFT（检索增强微调）的核心机制是：当大语言模型接收到一个问题以及一组检索到的文档时，它需要主动识别并忽略那些对回答问题毫无助益的文档。这些被过滤掉的文档，在专业术语中被称为“干扰文档”。

近期研究致力于减少推理阶段引入的噪声，即检索到的信息与当前上下文完全无关的情形。这种干扰令人困扰，一旦注入大量无关内容，模型容易产生偏差。此外，有效控制上下文注入长度至关重要，它直接影响到令牌消耗、响应超时以及系统负载等实际性能指标。

RAFT还融合了链式思维（Chain-of-Thought）方法，这自然衍生出另一个趋势：当前的RAG实现已不再局限于简单的上下文注入，而是积极融入提示工程（Prompt Engineering）技术。因此，训练数据的格式受到广泛关注——每个数据点包含一个问题（Q）、一组文档（Dk），以及对应的链式思维风格的答案。

特定领域的实现

要使大语言模型适配特定领域，当前主要有两种途径：一是通过RAG进行上下文学习，二是进行有监督微调。RAG的优势在于模型可在回答时随时查阅文档，但缺点也很显著——它无法学习领域内的深层模式，也无法提前接触测试时需要用到的文档。微调则相反，它能从文档中提取更广泛的规律，更好地对齐终端任务与用户偏好。然而，现有微调方法要么在测试时完全不使用文档，要么忽略了训练过程中检索环节本身的不完美性。

因此，RAFT旨在打通微调与RAG的优势。通过有监督方式，在训练阶段模拟不完美的检索场景，使模型学会“在开卷考试中既参考材料又不被干扰项误导”。由此收集到的结果，通常就是微调阶段的最佳样本。

以数据为中心

RAFT的核心工作集中在数据准备环节。每个训练数据点包含一个问题（Q）、一组文档（Dk）以及对应的链式思维答案。这种设计本质上回应了一个核心问题：如何让预训练的大语言模型高效适应特定领域的检索增强生成（RAG）任务？

打个比方，传统微调方法好比闭卷考试前的死记硬背——要么完全依赖记忆，要么练习时从不翻阅资料。而纯上下文检索的方法则像没预习就直接参加开卷考试，虽可现场查资料，但缺乏对领域知识的系统理解。RAFT的做法是：在模拟的不完美检索场景中，让模型一边参考文档一边进行问答训练。这好比给学生同时提供教材和模拟卷，且教材中故意混入几本无关的书籍——训练的目标就是“筛选出有用信息”的能力。

参考上图，RAFT方法的核心是让模型学会从正面文档与负面文档的混合集合中，找到正确的“阅读材料”。这与标准RAG设置不同——标准RAG直接使用检索器的输出进行训练，模型既需记忆也需阅读；而RAFT刻意引入干扰文档，迫使模型提升抗噪声能力。

结论同样令人瞩目：研究表明，一个规模较小的微调模型在特定领域的问答任务上，表现足以与通用大模型比肩。这充分说明，只要方向正确，数据质量比参数规模更为关键。