RAG技术的核心：如何实现高质量的数据召回
先聊聊RAG技术的核心原理，其实并不复杂——本质是在外部维护一个资料库，进行大模型问答之前，先从这个资料库中找出相关内容，再一起输入到大模型中。听起来很直观，对吧？
但现实往往没这么理想。文档的复杂性，加上文档处理过程中很难做到真正高质量的处理，导致数据召回时常常会遇到各种难题。
因此，如何实现高质量的数据召回，成为RAG技术必须攻克的课题。今天就来探讨几种常见且实用的召回策略。
什么决定了RAG的上限？主要是两大难点：一是前期的文档处理，二是数据召回。大模型本身无法分辨输入文档的质量，因此数据召回只能通过人为的技术手段进行控制。换句话说，在文档处理还算过得去的前提下，RAG应用最关键的环节，就是解决好数据召回问题。
召回的本质其实很简单：快速准确地从外部资料库中找到与问题相关的数据。比如用户问“怎么学习人工智能”，就需要从海量数据里找到与人工智能相关的内容——书籍、视频、论文，各种形式都可能涉及。
举个例子。你想想，现在的知识体系，涉及的领域没一千也有八百。一个人不可能什么都懂。如果有人想快速入门一个领域怎么办？最直接的办法：上网搜索。但问题来了——资料那么多，搜索引擎怎么知道该返回哪些内容？这正是搜索引擎要解决的事，也是RAG需要解决的事。
RAG是基于神经网络模型做的语义检索，和传统的字符匹配方式检索有本质区别。最直观的体现就是向量计算——所以RAG系统通常会使用专门的向量数据库进行向量检索。
当然，这并不意味着RAG只能用向量数据库。RAG的本质是快速找到相关数据，至于数据用的是向量数据库还是传统关系数据库存储，其实无所谓。换言之，RAG和数据持久化方式无关，数据持久化只是RAG的一部分。
召回策略
RAG的召回策略有多种实现方式，最简单的就是基于传统字符匹配和搜索技术，以及当前很火的语义检索方式——向量计算。
什么是语义检索？
所谓语义，就是你不仅要听到我说的话，还要听懂我真正表达的意思。比如你问我“吃饭了吗？”这可能只是一句问候，也可能是他想请你吃饭顺便聊聊天，在不同的语境下，语义完全不同。
RAG的主要召回策略包括以下几种：
- 基于传统的字符匹配和分词检索
- 基于向量计算的语义检索
- 数据重排技术——Rerank
- 问题拆分技术
- 多路召回
基于传统的字符匹配和分词检索
在大模型出现之前，搜索引擎主要采用的就是字符匹配和分词技术。常见的技术载体是关系型数据库和ES这类分词检索工具。
在某些业务场景下，RAG依然会使用这些技术——原因很简单：技术体系成熟，解决方案完善，效果也不差。
基于向量计算的语义检索
基于向量计算的语义检索，常见于向量数据库或者支持向量计算的传统关系型数据库。它的本质是通过Embedding模型，把文本转化成向量，再通过欧式距离或余弦计算等方式，计算文本之间的相似度。
数据重排技术——Rerank
数据重排也是基于向量计算的一种方式。原理很简单：把第一步检索到的结果，通过重排技术找到相似度最高的数据。
举个例子：你搜索“孙悟空”，可能会得到很多相关内容——关于四大名著的整体介绍，关于三打白骨精的篇章，或者大闹天宫的核心内容。而你想了解的也许只是大闹天宫的部分，那么介绍四大名著的那部分内容就派不上用场了。
通过重排序，就能实现召回数据的二次筛选，让数据匹配更精准。
问题拆分技术
问题拆分的原理就更直接了：利用大模型来分析你的问题，然后生成几个相似的子问题，再用这些子问题去进行召回。这样可以大幅提高召回数据的精度。
比如用户问“我想去旅游，你有什么建议吗？”大模型可以帮你拆分成多个相似问题：“我想去一个风景优美的地方”“我想找个地方放松一下心情”“我想去看看祖国的大好河山”。
通过这种拆解，就能从多个维度从向量数据库或其他地方召回更多相关的内容，然后再用重排序技术，筛选出最匹配的那部分。
多路召回
多路召回的原理也很简单：通过多种不同的策略、模型或渠道，检索出多个相关的内容。它和问题拆分有点像，但区别在于——问题拆分是从问题本身入手，而多路召回是从检索策略或途径入手。
一个形象的例子：你想了解某个行业，可以从公网上查数据，也可以去专门的行业论坛或社区了解，还可以找专业人士聊一聊。这种通过多种不同方式、不同渠道进行数据召回的方式，就是多路召回。
当然，召回技术并不只属于RAG领域。在传统搜索引擎领域，召回技术同样扮演着重要角色——RAG技术完全可以应用于搜索引擎领域。
以上介绍的只是一些常见、基础的召回策略。在具体的RAG实践中，不同场景下可能还会用到特殊的召回方式和策略，比如数据分类、建立索引，甚至知识图谱这类新技术。
最关键的一点：这些召回方式并不是互斥的。在很多实际场景中，往往需要将这些策略组合使用，才能获得更精准的召回质量。尤其是在数据量特别大的时候，完全依赖向量相似度计算，对算力和响应速度的要求常常是不现实的。所以，先做快速的非精确匹配，再进一步做精确的相似度计算，是一种更务实的做法。