在AI时代信息爆炸的背景下，如何从海量数据中迅速筛选出最匹配的内容，本身就是一项极具挑战的任务。传统关键词匹配虽然操作简单，但面对复杂查询和深层语义解读时，往往显得捉襟见肘。为了突破这一瓶颈，现代搜索引擎与技术开发者普遍采用两大核心技术：Embedding模型与重排序（Rerank）策略。下面，我们将深入解析这两项技术，揭示它们如何协同作战，显著增强RAG检索系统的整体性能。
一、了解编码器
| 特性 | Bi-Encoder / Dual-Encoder | Cross-Encoder |
|---|---|---|
| 编码方式 | 采用两个独立编码器分别处理查询与文档 | 引入查询与文档之间的交互信息，进行联合编码 |
| 预计算存储 | 文档向量可离线预先计算并存入索引 | 每次检索时实时计算查询与文档的相关度 |
| 效率 | 高效，检索速度极快 | 计算成本高，尤其在候选文档数量庞大时 |
| 精度 | 相对较低，因缺乏直接交互 | 更高，能捕捉更复杂的语义关系 |
| 应用场景 | 大规模检索任务，如搜索引擎、推荐系统 | 对结果质量要求极高的精排阶段 |
| 优点 | 响应迅速，适合海量数据 | 提供更精准的结果，适用于小规模候选集 |
| 缺点 | 缺少交互，可能遗漏细微语义关联 | 实时计算开销大，资源消耗显著增加 |
| 模型举例 | IEITYuan/Yuan-embedding-1.0 | bge-reranker-v2-m3 |
二、 Embedding模型：语义空间中的桥梁
2.1 什么是Embedding？
Embedding的核心，是将文本映射为数值向量，从而捕捉词语或句子之间的语义关联。通过训练深度学习模型（如Word2Vec、GloVe或BERT），我们能获得每个单词或短语的低维稠密向量表示。语义上越相近的项，在向量空间中的距离也越近。对于Dual-encoder架构，它使用两个独立的编码器分别处理查询（query）与文档片段（Chunk），然后计算两者的相似度分数，从而判断文档的相关性。
2.2 Embedding的工作原理
- 预训练阶段：模型首先基于大量文本数据进行预训练，学习语言结构与上下文信息。
- 离线编码：当新查询到来时，Dual-encoder无需重新训练整个模型，而是直接利用已训练好的编码器，将查询与候选文档分别转换成固定长度的向量。
- 快速检索：由于所有文档均已预先编码并存入索引，新查询可以极为高效地执行最近邻搜索，从而定位最相关的文档。
不过，这种方法虽然提升了检索速度，但由于缺乏即时的上下文交互，有时可能遗漏一些细微但关键的语义线索。
2.3 类比理解Embedding
不妨这样想象：你站在一座巨大的图书馆前，想找一本特定的书，但图书馆没有分类系统，也没有索引卡。你仅凭模糊的记忆——书名或内容的大致印象——来寻找。此时，Embedding模型就像一位智能助手，它通过预先学习的语言模型，将你的查询和所有可能的书籍章节（Chunks）转换成多维空间中的点，即语义向量。这些点之间的距离反映了它们在语义上的相似性。当你提出一个问题或输入一个查询时，Embedding模型能够在“离线”状态下独立处理每一个查询和文档片段，然后根据它们在语义空间中的位置进行初步筛选，尽可能多地召回相关项。这种方式虽然高效，但由于缺乏即时的上下文交互，有时会导致一些不那么精确的结果被选中。
三、 Rerank阶段：精细化筛选的专家
3.1 什么是Rerank？
Rerank，即在初步检索之后，对前几轮返回的结果进行再次评估，并根据更复杂的逻辑调整其排序。这个阶段通常采用Cross-encoder——一种允许查询与文档之间直接交互的模型。Cross-encoder能够在给定查询的情况下，更细致地理解每个文档的具体内容，进而输出更精确的结果排序。
3.2 Rerank的工作流程
- 初始召回：首先利用Embedding模型快速生成一个较大的候选项集合。
- 交互式评估：接着，Cross-encoder对这些候选项逐一分析，结合查询上下文进行深层次理解，考虑语法结构、实体识别等因素。
- 最终输出：最后，根据综合评分对结果进行重排，确保最相关的信息排在前面。
3.3 类比理解Rerank
继续以图书馆为例。通过Embedding我们已经找到了一批候选书籍，但为了让读者拿到最合适的那本，需要更深入地分析每本书的内容，判断它是否真正满足读者需求。Cross-encoder就像一位经验丰富的图书管理员：在这个阶段，它不再孤立地看待每个查询与文档，而是让两者充分交流，挖掘更多隐含信息。这种交互式评估能显著提升结果精度，确保最终呈现给用户的信息是最相关的。
四、两阶段检索优化：召回与重排
通过将Embedding与Rerank相结合，我们不仅能在短时间内获得大量潜在匹配项，还能通过对这些匹配项的二次评估，进一步提升搜索结果的准确性和用户满意度。Embedding负责广撒网，而Rerank则像渔夫一样，精挑细选出最优质的鱼儿。
在信息检索中，直接使用Cross-encoder效率较低，因为它需要实时计算查询与每个候选文本之间的相关度——当候选文本数量庞大时，计算成本会变得非常可观。相比之下，Bi-encoder可以通过离线预计算的方式为海量文本生成向量表示并存储于向量数据库中。检索时，只需计算查询的向量表示，然后快速查找最相似的文本。
因此，业界普遍采用两阶段检索策略来平衡效果与效率：
- 召回（粗排）：利用 Bi-encoder从海量文本中高效召回大量潜在相关的文本片段（如 TopK=100），此阶段对排序准确性要求不高。
- 重排（精排）：对第一步召回的文本片段，使用 Cross-encoder进行精确的相关度评分，重新排序以获得最终结果。
这种组合方式，既保障了检索速度，又提升了结果的准确性。
五、推荐开源中文 SOTA 组合
目前，开源中文领域表现最佳的 Embedding 与 Reranker 组合如下：
Embedding模型
- IEITYuan/Yuan-embedding-1.0：浪潮信息自研，上下文最长512个token，模型参数量326MB。
- TencentBAC/Conan-embedding-v1：腾讯自研，上下文最长512个token，模型参数量326MB。
Reranker模型
- bge-reranker-v2-m3：智源研究院BGE系列，提供强大的rerank能力，上下文最长8192个token。
- BCEmbedding：网易有道自研，包含EmbeddingModel和RerankerModel两类基础模型，以其出色的双语和跨语种能力著称，在语义检索中消除中英语言差异，实现SOTA表现。
- ByteDance/ListConRanker：目前Top1，上下文最长512个token，模型参数量326MB。
推荐 SOTA 组合
Yuan-embedding-1.0与bge-reranker-v2-m3的组合，可能是当前中文领域的最佳实践。这些模型在C-MTEB评测基准中表现突出，提供了强大的语义理解与检索能力。
当然，具体效果可能受数据特征、数据集大小等变量影响。因此，在选择最佳Embedding与Reranker组合时，还需结合特定应用场景与数据集的特性进行综合考量。
六、总结
至此，我们对Embedding与Rerank有了更深入的认识。这两种技术各有所长、相辅相成，共同构筑了RAG系统的基石。简而言之，目标明确：利用Embedding模型的优势尽可能广泛地召回相关信息，同时依靠Rerank模型精挑细选出最优质的内容。这不仅提升了搜索效率，也增强了用户体验，让用户更快、更准地获取所需信息。随着AI技术的不断发展，相信未来会有更多创新涌现，持续推动这一领域向前迈进。