引言

近期，公司自研的RAG系统设计论证已基本完成，即将进入开发部署阶段。在技术选型过程中，向量数据库的选择成为了关键一环。实际上，向量数据库并非一个全新的概念。多年前，从事推荐系统开发时，召回系统就已经应用了基于向量相似度的召回技术，背后由FAISS等向量检索引擎驱动，只不过那时该技术尚未像今天这般广为人知。随着大语言模型（LLM）技术的飞速推进，语义搜索与检索增强生成（RAG）的迅速普及，向量数据库才真正进入大众的视野。作为支撑这些前沿技术的核心基础设施，向量数据库正在深刻改变数据处理的方式，释放出前所未有的可能性。本文旨在揭开向量数据库的神秘面纱，深入探讨它在RAG系统中扮演的核心驱动作用。

什么是向量数据库？

简单来说，向量数据库是一种专门用于存储和管理“高维向量”的数据库系统。这些高维向量可以被视为数据特征或属性的数学化表达。每个向量包含一定数量的维度，少则数十，多则数千，具体取决于数据的复杂程度和精细度。这些向量通常通过对原始数据（如文本、图像、音频、视频）施加某种转换或嵌入函数来生成。嵌入函数的实现方式多种多样，包括机器学习模型、词嵌入算法或专门的特征提取算法。 向量数据库的核心价值在于，它允许我们基于向量之间的距离或相似度，进行快速且精准的相似性搜索与检索。这意味着，无需依赖传统的精确匹配或预设规则即可查询数据库，而是能够根据数据的语义或上下文含义，直接找出最相似或最相关的内容。

向量数据库的应用场景

向量数据库的应用场景极为广泛，几乎覆盖了各个行业领域，包括但不限于： - **语义搜索**：将文本数据向量化后，搜索不再依赖关键字匹配，而是基于语义理解，搜索结果的相关性和精准度得到质的提升。 - **图像和视频检索**：将图像和视频数据转化为向量，即可实现基于内容的快速检索，在安防监控、媒体资产管理等场景中尤为重要。 - **自然语言处理（NLP）**：在文本分类、情感分析、机器翻译等任务中，通过向量化处理，模型性能可显著提升。 - **推荐系统**：将用户行为数据和商品信息都向量化后，能够实现个性化推荐，精准度高了，用户体验和转化率自然也就上去了。

RAG系统概述

RAG，全称“Retrieval-Augmented Generation”，即检索增强生成，是由Meta AI研究团队开发的大规模自然语言处理模型。其核心思路是将“检索”与“生成”有机结合：先从大型语料库中检索出与当前查询最相关的信息，再基于这些信息生成更准确、更丰富的答案或文本。 RAG系统的工作流程大致可分为三步： - **数据检索**：从海量语料库中找出与用户查询最相关的信息。 - **数据生成**：利用检索到的信息，生成上下文贴合的回答或文本。 - **答案整合**：将最终生成的内容整合成完整的输出，呈现给用户。 目前，RAG系统在企业中的应用非常普遍，例如智能客服、自动化文档生成、实时信息查询等场景。

向量数据库在RAG系统中的作用

可以说，向量数据库是RAG系统高效运转的关键引擎，其作用主要体现在以下几个核心环节： - **数据嵌入与向量化**：通过高效的嵌入模型，将原始数据转化为高维向量，为后续的检索和生成奠定基础。 - **高效向量存储与检索**：利用向量数据库强大的存储和检索能力，能够快速定位与查询最相似的向量，极大提升检索效率。 - **提供语义搜索能力**：结合向量相似性计算，真正实现基于语义的搜索，确保搜索结果的相关性和准确性。

开源向量数据库比较

先厘清一个概念：目前开源领域的向量库产品大致可分为两类。一类是嵌入在应用层里的向量搜索引擎，专注于搜索功能，对事务性操作支持有限；另一类是完整的数据服务，应用层通过API进行访问，形态上更接近传统数据库。 如下图所示，左侧列出的是一些嵌入式向量库，右侧则是数据库类型的向量库。不难发现，不少数据库形式的向量库实际上由传统数据库厂商改造而来，在原有产品基础上增加了向量检索能力。

相似度度量指标

向量数据库的核心功能是从知识库中检索出与问题相关的内容。那么，如何衡量相似度？通常采用以下几种主流指标。具体来说，对于浮点嵌入向量，主流向量库提供的相似性度量如下表所示： - 常用相似度指标及其说明（详见下表） 而对于二进制类型的嵌入向量，主流向量库提供的度量指标如下表所示： - 相应指标及说明（详见下表） 究竟该选择哪个指标？最终需要结合具体业务场景进行测试，根据实际召回的准确率来决策。

索引类型

在向量库中，数据以索引形式组织和存储，不同类型的索引对应不同的适用场景。对于浮点嵌入向量，常见的索引类型包括： - 常用索引类型及其说明（详见列表） 对于二进制类型嵌入向量，其索引类型则包括： - 相应索引类型及其说明（详见列表）

Milvus

经过本次调研，我们最终选择了Milvus作为向量数据库方案。原因很明确：我们需要一套独立的数据服务，而嵌入型搜索引擎缺少必要的配套系统，例如专业的持久化层、API层、主备容灾机制等。此外，目前这些嵌入型引擎普遍在向云端SaaS化发展，与我们需要的私有化部署场景不符。 Milvus的架构图如下所示： 可以看到，Milvus提供了专业的API接入层、独立的数据持久化层，并支持集群部署，生产环境的可靠性有充分保障。相较于传统数据库通过“打补丁”方式加入向量检索能力，Milvus在专业性上更胜一筹。此外，目前最新版本甚至已内置支持Rerank等更高级功能，进一步增强了其作为核心组件的价值。