向量数据库：大模型检索增强生成的核心挑战与优化方向

“ 向量数据库的核心在于向量相似度计算 ”

作为技术人员，大家对数据库技术应该都不陌生，这项技术已经发展了数十年。不过，数据库的发展历程并非一帆风顺，尤其是在互联网规模急剧膨胀的背景下，对数据库的性能和灵活性要求也日益提高。

为了适应多样化的业务场景，数据库系统也在不断演进，衍生出多种类型。例如，传统的关系型数据库、缓存数据库、以及面向大数据的数据库，直到今天的主角——向量数据库。

关系型数据库和缓存数据库我们暂且不提，今天重点探讨向量数据库系统。

向量数据库：原理、应用与挑战

向量数据库，顾名思义，是以向量结构为核心存储方式的数据库，同时具备传统数据库的CRUD（增删改查）功能。

然而，由于它以向量为基础而非传统的字符匹配，在实际应用中会面临许多前所未有的问题。当前，向量数据库的应用领域与人工智能，尤其是大模型技术紧密相关。例如，当下热门的RAG（检索增强生成）技术就高度依赖向量数据库。当然，其用途远不止RAG，在推荐系统、图像识别等场景中也发挥着重要作用。

与传统数据库相比，向量数据库的优势在于能够将不同模态的数据转化为向量，并通过计算向量之间的关系，描述数据之间的“语义”相关性。换句话说，向量数据库刻画的是数据在语义层面的关系，而非字符匹配那种确定性的关系。而计算这种关系的算法被称为“相似度计算”，具体包括欧式距离、余弦相似度等方法。

因此，向量数据库有两个关键环节：一是数据向量化，二是向量相似度计算。在大模型领域，数据向量化也被称为“嵌入”，需要借助专门的嵌入模型来处理数据。

对于向量数据库而言，数据向量化解决的是“数据从何而来”的问题，而向量相似度计算解决的是“数据如何应用”的问题，即相似度搜索。数据向量化（嵌入模型）需要加载数据、对数据进行切分和分词等操作，最终将不同模态的数据统一转化为向量格式。

至于相似度搜索，则是将用户搜索的数据同样转化为向量，然后由数据库引擎将搜索向量与库中向量进行匹配——这一过程就是相似度计算，也称为度量计算（例如欧式距离、余弦相似度、内积等）。最终计算出的结果即为搜索结果。

实际上，向量数据库的搜索问题与传统数据库的查询没有本质区别，唯一的差异在于：传统数据库采用字符匹配，而向量数据库依赖相似度计算。但这里存在一个现实问题：向量相似度计算需要大量运算才能得出结果，因此在面对海量向量数据时，如何在搜索性能和结果准确性之间取得平衡，成为一项关键挑战。

此外，与传统字符匹配那种“一就是一、二就是二”的确定性不同，向量相似度搜索基于计算得出的相似值，而非绝对值，因此搜索结果天然具有不确定性。

关于这种不确定性，举一个不太恰当但能说明问题的例子：假设你有一个基于《西游记》构建的向量数据库，输入“林黛玉”进行检索，竟然也能搜到相似数据。在实际应用场景中，这显然是无法接受的。

为什么会在《西游记》中搜出与林黛玉相关的内容？原因就在于相似度计算本身：林黛玉是女性，《西游记》中也有女性角色；两部作品中关于女性的某些描述，在向量层面可能相似——即相似度计算的结果较为接近——最终导致这种“跨作品”检索的偏差。

这就是向量相似度搜索的不确定性，而且几乎无法完全避免。如前所述，效率和准确率往往需要权衡。因此，基于向量数据库的检索结果，通常还需要在输出结果之后，进行一层或多层数据筛选，才有可能精确获取所需内容。