在生成式人工智能（GenAI）的落地应用中，检索增强生成（Retrieval-Augmented Generation，简称RAG）已成为当前最受关注的技术方向之一。它能够将大语言模型（LLM）的强大能力安全、高效地应用于企业内部知识库——例如技术文档、运营报告或操作手册——让模型精准且可靠地回答各类专业问题。

然而，构建一个稳定可靠的RAG系统存在较高的技术门槛，相关的知识储备是开发者必须跨越的障碍。正因如此，许多技术团队和企业都在积极寻找更轻量、更高效的搭建方案。本文将以开源编排平台Dify与向量数据库Milvus的组合为例，详细演示如何构建RAG系统。简单来说，Dify负责工作流编排与快速部署，Milvus则负责知识文档的向量化存储，为系统提供坚实的数据基础。

让我们先从核心原理入手。

一、RAG基本原理剖析

RAG技术的诞生，主要是为了解决大语言模型（LLM）的“幻觉”问题。大模型基于海量公开数据训练，在回答常见问题时表现良好，但一旦涉及企业内部的私有文档，就容易“张冠李戴”，给出看似合理实则错误的答案。更棘手的是，这些错误回答往往语气笃定，非专业人士很难察觉。

RAG的核心思路，正是为LLM“对症下药”——主动提供与问题相关的上下文信息，辅助模型生成更准确、更可靠的回答。一个完整的RAG系统由三大组件构成：检索（Retrieval）、增强（Augmentation）、生成（Generation）。

• 检索组件：根据用户问题，从知识库中找出最相关的top-k个文本片段，并按相似度排序。
• 增强组件：将排序后的上下文与原始问题组合，打包成更丰富的输入供大模型使用。
• 生成组件：大语言模型基于增强后的输入，生成最终答案。

搭建RAG系统之前，需要将原始数据转换为嵌入向量以便进行相似性搜索，这离不开嵌入模型；还需要一个向量数据库来存储这些嵌入向量；最后还需要一个强大的语言模型来生成答案。整个准备工作相当繁琐，如果没有一个能整合这些工作流的编排平台，开发难度会成倍增加——这正是Dify存在的意义。

二、Dify：RAG 系统搭建的得力助手

在开发生成式AI应用方面，Dify确实是一个不可多得的利器。它的名字源自“Define”（定义）和“Modify”（修改），是一个开源平台，能帮助开发者快速构建各类生成式AI应用，而无需在复杂组件的配置上反复纠结。

这背后的原因是，Dify融合了后端即服务（Backend-as-a-Service）与大语言模型运营（LLMOps）的能力，可以对包括RAG在内的热门生成式AI应用流程进行高效编排。同时，它采用低代码工作流，极大降低了RAG系统的搭建门槛，非技术背景的用户也能轻松上手。此外，Dify对主流LLM的集成非常便捷，框架灵活，UI和API设计友好，并配备高质量的RAG引擎，为应用性能提供了有力保障。

从下表可以清晰看到Dify如何简化复杂的GenAI应用开发流程：

在生成式AI应用开发中，自托管是一个重要考量，既能保障数据安全，也方便定制基础设施。Dify支持两种自托管方式：利用Docker Compose部署和通过本地代码源启动。相比之下，Docker Compose部署操作更简单，上手难度更低。下面我们就用Docker Compose来部署Dify。在此之前，先了解另一个关键组件——Milvus。

三、Milvus：RAG 系统的 “数据基石”

搭建RAG应用时，除了Dify这个编排引擎，向量数据库同样至关重要。它负责存储数据并搜索相关上下文，选对它对RAG系统的性能影响巨大。

Milvus是一个开源向量数据库，尤其适合RAG等生成式AI应用。它具备多种高级功能，例如先进的索引方法、便捷的编排工具集成能力，以及对混合搜索的支持。

Milvus的索引方法非常丰富。若追求精准匹配，可使用FLAT索引；若希望兼顾速度与效果，IVF_FLAT、HNSW、SCANN等更先进的索引方法更为适合。而且在使用IVF_FLAT和HNSW索引时，还能通过乘积量化（Product Quantization）对数据进行处理，进一步压缩内存占用。Milvus兼容性强，能与嵌入模型、大语言模型以及Dify等编排平台轻松集成。下一节将详细介绍集成步骤。

在相似性搜索时，Milvus的混合搜索功能尤为实用，它可以结合不同嵌入方式来找寻相似上下文，还能通过元数据过滤进行优化，提升上下文质量，从而让大语言模型生成的内容更加优质。

四、使用Dify和Milvus构建RAG系统

好了，进入实战环节。我们将用Dify搭建一个简易的RAG应用，通过它可以查询特定研究论文中的相关信息。论文可自行选择，这里以引入Transformer架构的经典论文《Attention is All You Need》为例（https://arxiv.org/abs/1706.03762）。

前面提到，创建RAG应用需要三个核心组件：向量存储、嵌入模型和大语言模型。在本示例中，我们选用Milvus作为向量存储，用来存放论文文本片段。嵌入模型和大语言模型则采用OpenAI的产品。

步骤1：启动Dify和Milvus容器

本示例使用Docker Compose自托管Dify。因此，开始之前请确保本地机器已安装Docker。

安装好Docker后，用以下命令将Dify源代码克隆到本地：

git clone https://github.com/langgenius/dify.git

接下来，进入刚刚克隆的源代码中的docker目录。在那里，用以下命令复制.env文件：

cd dify/docker
cp .env.example .env

这个.env文件包含让Dify应用启动并运行所需的配置，比如向量数据库的选择、访问向量数据库所需的凭据、Dify应用的地址等。由于我们要使用Milvus作为向量数据库，因此需要将.env文件中VECTOR_STORE变量的值更改为milvus。此外，还需要将MILVUS_URI变量更改为http://host.docker.internal:19530，以确保部署后Docker容器之间不会出现通信问题。

VECTOR_STORE=milvus
MILVUS_URI=http://host.docker.internal:19530

现在准备启动Docker容器。只需运行docker compose up -d命令。完成后，你会在终端中看到类似以下的输出：

docker compose up -d

可以用docker compose ps命令检查所有容器的状态，查看它们是否正常运行。如果所有容器都正常运行，你会看到如下输出：

docker compose ps

最后，如果访问http://localhost/install，你会看到Dify的登录页面，在这里我们就可以注册并立即开始构建RAG应用了。

注册完成后，就可以使用凭据登录Dify了。

步骤2：设置OpenAI API密钥

登录Dify后，首先要做的是设置用于调用嵌入模型和大语言模型的API密钥。由于我们使用OpenAI的模型，因此需要将OpenAI API密钥添加到个人资料中。把鼠标悬停在用户界面右上角的个人资料上，然后点击“Settings”（设置），如下截图所示：

接下来，进入“Model Provider”（模型提供商），把鼠标悬停在OpenAI上，然后点击“Setup”（设置）。你会看到一个弹出窗口，提示你输入OpenAI API密钥。完成后，就可以使用OpenAI的模型作为嵌入模型和大语言模型了。

步骤3：向知识库插入文档

现在为RAG应用搭建知识库。知识库由一系列内部文档或文本构成，它辅助大语言模型做出精准回复。此例中，知识库是《Attention is All You Need》论文。但不能直接存储，原因有两点：一是论文太长，给大语言模型提供长上下文效果不佳；二是原始文本无法用于相似性搜索，难以获取最相关上下文。

因此，存储论文到知识库前，至少要完成两步操作：先把论文切分成文本片段，再借助嵌入模型将每个片段转化为嵌入向量，最后把这些嵌入向量存入Milvus向量数据库。

Dify简化了这一过程，只需简单几步，就能把论文文本分割成片段并转化为嵌入向量：进入“Knowledge”（知识）板块，点击“Create Knowledge”（创建知识），系统会提示从本地计算机上传PDF文件，所以要提前从arXiv下载论文并保存到电脑。

上传后设置各项参数：

• 片段设置：在“Chunk Setting”设置最大片段长度，示例设为100。
• 索引方法：“Index Method”选“High Quality”，用于相似性搜索。
• 嵌入模型：“Embedding Model”从OpenAI模型选，此例用text-embedding-3-small。
• 检索设置：“Retrieval Setting”选“Vector Search”，便于搜索相关上下文。

设置完后点“Save & Process”（保存并处理），成功会出现绿色对勾。

步骤4：创建RAG应用

至此，我们已经成功创建知识库并存储至Milvus数据库，现在可以着手创建RAG应用了。

借助Dify创建RAG应用十分简便：进入“Studio”（工作室）板块，点击“Create from Blank”（从空白创建）。选择“Chatbot”（聊天机器人）作为应用类型，并在指定字段为应用命名，完成后点击“Create”（创建），随即会出现如下页面。

在“Instruction”（指令）字段，编写系统提示，比如“简洁回答用户查询”。在“Context”（上下文）部分，点击“Add”（添加）图标，添加刚创建的知识库。这样，RAG应用便能从该知识库获取相关上下文，用以回答用户问题。

将知识库添加进RAG应用后，最后一步是从OpenAI挑选大语言模型（LLM），点击右上角的模型列表即可操作。

完成上述步骤，RAG应用就能发布了。点击右上角的“Publish”（发布），有多种发布方式可选：可直接在浏览器运行，可嵌入网站，还能通过API访问。本示例选择在浏览器中直接运行，点击“Run App”（运行应用）即可。

至此，大功告成！现在，你就可以就《Attention is All You Need》论文或其他知识库中的文档，向大语言模型提问了。