通过UniversalRAG框架整合多源异构知识库，实现高效多模态问答，让您如同经验丰富的向导一般，从文本、图片、视频等多种形式的资料中迅速定位最相关的信息。本教程将深入剖析UniversalRAG的核心设计理念与技术实现细节。
1. UniversalRAG框架概述
UniversalRAG是一个专为多模态RAG场景设计的检索增强生成框架，其核心目标在于解决一个关键挑战：当您需要从多个语料库（包括文本、图片、视频集合）中检索信息时，如何同时兼顾信息的模态（文本、图像、视频）与粒度（段落、文档、片段、完整视频），从而提供最精准的答案。
其核心思想是：通过动态识别查询意图，将请求路由至最匹配的模态与粒度知识源进行检索。简而言之，系统会首先判断您的问题需要哪种类型的资料（例如：查询具体事实使用段落，了解完整故事使用文档，分析图片内容使用图像），随后在对应的资料库中精准查找。
2. 模态感知检索（Modality-Aware Retrieval）
UniversalRAG构建了三个独立的嵌入空间，分别对应文本、图像、视频三种核心模态。每个模态的语料库还进行了更细粒度的划分：
- 文本语料库：划分为段落级与文档级两个层次。
- 视频语料库：划分为完整视频与视频片段两个维度。
为实现动态选择机制，框架引入了一个路由模块（Router）。对于给定的查询 q，Router 会预测其关联的模态 r，并从对应模态的特定语料库中选取相关项 c。
小提示： 路由决策 r 包含六种类型：无检索（None）、段落（Paragraph）、文档（Document）、图像（Image）、片段（Clip）、视频（Video）。其中"无检索"表示问题可直接由LLM内部知识回答，无需外部资料检索。
3. 粒度感知检索（Granularity-Aware Retrieval）
为灵活适配不同查询的信息需求，UniversalRAG在每个模态内部进一步细分为多个粒度级别。例如：
- 文本：段落（适用于简单事实问答） vs 文档（适用于多跳推理）。
- 视频：片段（适用于局部事件分析） vs 完整视频（适用于理解整个叙事）。
小提示： 粒度感知的核心在于"对症下药"——若问题仅需一个细节，则只检索最小粒度；若需要全局理解，则检索较大粒度，从而避免信息冗余或遗漏。
4. 路由模块设计
路由模块堪称UniversalRAG的决策中枢，它负责确定查询应前往哪个模态、哪个粒度。设计上主要有两种方案：
4.1 无训练路由（Training-Free Routing）
该方法直接利用预训练LLM的内在知识与推理能力对查询进行分类，无需额外训练数据。具体步骤如下：
- 提示设计：对于给定的查询
q，LLM将接收一份详细描述路由任务的指令，并附带若干上下文示例。 - 预测路由类型：LLM依据提示与示例，预测查询最匹配的检索类型，从六个预定义选项中做出选择。
优势： 无需额外训练数据，充分利用LLM强大的泛化能力。
劣势： 性能受限于LLM的预训练知识范围与推理能力。
4.2 基于训练的路由（Training-Based Routing）
为提升路由准确性，UniversalRAG探索了训练路由模块的方案。其主要挑战在于缺乏查询标签对（ground-truth query-label pairs）进行监督学习。为此，文章采用了一种间接构建训练数据集的方法：
- 利用基准测试的归纳偏差：假设每个基准测试主要与特定模态和检索粒度相关联。例如，文本问答基准测试的查询可能主要需要段落级别；多跳问答基准测试则可能需要文档级别。
- 标签分配：
- 文本问答基准测试 → 标记为'None'（若仅使用模型参数知识回答）、'Paragraph'（单跳RAG）或'Document'（多跳RAG）。
- 图像基准测试 → 标记为'Image'。
- 视频问答基准测试 → 标记为'Clip'（关注局部事件/特定时刻）或'Video'（需要理解整个视频）。
小提示： 基于训练的路由虽需构建训练集，但可利用现有基准测试的"隐含标签"间接生成，从而大幅降低人工标注成本。
5. 性能表现
下图展示了UniversalRAG在多个基准测试上的性能表现：
（注：图片详细对比了不同路由策略与模态组合下的准确率等指标，充分验证了路由模块的有效性。）
6. 常见问题解答
- 问：UniversalRAG如何处理纯文本查询？
答：对于纯文本查询，路由模块会通过LLM判断其属于"段落"还是"文档"类别。若问题较为简单（例如"苹果是什么颜色？"），则可能直接归为"None"，由LLM内部知识回答；若涉及多段信息，则路由至文档级检索。 - 问：视频片段与完整视频有何区别？
答：视频片段（Clip）通常对应较短的时间段，用于回答"视频中某人在做什么？"这类局部问题；完整视频（Video）则用于回答"这个视频讲述了什么故事？"这类需要全局理解的问题。 - 问：无训练路由的成功率如何？
答：成功率取决于所使用的LLM。例如，GPT-4等大型模型在路由任务上表现优异，但在某些边缘案例中可能出现误判。若对准确性要求较高，建议优先采用基于训练的路由方案。
总结
UniversalRAG通过模态感知与粒度感知双轮驱动，配合灵活的路由模块，实现了多源异构知识库的高效检索。无论是无训练路由还是基于训练的路由，都为开发者提供了不同的权衡选择。希望本教程能帮助您深入理解并应用这一框架，构建更智能的多模态问答系统。