我们坚信，视觉领域正迎来一场范式革命，催生出名为计算机视觉管道 2.0 的新一代架构，其中传统的标注等阶段将被可提示的基础模型逐步替代。
本篇深度解读聚焦于 Visual RAG（视觉检索增强生成）这一创新技术前沿，全面展示其核心价值以及如何**从根本上重塑传统计算机视觉任务**的处理逻辑。文章将从 RAG 的基础原理切入，深入探讨它在视觉识别、图像分析、智能监控等实际场景中的落地实践，阐明这项前瞻技术如何为构建更智能、更高效的人工智能系统奠定坚实基础。
1. 检索增强生成（RAG）概念详解
1.1 视觉提示：如何引导基础模型？
为深入理解检索增强生成 (RAG) [1]，我们首先需要掌握“提示”这一关键概念。
提示是一种通过提供具体指令或查询来引导基础模型（例如多模态大语言模型 MLLM）执行任务的技术手段。
在视觉领域，视觉提示[3] 利用视觉输入（如图像、线条或点）来指示大规模视觉模型完成特定任务，这些任务往往是模型在训练阶段未曾见过的。
下图示例展示如何通过可提示模型构建更强大的系统，其核心洞察在于：不同模型可以通过视觉提示相互连接——例如，YOLO-World 的输出可直接作为 SegmentAnything 的视觉提示输入。
由此可见，提示为构建 RAG 等高级技术提供了坚实的基础。
1.2 RAG 的核心思想是什么？
RAG 将提示机制与信息检索原理有机融合。[2] 当你使用 GPT-4 或 LLaVA [5] 等生成式 AI 模型时，得到的回答来自（零样本）模型 [4]，其知识受限于信息截止日期（以及训练数据的数量和质量）。因此，模型的知识是静态的，在某个时间点后无法更新。
检索增强生成 (RAG) 使系统能够检索相关上下文信息，并将其与原始提示整合。 这种增强后的提示用于查询模型，从而提供模型原本无法获取的实时或外部数据。
1.3 RAG 的工作流程拆解
通过下图可以清晰地看到典型 RAG 工作流的三个步骤：
检索：当用户提交查询或提示时，系统首先从知识库或外部数据源中检索相关信息。
增强：将检索到的信息用于扩充或优化模型的输入内容。
生成：最终，模型基于原始查询和检索到的信息生成响应。
2. 计算机视觉中的 RAG 应用
2.1 传统文本 RAG 与视觉 RAG 的区别
如下图所示，Visual RAG 将检索增强生成（RAG）的理念推广至视觉任务。传统 RAG 处理文本输入并检索相关文本信息，而 Visual RAG 则处理图像（有时附带文本），并检索视觉数据或图文对。
编码过程从文本编码器切换为视觉编码器（常借助 CLIP [6] 等基础模型实现），知识库（即向量数据库）也由文本文档存储库转变为视觉信息存储库。
最后，Visual RAG 的增强阶段将检索到的视觉数据与输入结合，使其能够生成文本描述、修改后的图像或多模态内容等多种输出。对于需要将视觉理解与外部知识相结合的任务，Visual RAG 尤为强大。例如，它可以通过从知识库中检索稀有物体的相关视觉和文本信息，帮助视觉系统识别罕见对象。
2.2 视觉 RAG 与微调：如何选择？
在生产环境中构建视觉系统时，常面临 RAG 与微调之间的选择 [7]。经验表明，RAG 是理想的起步策略。当模型任务变得过于狭窄或具体时，下一步可考虑微调。但如图 4 所示，答案并非二元对立，而是取决于多个因素，例如：
- 预算：微调涉及重新训练模型，成本更高。
- 推理：RAG 在推理过程中需要更多计算资源。
- 时间：微调在初期投入时间更多（权重更新），但长期看可能减少时间投入。
对于某些用例，可以结合两种方法：
- 核心任务不断演进的领域：例如，在医学影像中，存在标准诊断流程（通过微调处理），同时也有快速发展的研究和新的病例（由 Visual RAG 处理）。
- 电子商务与产品识别：微调模型可识别产品类别，而 Visual RAG 则从动态库存中检索最新产品信息或相似商品。
- 内容审核系统：微调处理常见违规类型，Visual RAG 则适应新兴趋势或上下文相关的违规行为。
3. 多模态 RAG 实践
3.1 视频理解中的多模态视觉 RAG
图 5 展示了一个用于视频理解的多模态 Visual RAG 管道具体实现。该示例演示了这些技术如何协同工作，从视频数据中提取有价值的洞察。
下面分解系统组件及其相互作用：
- 知识库：系统首先构建包含视频和图像的知识库，作为理解视觉内容的基础。
- 嵌入模型：使用 CLIP（对比语言-图像预训练）等嵌入模型，将知识库内容和用户查询转换为统一的向量空间，实现文本与视觉模态的比对。
- 向量数据库：知识库的嵌入表示存储在向量数据库中，支持高效的相似性搜索。
- 用户查询：用户输入查询，例如“查找下午 5 点前停放的白色车辆”。
- 查询处理：用户查询经过嵌入模型转换，映射到与知识库相同的向量空间。
- 检索与排序：系统根据查询嵌入与存储嵌入之间的相似度，从向量数据库中检索相关信息，并按相关性排序。
- 增强：检索到的信息经过快速处理或增强，以优化上下文，为语言视觉模型做好准备。
- LLaVA 微调：微调后的 LLaVA（大型语言与视觉助手）模型处理增强信息，该模型能够理解文本和视觉输入。
- 推理：LLaVA 模型对处理后的数据进行推理，生成符合用户查询的响应。
- 响应：最终输出为视觉响应——本例中，一张显示白色汽车停在街道上的图像，与用户查询匹配。
4. 后续优化方向
虽然上述系统为视频理解提供了一个令人印象深刻的框架，但实际描述的仍是一个原型。对于生产级 Visual RAG 系统，成功部署需考虑以下几点：
- 可扩展性：系统必须能高效处理大规模视频数据和并发用户查询。
- 错误处理与边缘情况：管道应能妥善处理视觉内容模糊或查询不明确的情况。
5. 参考文献
[1] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks[2] Large Language Models for Information Retrieval: A Survey[3] Exploring Visual Prompts for Adapting Large-Scale Models[4] An embarrassingly simple approach to zero-shot learning[5] Visual Instruction Tuning[6] Learning Transferable Visual Models From Natural Language Supervision[7] Fine-tuning Language Models for Factuality