PPT 检索最佳 RAG 方案：多模态、OCR 与混合检索全面评估与结论

本文基于对 SlideVQA 和 LPM 两个数据集的系统评估，为您详细拆解三种主流的 PPT 检索 RAG 方案的技术流程、性能对比以及在不同场景下的最优选择。无论您是构建企业知识库、教育培训系统，还是学术研究，这份教程都能帮助您理清思路、做出合理决策。

一、三种主流 PPT RAG 方案概述

目前针对 PPT 文档的检索增强生成（RAG）主要分为以下三类，技术路线各有侧重：

• 方案一：基于布局 (Layout) + OCR 的文本主导 RAG 方案

  通过解析 PPT 的页面版式结构（如标题、正文、图表区域），配合光学字符识别（OCR）提取所有文本内容。然后利用传统的文本检索模型（如 BM25、BERT）对这些文本进行索引和检索。该方案依赖纯文本信息，忽略视觉细节。

• 方案二：基于 VLMs + 图片向量模型的多模态 RAG 方案

  直接对 PPT 页面进行截图或渲染，使用视觉语言模型（如 ColPali、Qwen2.5-VL）和图片向量化模型，将整页图片映射为视觉嵌入。检索时直接进行向量相似度比较，无需显式的文本提取，能捕捉图表、颜色、布局等视觉信息。

  

• 方案三：混合检索方案

  综合上述两种方法，先利用视觉模型或 OCR 获取文本和视觉特征，再通过 RRF（倒数排名融合） 或 级联重排序 等策略，将文本检索结果与视觉检索结果合并，取长补短。

二、评估数据集简介

本次评估使用了两个权威数据集，分别覆盖不同的 PPT 类型和难度：

• SlideVQA

  面向演示文稿视觉问答（VQA）任务构建，包含来自 SlideShare 的 2619 个 PPT，共超过 52000 张幻灯片 和 14484 个 VQA 样本。每个样本关联真实幻灯片用于评估，问题分两类：单跳问题（仅需一张幻灯片即可回答）和多跳问题（需要跨多张幻灯片推理）。该数据集重点考察模型在文本和视觉元素之间跨模态检索与推理的能力。

• LPM

  用于训练多模态讲座 PPT 内容模型，包含 334 个教育视频（187 小时），从中提取出 9031 张幻灯片，覆盖生物、解剖学、心理学、牙科、公共演讲、机器学习等 35 门课程。每张幻灯片配有口语转录文本、视觉元素以及 OCR 提取文字。数据集中视觉图像类型丰富：自然图像（45.1%）、图表（46.7%）、表格（3.5%）和公式（4.6%），平均每张幻灯片包含 26 个单词 和 0.94 个图像。

三、实验方法及关键结论

实验测试了多种检索模型与重排序器的组合，分为两类：

• 基于视觉的检索：DSE、ColPali、jina-reranker-m0（视觉重排序器）、MonoQwen2-VL-v0.1 等
• 基于文本的检索：bge-reranker-v2-gemma、ms-marco-MiniLM-L-12-v2、BM25 等

关键结论

• 混合文本检索方法（将优质标题与文本模型结合）效果惊人
  例如，先用 VLM（如 Molmo 或 Gemma3）为每张幻灯片生成一个 高质量标题，然后在此标题上应用 BM25 结合向量模型（如 BGE） 进行混合检索，其效果显著优于直接使用微调的多模态视觉模型（如 DSE）。
• 最高检索效率来自两种增强方案
  
  • 方案 A：在 ColPali（视觉模型）基础上引入 Jina 视觉重排序器（晚期交互）；
  • 方案 B：通过 RRF 融合 ColPali（视觉）与 ColPali（文本版本，在标题上应用）的结果。
    这两种方案均达到了最高的检索得分。其中，仅使用文本版本的 ColPali 模型处理标题，本身也能提供有竞争力的性能，并且大幅节省存储空间，是一种高效替代方案。在所有高性能配置中，强大的重排序器对获得最高分至关重要，但也会带来显著的延迟——这是 存储需求与计算成本之间核心权衡 的体现。
• VLM 生成标题的选择影响结果
  用于生成标题的视觉语言模型（Molmo 对比 Gemma3）在不同数据集上存在性能差异，需要根据实际数据特点选择。

四、不同应用场景下的最佳方案选择

检索 PPT 的最佳方法取决于您的具体需求。以下提供三种典型场景的推荐配置：

• 场景一：准确率优先，可忽略资源和延迟

  推荐使用 ColPali（视觉）搭配 Jina 重排序器，或者将 ColPali（视觉）与文本 ColPali 进行 RRF 混合。这是当前检索效果的天花板，但需要较高的计算开销。

• 场景二：高准确率 + 低延迟 + 可控存储（生产级 RAG 系统）

  推荐采用 基于高质量标题的混合文本检索，例如 BM25 + 向量模型（如 BGE），或者直接使用 文本 ColPali 搭配 BGE 重排序器。这种方式兼顾了性能、速度和存储，具有很强的实用性。

• 场景三：资源极度受限的环境

  即使只对高质量标题使用 简单的 BM25，也能提供一个合理且高效的基准。在无 GPU、低内存的嵌入式设备上，这是最可行的方案。