今天为大家推荐一款实用的开源框架。此前我们聊过基于QwenVL构建的RAG系统脚本，最近在浏览技术资料时，发现了一个仓库，它系统地梳理了视觉RAG技术从入门到进阶的四个层次，并且所有示例都附带了可直接运行的Colab Notebook代码。这里一并整理分享给大家。

Level 1：Simple RAG (with OCR)

与基础RAG系统类似，但额外增加了一个OCR识别环节，因此能够处理扫描件、图片型PDF等场景，扩展了文档检索的适用范围。

Level 2: Vision RAG

这是目前较为常见的模式：利用跨模态向量模型（如CLIP），将文本与图像共同编码到共享向量空间中。检索到相关图片后，既可以调用视觉语言模型（VL模型）进行视觉分析，也可以将其解析为文本内容。Vision RAG对文档分析任务尤为适用——当图形、图表、示意图等视觉组件与文本内容同等重要时，该方法的优势便充分体现出来。

Level 3: ColPali RAG

ColPali RAG是一种全新的方法论，它借助Google的视觉大模型PaliGemma，将整个文档页面编码为“香莲”（patch），从而把页面布局、视觉元素等非文本信息也纳入检索过程。通过在用户查询与文档patch之间进行token级匹配来增强检索效果，该方法在保持较高检索准确率的同时，也维持了合理的索引构建与查询响应速度。特别适合信息图表、复杂表格、多栏布局等富含视觉元素的文档——传统基于纯文本的检索方法在这些场景下往往力不从心。当然，ColPali在性能方面相对较慢，需要权衡效率与精度的需求。

Level 4: Hybrid ColPali RAG

这是本项目自行命名的方案：先使用Level 2的向量检索进行粗召回，再利用Level 3的ColPali进行交互式精排。通过这种混合策略，系统整体的推理耗时得到了有效控制。当文档包含复杂的视觉信息与文本交织时，该组合方案尤为高效——系统能够充分利用两种内容类型的优势，实现高精度、高效率的文档检索。