近期行业内的一项实践值得关注：基于视觉模型的多模态RAG系统开发。从密集开发到全方位测试，团队对这类系统的认知有了实质性提升。本文旨在分享实战经验与技术细节，为同行开发者或潜在客户提供客观、理性的参考。
背景
在智能文档处理领域，多模态RAG系统正逐渐成为热点。经过约两周的密集开发与测试，我们针对性地收集了大量复杂文档进行验证，现在整体上对多模态RAG有了更深入的认识。
分享这篇内容，是希望为同行开发者或有意向的客户提供一些建议和思考。本文视角遵循客观、理性原则。
什么是多模态RAG？
目前市场主流的RAG技术方案，以文本为核心——把PDF、Word、图片、Excel等不同格式的文件，通过OCR解析成文本、表格、图片等数据，再经由chunk处理存储到向量数据库。
基于视觉模型的方案则另辟蹊径。它采用类似ColPali的框架，直接对文档进行向量化存储。在检索阶段，通过相似度得分获取高关联性的图片，然后将这些信息喂给视觉模型（如Qwen2.5 VL），最终由视觉模型将结果返回给用户。
什么是ColPali
ColPali基于ColBERT（Contextualized Late Interaction over BERT）方法，并结合视觉语言模型（如PaliGemma-3B）处理文档的视觉和文本信息。它的核心创新在于：通过文档图像生成多向量嵌入（multi-vector embeddings），不需要依赖传统的OCR或复杂的布局分析，直接利用文档的视觉特征进行检索。
换句话说，有了ColPali，传统的OCR解析、复杂的版面分析？通通省了。直接把文档图片做嵌入处理，效率提升明显。具体来说，技术实现包含以下几个步骤：
- 将文档每一页截图处理，然后喂给ColPali进行存储；
- ColPali把文档图像分割成多个图像块（patches），通过视觉语言模型（如PaliGemma）处理这些图像块，生成每个块的嵌入。这里的关键是：ColPali为每个图像块生成独立的嵌入向量，形成多向量表示，保留了文档的细粒度信息；
- 在检索阶段，ColPali使用ColBERT提出的晚交互机制，将查询（query）的嵌入与文档的多个嵌入向量进行逐一匹配，计算每个查询词与文档块的相似度得分，最终汇总得到查询与文档的总体相关性得分。
在实测过程中，将ColPali生成的向量存储到Milvus后，检索阶段的准确率基本达到90%。这个结果大大超出预期，在GPU加持下，速度和响应也相当可观，接近传统OCR解析的耗时。
视觉模型选择
考虑到模型的扩展性，我们采用LiteLLM来接入视觉模型，目前支持Ollama和兼容OpenAPI协议的在线模型，如硅基流动和Qwen API。项目实测中，我们挑选了Ollama本地部署的Qwen2.5 VL 32B模型和在线Qwen 2.5VL 72B API。
硬件配置方面，RTX单卡4090、48G显存运行Qwen2.5 VL 32B非常流畅；24G显存虽然没实测，但预计可能会有卡顿。
实测效果演示
在内部交流中，公开征集了一些结构复杂的文档——这些文档传统的RAG系统（如RAGFlow）处理效果并不理想。
案例1：本科在辽宁招生计划.pdf
Q：南昌航空大学科技学院招生情况？
A：
比对结果来看，回答堪称完美。
案例2：公路桥梁钢结构防腐涂装技术条件.pdf
Q：非封闭环境内涂层体系?
A：
同样，回答精准到位。
案例3：公路桥梁抗震设计规范JTG T 2231 01 2020_2020抗震规范.pdf
Q：桥梁抗震措施等级
A：
这次回答中规中矩，命中了表格内的部分数据。
案例4：公路桥梁抗震设计规范JTG T 2231 01 2020_2020抗震规范.pdf
Q：桥梁抗震设防目标
A：
这个回答有些不符合预期，没有正确识别到问题语义。
结论
基于视觉模型的多模态RAG系统，在处理复杂文档结构时确实展现出了优越性——基本能无损还原和理解文档信息。基于视觉模型的能力，后续可以在图片上进一步做增强，比如圈选和理解。
检索方面的表现远超预期，基本能快速检索出目标图像。目前，系统的瓶颈主要在于视觉模型本身：实际测试中，本地部署的Qwen2.5 VL 32B模型经常出现语义理解失败、图片理解幻觉等问题；72B的在线模型虽然这些问题基本不存在，但相应成本也大幅提升——商业落地必须考虑ROI。
同时，基于图片的RAG识别方案，天然限制了人工标注和干预的能力。不像传统方案那样可以人工修正chunk数据。虽然国外有一些针对图片的标注方案，但实施成本很高。
综合来看，可以给出一个判断：多模态RAG系统的天花板很高，但成本也很大，ROI整体来看不那么高——短期的市场内，一定取代不了以文本为主的RAG系统。但随着新的多模态向量化模型和视觉模型不断涌现，它终将逐渐走向RAG舞台的中心。至于具体时间，虽然无法预料，但趋势是确定的。
KVisualRAG 未来展望
对于KVisualRAG，我们实现了基于纯向量化的检索匹配。参照国外成熟产品的经验，结合文本和图片的混合多模态向量化，检索效果有望得到进一步增强。
另一个不可忽视的因素是视觉模型本身的重要性。本轮产品反馈中最直接的感受是：视觉模型的语义理解和回答能力，相比文本模型差距还很大。随着新视觉模型不断涌现，后续会持续适配和测试，期望多模态RAG能大放异彩。