# GeMKR：腾讯用生成式检索碘伏传统RAG，开启多模态新纪元 在传统的多模态应用中，无论是视觉问答（VQA）还是多模态对话，单纯依靠图片和文本本身的信息往往是不够的，必须去查询外部知识库。传统做法需要依赖各种独立的检索器（retriever），不仅流程繁琐，而且训练成本高昂。腾讯最新研究提出的GeMKR（Generative Multi-modal Knowledge Retrieval）正是为了解决这一难题，它以一种全新的生成式检索思路，用大语言模型（LLM）直接生成知识线索，从而碘伏了传统的检索增强生成（RAG）范式。

一、传统多模态检索面临的挑战

在多模态应用中，检索外部知识库是一个关键步骤。然而，传统方法存在以下明显问题：

• 流程复杂：需要同时使用文本检索器、图片检索器，甚至实体检索器，导致系统架构臃肿。
• 训练成本高：每个检索器都需要单独训练，对数据和计算资源的要求极高。
• 跨模态对齐难：不同模态之间的信息难以有效融合，导致检索结果不够精准。
• 扩展性差：当知识库规模增大时，传统检索器的性能会显著下降。

面对这些痛点，一个核心问题浮现：能否设计一个通用的、多模态的检索器，同时简化整个流程？GeMKR给出了肯定的答案。

二、GeMKR：如何用生成式检索碘伏传统？

GeMKR的核心理念是：不再通过计算相似度或比对embedding来检索，而是让大语言模型直接“生成”知识线索，再通过这个线索去数据库里精准定位文档。

1. 生成式检索的核心流程

• 线索生成：模型根据输入的查询（文本+图片），自动生成一段能够唯一指向某个文档的关键短语（即知识线索）。
• 确定性查库：生成的线索通过FM-Index这类高效的数据结构进行确定性的查找，整个过程只有生成这一步依赖神经网络。
• 效率显著：由于查库操作是确定性的，避免了复杂的向量比对，整体效率极高。