多模态检索一直是信息检索领域的热点与难点。随着用户生成数据的日益丰富——不仅包含文字，还有图片、音频、视频等——如何让检索系统真正“理解”并“匹配”这些不同形态的信息，已成为不可回避的课题。今天，我们将深入探讨通义实验室在这一方向上的一项创新成果：GME统一多模态表征模型。该模型能够将文本、图像以及图文组合数据映射到同一语义空间，使不同模态的数据得以直接比较与检索。其背后的设计思路与技术实现，值得仔细剖析。
01 背景
多模态检索面临的挑战十分直观：传统检索模型大多只能处理单一模态，例如文本模型仅能搜索文本，图像模型仅能搜索图像。然而，现实中的用户查询常常是混合形态的——比如上传一张照片，再配上一段文字描述，希望找到类似的多模态内容。这种组合式检索需求，使得单纯依赖单模态模型的方法显得力不从心。
目前主流的多模态检索方案，要么依赖多个独立模型（例如文本使用BGE、GTE，图像使用CLIP），要么通过OCR或生成模型将视觉素材先转化为文本再进行检索。无论采用哪种路径，都会增加系统复杂性，并容易在转化过程中丢失关键信息。理想的做法是，采用单一模型直接理解多种模态，并在统一的向量空间中完成语义匹配。
02 GME统一多模态表征
通义实验室开源的GME（General MultiModal Embedding）正是朝着这一目标设计的。该模型基于Qwen2-VL多模态大语言模型构建，采用对比学习方式进行训练。每个训练样本包含一个查询、一个相关候选项以及多组无关候选项，覆盖文本、图像、图文组合等多种数据类型。通过指令调优，GME还能适应不同的检索任务，例如视觉问答（VQA），从而进一步提升表征能力。
图1 不同模态数据高维空间统一表征示意图
在训练数据方面，GME的一大亮点是“合成数据”的运用。除了充分利用丰富的单模态和跨模态真实数据外，团队还借助大模型生成技术，合成了海量的混合模态相关性数据。这种数据增强策略，确保了GME在各类检索场景下均能取得良好表现。
图2 基于MLLM的多模态Embedding模型架构
统一多模态检索评测 (UMRB)
为了系统评估模型在多模态检索场景下的综合性能，作者团队构建了一个统一多模态检索评测数据集，命名为“通用多模态检索基准”（Universal Multimodal Retrieval Benchmark，UMRB）。该基准包含47个评测子集，覆盖了广泛的多模态检索任务，主要源自以往针对不同子场景或子任务构建的专用数据集。UMRB具体包含以下几类数据：
1、BEIR评测集：用于文本到文本的检索场景。
2、M-BEIR数据集：聚焦于视觉相关的检索场景。
3、混合模态数据集：涵盖M-BEIR未覆盖的检索任务。
4、文本到视觉文档搜索数据集（如ViDoRe）：扩展评测数据的覆盖范围，确保对模型通用性的全面评估。
在UMRB评测中，GME-Qwen2-VL系列模型表现十分出色。2B和7B规模的GME模型均超越了此前的基线模型，验证了其在单模态、跨模态及混合模态检索任务中的有效性。更值得关注的是，GME在纯文本检索与富文本图片检索方面同样展现了强大能力。在BEIR文本检索评测中，尽管多模态嵌入模型在纯文本任务上略逊于专门的纯文本模型，但GME在富文本图片检索（例如论文PDF、财报等）中，无需经过OCR识别即可直接进行高效检索，取得了显著优势。这一点在ViDoRe LeaderBoard上同样得到了印证。
表3 UMRB评测结果
表4 ViDoRe LeaderBoard
03 模型使用方法
GME模型是通义基于多模态预训练大模型构建多模态Embedding的一次初步探索，当前版本仍存在诸多提升空间与技术优化方向。基于Qwen2-VL系列模型训练的General MultiModal Embedding(GME)系列模型现已在ModelScope平台开源。感兴趣的读者可前往体验、交流与分享。
模型地址
gme-Qwen2-VL-2B-Instruct
https://modelscope.cn/models/iic/gme-Qwen2-VL-2B-Instruct
gme-Qwen2-VL-7B-Instruct
https://modelscope.cn/models/iic/gme-Qwen2-VL-7B-Instruct
04 阿里云多模态Embedding模型服务
通义实验室还在阿里云百炼大模型平台上推出了推理性能更优、垂直领域检索效果更出色的公共云多模态Embedding模型服务multimodal-embedding-v1。该服务提供文本、图片、视频三种模态的表征能力，详情请参考阿里云百炼大模型服务平台模型服务。