多模态检索的边界,正在被一款全新模型重新定义。ColQwen-Omni 的诞生,意味着文本、图像、视频、音频——四种模态的数据,能够一次性完成向量化与检索。没错,跨模态搜索从未如此直接和高效,这正是多模态 RAG(检索增强生成)迈向全模态的关键一步。
研究视觉文档检索的朋友,对 ColPali、ColQwen 和 DSE 应该不陌生。它们开创了一条新路:把文档页面当成截图,用视觉语言模型(VLM)直接编码成向量,省去繁琐的文字提取流程。ColPali 的实践早就证明,这种“截屏即索引”的方法不仅更快、更简单,而且检索效果往往更好。自发布一年来,ColPali 和 ColQwen 系列被下载了数百万次,甚至被称作“2024年顶级人工智能创新”之一,还催生了一大批后续研究。效果好到什么程度?原版的 Vidore 基准测试(Vidore v1)如今已经“显得过于简单”了。随着多模态 RAG 需求的爆发,模型需要处理更多模态信息。
随着 Qwen-Omni 这类强大的视觉语言模型登场,模型能处理的模态越来越多——音频、视频都不在话下。于是,一个自然的想法浮现:能不能把 ColQwen 的思路推广到音频和短视频上?继 VisionRAG 之后,AudioRAG 是否也能成为现实?ColQwen-Omni 给出了肯定答案。
今天,vidore 团队正式推出了ColQwen-Omni (3B)——它是 ColQwen2 的延伸,核心能力就是:你喂给它什么模态的数据,它就能嵌入什么模态的数据。无论是文本、图像、视频还是音频,统一向量化,轻松实现跨模态搜索。
