游乐游手机版
首页/AI热点日报/热点详情

ColQwen-Omni RAG全模态检索 支持文本图像视频音频

类型:热点整理2026-05-29
多模态检索的边界,正在被一款全新模型重新定义。ColQwen-Omni 的诞生,意味着文本、图像、视频、音频——四种模态的数据,能够一次性完成向量化与检索。没错,跨模态搜索从未如此直接和高效,这正是多模态 RAG(检索增强生成)迈向全模态的关键一步。 研究视觉文档检索的朋友,对 ColPali、Co

多模态检索的边界,正在被一款全新模型重新定义。ColQwen-Omni 的诞生,意味着文本、图像、视频、音频——四种模态的数据,能够一次性完成向量化与检索。没错,跨模态搜索从未如此直接和高效,这正是多模态 RAG(检索增强生成)迈向全模态的关键一步。

研究视觉文档检索的朋友,对 ColPali、ColQwen 和 DSE 应该不陌生。它们开创了一条新路:把文档页面当成截图,用视觉语言模型(VLM)直接编码成向量,省去繁琐的文字提取流程。ColPali 的实践早就证明,这种“截屏即索引”的方法不仅更快、更简单,而且检索效果往往更好。自发布一年来,ColPali 和 ColQwen 系列被下载了数百万次,甚至被称作“2024年顶级人工智能创新”之一,还催生了一大批后续研究。效果好到什么程度?原版的 Vidore 基准测试(Vidore v1)如今已经“显得过于简单”了。随着多模态 RAG 需求的爆发,模型需要处理更多模态信息。

随着 Qwen-Omni 这类强大的视觉语言模型登场,模型能处理的模态越来越多——音频、视频都不在话下。于是,一个自然的想法浮现:能不能把 ColQwen 的思路推广到音频和短视频上?继 VisionRAG 之后,AudioRAG 是否也能成为现实?ColQwen-Omni 给出了肯定答案。

今天,vidore 团队正式推出了ColQwen-Omni (3B)——它是 ColQwen2 的延伸,核心能力就是:你喂给它什么模态的数据,它就能嵌入什么模态的数据。无论是文本、图像、视频还是音频,统一向量化,轻松实现跨模态搜索。

来源:https://www.53ai.com/news/LargeLanguageModel/2025071814752.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。