首页 游戏 软件 资讯 排行榜 专题
首页
AI资讯
谷歌多模态向量模型上线文字搜图片与图片搜视频功能

谷歌多模态向量模型上线文字搜图片与图片搜视频功能

热心网友
58
转载
2026-05-28

谷歌最近扔下了一颗重磅技术冲击波:首个原生多模态向量模型 Gemini Embedding 2 正式亮相。这可不是一次简单的升级,它真正实现了将文字、图片、视频、音频乃至文档,全部塞进同一个“理解空间”里。这意味着什么?意味着机器对世界的感知方式,正在从割裂走向统一。

Gemini Embedding 2上线,统一图文音视频向量空间

基于强大的Gemini架构,这个新模型已经通过Gemini API和Vertex AI开放了预览。它最核心的突破,就在于打破了模态之间的壁垒。过去,处理不同格式的数据往往需要不同的模型和流程,而现在,无论是文本、图像、视频、音频还是PDF文档,Gemini Embedding 2都能将它们映射到同一个高维向量空间中,并且能跨越上百种语言捕捉背后的语义意图。

这种“大一统”的设计,带来的直接好处就是简化。以往需要多套系统拼接的复杂流程,现在可以一站式搞定。无论是构建更精准的检索增强生成(RAG)系统,还是进行跨媒体的语义搜索、情感分析,甚至是海量多模态数据的聚类管理,效率和效果都得到了显著提升。

五大模态全面打通,支持交错输入

得益于Gemini与生俱来的多模态理解基因,新模型在各项输入规格上都相当能打:

  • 文本:一口气处理8192个Token的长上下文不在话下。
  • 图像:单次请求最多能“吃下”6张图片,支持常见的PNG和JPEG格式。
  • 视频:能理解长达2分钟的视频片段,MP4和MOV格式都兼容。
  • 音频:这一点尤其值得关注——它支持原生音频数据直接输入,完全绕过了先转成文字再处理的中间步骤,保留了声音中文字无法承载的丰富信息。
  • 文档:可以直接“阅读”并嵌入最多6页的PDF文件内容。

更厉害的是,它原生支持“混搭”输入。开发者可以在一次请求中,同时传入一张产品图片、一段用户评价音频和几行说明文字。模型能够精准捕捉这些不同类型数据之间复杂而微妙的关联,从而对现实世界中混杂的信息实现更贴近人类的理解。

引入套娃表示学习,灵活调整输出维度

技术层面,Gemini Embedding 2用上了一个聪明的“套娃”技术——套娃表示学习(MRL)。简单来说,它就像一套可以伸缩的俄罗斯套娃,信息被嵌套存储在不同维度里。

这种设计给了开发者极大的灵活性。模型的默认输出维度是3072维,但你可以根据实际需求,像调节音量一样向下缩放维度,比如降到1536维或768维。这样一来,就能在模型的表现力和存储、计算成本之间,找到一个最适合自己业务场景的甜蜜点。当然,为了追求最高质量,官方还是首推3072、1536或768这三个维度。

设立多模态性能新基准

性能上,Gemini Embedding 2来势汹汹。在文本、图像和视频相关的标准测试任务中,它已经超越了现有的领先模型。而它新引入的原生音频处理能力,更是直接为“多模态”这个词设立了新的深度标准。这等于为开发者提供了一个更强大、更通用的基础工具,去应对日益多样化的嵌入需求。

如今,嵌入技术早已是谷歌众多产品体验的隐形引擎,同时在RAG的上下文工程、大规模数据治理以及经典搜索分析等场景中也扮演着核心角色。据悉,一些早期合作伙伴已经开始利用Gemini Embedding 2,开发更具想象力的高价值多模态应用了。

开发与生态支持

对于开发者而言,接入门槛相当友好。通过Gemini API或Vertex AI就能快速用上。谷歌提供了Python SDK(google.genai),几行代码就能在单次调用中完成文本、图片和音频的联合嵌入处理:

from google import genai
from google.genai import types

client = genai.Client()

with open("example.png", "rb") as f:
    image_bytes = f.read()

with open("sample.mp3", "rb") as f:
    audio_bytes = f.read()

# 同时嵌入文本、图片和音频
result = client.models.embed_content(
    model="gemini-embedding-2-preview",
    contents=[
        "What is the meaning of life?",
        types.Part.from_bytes(
            data=image_bytes,
            mime_type="image/png",
        ),
        types.Part.from_bytes(
            data=audio_bytes,
            mime_type="audio/mpeg",
        ),
    ],
)

print(result.embeddings)

上面的代码逻辑很清晰:初始化客户端,指定预览版模型,然后在内容列表里依次传入文本字符串、以及转为字节流的图片和音频文件,模型就会直接吐出一个融合了多模态信息的向量结果。

生态兼容性方面也无需担心。除了官方提供的交互式Colab笔记本,主流的开发框架和向量数据库,像LangChain、LlamaIndex、Haystack,以及Wea viate、QDrant、ChromaDB和Vector Search等,都已经做好了支持。这意味着你可以很平滑地将它集成到现有的技术栈中,快速启动项目。

来源:https://www.53ai.com/news/MultimodalLargeModel/2026031129517.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

谷歌Gemini 3.1 Pro深夜发布 性能震惊业界
AI资讯
谷歌Gemini 3.1 Pro深夜发布 性能震惊业界

昨天,Google 正式发布了 Gemini 3 1 Pro。表面上看是一次常规迭代,但数据公布后,业内许多人感到惊讶——推理能力几乎翻倍,专业领域表现直逼顶级竞品,价格却保持不变。简单来说,这是一次“加量不加价”的精准打法。 先看几个核心指标:ARC-AGI-2 基准测试得分暴涨 146%,从 3

热心网友
05.28
AI软件全称的深度解析与未来发展趋势探讨
AI教程
AI软件全称的深度解析与未来发展趋势探讨

人工智能不仅是技术名词,更代表一个时代。其核心算法驱动技术发展,市场规模持续扩大,企业应用广泛提升效率。伴随应用深入,数据隐私与算法公平等伦理问题凸显。从图灵测试起,AI概念逐步演化,未来将更趋向多元融合与个性化发展,持续重塑工作与生活。

热心网友
05.28
彻底告别传统Prompt编程方式,Spec Mode开启AI编程全新范式
AI资讯
彻底告别传统Prompt编程方式,Spec Mode开启AI编程全新范式

面向复杂系统的SpecMode正成为AI编程新范式。它强调先撰写结构化功能规范,明确目标、边界与约束,再驱动AI分阶段生成代码。该模式通过前置规划解决起点偏差,以书面文档避免上下文坍塌,并将决策固化以确保过程可控,尤其适用于新系统搭建、大规模重构等高稳定性工程场景。

热心网友
05.28
AI PPT生成器提升演示文稿专业效果的方法
AI教程
AI PPT生成器提升演示文稿专业效果的方法

掌握PPT生成器AI,轻松提升演示效果制作PPT早已不是简单地把文字和图片堆砌在一起。如今的演示文稿,更像是一把能清晰传达想法、生动展示内容的利器。而PPT生成器AI的出现,让专业级的演示文稿变得触手可及——无需苦学设计,无需熬夜排版。下面几个实用技巧,能帮你充分释放它的潜力。方法一:选择合适的模板

热心网友
05.28
AI教育应用与教师角色探索三篇
AI教程
AI教育应用与教师角色探索三篇

篇报告:AI在教育中的应用我记得之前分享过一个观点:AI的到来,正在碘伏我们对教育这件事的传统认知。最明显的改变是什么?个性化学习体验。简单来说,AI系统会像个聪明的观察者,分析每个学生的学习习惯和成绩数据,然后量身定制专属的学习计划。这样一来,学生不再是课堂上被动听讲的听众,而是真正参与到自己学习

热心网友
05.28

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

Paralives首发销量充足 支撑后续开发无需DLC
游戏攻略
Paralives首发销量充足 支撑后续开发无需DLC

《Paralives》开发商承诺所有后续更新永久免费,拒绝付费DLC模式。15人小团队依靠首发销售额即可支撑多年运营,无需依赖额外内容包维持开发,展现了与《模拟人生》系列不同的差异化竞争思路。

热心网友
05.28
比亚迪宋Ultra DM-i上市12.99万 承诺城市领航安全兜底
业界动态
比亚迪宋Ultra DM-i上市12.99万 承诺城市领航安全兜底

2025年5月28日,比亚迪王朝网全新力作——宋Ultra DM-i正式推向市场,共推出5款配置车型,官方售价区间为12 99万至15 99万元。此次定价策略极具突破性:一款拥有310公里纯电续航能力的中型插电混动SUV,直接下探至13万元级别市场。作为王朝网络的新旗舰,该车明确瞄准高频出行需求场景

热心网友
05.28
折叠屏iPhone Ultra外观已定,第三方保护壳亮相
科技数码
折叠屏iPhone Ultra外观已定,第三方保护壳亮相

先来关注一个有趣的细节:苹果首款折叠屏手机,传闻将于今年秋季正式亮相。产品命名可能为iPhone Ultra,也有媒体称之为iPhone Fold——无论最终叫什么,这都将标志着苹果在折叠形态领域首次“出手”。 近日,配件厂商iFunSmart已率先上架iPhone Ultra的首批保护壳——这绝非

热心网友
05.28
山寨币ETF批量上市后市场表现分析 哪些项目值得关注
web3.0
山寨币ETF批量上市后市场表现分析 哪些项目值得关注

山寨币ETF迎来批量上市潮,首批项目市场表现如何?一文分析 Binance币安 欧易OKX ️ Huobi火币️ 最近,市场出现了一个不容忽视的新动向:XRP、DOGE、LTC、HBAR等现货ETF已经悄然登陆美国市场。与此同时,A VAX、LINK等资产的同类产品也正在审批流程中。进入11月以来,

热心网友
05.28
即使在大幅涨价后 Steam Deck 玩家热情依旧再次售罄
游戏攻略
即使在大幅涨价后 Steam Deck 玩家热情依旧再次售罄

近日,公司对SteamDeck1TBOLED版涨价300美元至949美元,上架短短不到24小时便再度售罄。据外界分析,该公司从中国大量补货并分批投放库存,高溢价未影响众多玩家的抢购热情与速度,其人气极其旺盛无比足以支撑快速清空。

热心网友
05.28