Meta 开源新模型 ImageBind：六模态统一，一个嵌入空间搞定一切
你是否曾想象过，一张海滩照片能同时唤起海浪拍打的声音、沙粒的触感、海风的清凉，甚至一首与之相关的诗？在人类的感知系统中，图像天然具备这种“绑定”属性——它能够将多种感官体验聚合在一起。对于人工智能而言，这种绑定也为学习视觉特征提供了丰富的监督信号。理想情况下，一个联合嵌入空间应当通过对齐所有感官模态来学习视觉特征，但这需要同一组图像配对所有感官类型的配对数据，这显然不现实。
以往的方法通常只处理一两对模态（例如图像-文本、图像-音频），最终的嵌入空间也因此局限于训练时使用的模态对。视频-音频嵌入无法直接应用于图像-文本任务，反之亦然。根本障碍在于缺乏涵盖所有模态融合的大规模多模态数据集。
Meta AI 今日发布的 ImageBind 绕开了这一困境。它利用多种类型的图像配对数据（比如图像-文本、视频-音频、图像-深度等）来学习一个共享表示空间，无需所有模态同时出现的数据集。借助图像的绑定属性，只要每个模态的嵌入与图像嵌入对齐，所有模态便能迅速对齐。代码现已开源。
论文地址：https://dl.fbaipublicfiles.com/imagebind/imagebind_final.pdf
GitHub 地址：https://github.com/facebookresearch/ImageBind
具体来说，ImageBind 利用互联网规模的图像-文本配对数据，同时结合自然存在的视频-音频、图像-深度等配对数据，学习单一的联合嵌入空间。这样一来，文本嵌入便能隐式地与音频、深度等其他模态对齐——即使没有显式的语义或文本配对，也能在这些模态上实现零样本识别。
值得注意的是，ImageBind 可以使用大规模视觉语言模型（如 CLIP）进行初始化，从而直接继承丰富的图像和文本表示。因此，只需少量训练即可扩展到不同模态和任务。
这是 Meta 多模态 AI 系统规划的一部分——让 AI 能够从所有相关数据类型中学习。随着模态数量的增加，ImageBind 为研究人员打开了探索全新整体性系统的大门：例如结合 3D 和 IMU 传感器来设计或体验沉浸式虚拟世界，或者利用文本、视频和图像的组合来搜索图像、视频、音频或文本信息，实现更丰富的记忆探索方式。
绑定内容与图像：学习单一嵌入空间
人类仅凭少量样本就能学会新概念——读一段动物描述即可认出实物，看一张不熟悉汽车的照片就能推测其引擎声。这是因为单张图像能够将整体感官体验“捆绑”在一起。而在 AI 领域，尽管模态数量不断增加，多感官数据的缺乏始终限制着需要配对数据的多模态学习。
理想情况下，一个包含多种数据类型的联合嵌入空间能让模型在学习视觉特征的同时掌握其他模态。但过去需要收集所有可能的配对数据组合才能实现。ImageBind 巧妙地规避了这一难题：它利用最近大型视觉语言模型的能力，将零样本能力扩展到新模态——通过与图像自然配对的数据（视频-音频、图像-深度等）来学习联合嵌入空间。对于音频、深度、热成像和 IMU 读数这四种模式，研究人员使用了自然配对的自监督数据。
通过将六种模态的嵌入对齐到公共空间，ImageBind 能够跨模态检索未同时观察到的不同类型内容，还能通过叠加不同模态的嵌入自然地组合它们的语义。例如，结合 Meta AI 的音频嵌入与预训练 DALL·E 2 解码器（原本设计用于 CLIP 文本嵌入），就能实现音频到图像的生成。
互联网上大量图像-文本配对数据让训练这类模型成为可能。ImageBind 正是利用了图像能与各种模态相连接的绑定属性——从网络数据获取文本-图像连接，从穿戴 IMU 传感器的可穿戴相机获取运动-视频连接。
从大规模网络数据中学到的视觉表征可以反过来作为学习不同模态特征的目标。图像与同时出现的任何模态对齐后，这些模态自然就彼此对齐了。热图、深度图这类与图像相关性强的模态更容易对齐；音频和 IMU 等非视觉模态相关性较弱（比如婴儿哭声可能搭配各种视觉场景），但 ImageBind 依然能够处理。
实验表明，图像配对数据足以将六种模态绑定在一起。模型能够更全面地理解内容，让不同模态相互“对话”，即使从未同时观察过它们也能找到联系。例如，ImageBind 能在没有同时观察音频和文本的情况下将二者联系起来。这意味着其他模型可以“理解”新模态，无需资源密集型的训练。
这种强大的扩展性让 ImageBind 能够替代或增强许多现有 AI 模型。比如 Make-A-Scene 原本用文本 prompt 生成图像，ImageBind 可以将其升级为用音频生成图像——笑声、雨声都能变成视觉内容。
ImageBind 的卓越性能
Meta 的分析显示，ImageBind 的扩展行为随图像编码器的增强而提升。换句话说，模态对齐的能力随着视觉模型的能力和大小同步增长。这意味着更大的视觉模型对非视觉任务（如音频分类）也有好处，训练大模型的好处远不止计算机视觉本身。
在实验中，研究人员将 ImageBind 的音频和深度编码器与之前 zero-shot 检索以及音频、深度分类任务中的工作进行了对比。
在基准测试上，ImageBind 在音频和深度方面全面超越了专家模型。它还能用于少样本音频和深度分类任务，并且远优于之前定制的方法——比如明显超越了 Meta 在 Audioset 上训练的自监督 AudioMAE 模型以及监督微调版本。
更令人印象深刻的是，ImageBind 在跨模态零样本识别任务上取得了新的 SOTA 结果，甚至超过了那些专门针对该模态概念训练的最新模型。