一、摘要
多模态模型训练，成本高、门槛高，一直是落地痛点。BLIP-2的出现提供了一条高效路径：它通过一个叫Q-Former（Querying Transformer）的桥接模块，将预训练好的视觉模型和语言模型无缝对接，让图片和文本两种模态能够协同工作。核心思路很简单——把已有的视觉和语言能力拎过来直接用，而不是从头训两个大模型。这样一来，既提升了多模态效果，又大幅降低了训练成本。
二、模型结构
BLIP-2由三个核心组件构成：预训练的Image Encoder、预训练的Large Language Model，以及负责连接两者的Q-Former。
Image Encoder：负责抽取图片的视觉特征，常用的有CLIP、EVA-CLIP、SIGLIP等。
Large Language Model：负责文本生成，比如各类LLM。
Q-Former：桥接视觉和语言模态的关键。它包含两个共享自注意力层的transformer子模块——Image Transformer和Text Transformer。
Image Transformer与冻结的image encoder交互，提取视觉特征。
Text Transformer可以同时充当文本编码器和解码器。
query输入到image transformer中，通过自注意力层相互交互，并通过交叉注意力层与冻结的图像特征交互。
query还能通过相同的自注意力层与文本交互。具体怎么交互，取决于预训练任务——通过不同的自注意力掩码来控制query与文本之间的交互。
Q-Former用Bert-base初始化，但cross-attention的权重是随机初始化的。
三、训练方法
训练分为两个阶段：
视觉-语言桥接学习阶段：冻结视觉模型和语言模型，只训练Q-Former。
视觉-语言生成学习阶段：冻结语言模型，继续训练Q-Former。
1. 视觉-语言桥接训练阶段
Image-Text Contrastive Learning (ITC) 图像-文本对比学习
目标：通过最大化图像表示和文本表示之间的互信息，实现两者的对齐。具体做法，就是对比正对（匹配的图像-文本对）和负对（不匹配的对）之间的图像-文本相似度。
方法：为了避免信息泄漏，这里用到了单模态自注意力掩码——query和text彼此看不到对方。text经过text transformer后，输出[CLS]的token embedding（记为符号t），而query经过image transformer后输出向量Z（Z表示一个batch内所有query的输出）。然后计算Z与t两两之间的相似度，从中选出最高的那个作为图-文相似度。
Image-grounded Text Generation (ITG) 图像支持文本生成
目标：以输入图像为条件，生成对应的文本，从而训练Q-Former。
方法：由于Q-Former的架构不允许冻结的图像编码器和text tokens直接交互，因此生成文本所需的信息必须先从query中抽取出来，再通过自注意力层传递给text tokens。结果就是，query被迫提取那些能覆盖所有文本信息的视觉特征。具体实现上，采用多模态因果自注意力掩码来控制query-text间的交互。这种掩码允许batch内的query互相交互，但不允许query与text交互；而text可以跟所有query交互，也能跟自己前面的token交互。另外，这里用[DEC]代替[CLS]作为text的第一个token，作为解码任务的标志。
Image-Text Matching (ITM) 图像-文本匹配
目标：学习图像和文本表示之间更精细的对齐。这是一个二分类任务，模型需要判断图像-文本对是匹配（正对）还是不匹配（负对）。
方法：使用双向自注意力掩码，允许所有query和text之间自由交互。这样一来，query输出的嵌入Z就捕捉到了多模态信息。接下来，把Z送入一个二分类线性层得到logit，然后对所有query输出的logit取平均，作为最终的匹配分数。
2. 视觉-语言生成训练阶段
在生成预训练阶段，Q-Former与冻结的LLM连接起来，让LLM来生成文本。具体做法：通过一个全连接层，将输出的query嵌入线性投影到与LLM文本嵌入相同的维度，然后把投影后的query embedding直接添加到输入文本的embedding前面。由于Q-Former已经通过第一阶段预训练，能够提取包含语言信息的视觉表示，所以它就像一个高效的信息瓶颈——只把最有用的信息传递给LLM，同时过滤掉不相关的视觉信息。这样既减轻了LLM学习视觉-语言对齐的负担，也有效缓解了灾难性遗忘问题。