引言：三大“类GPT-4”多模态模型解析
2023年3月14日，OpenAI发布了GPT-4多模态大模型，但仅开放了文本接口，其多模态能力一直未向公众开放体验。学术界与工业界迅速跟进，开源了一批多模态大模型。其中热度最高的三个同期工作分别是LLaVA、MiniGPT-4和mPLUG-Owl。本文将从模型结构、训练策略、实验分析等角度，带您深入理解这三项工作的异同，并探讨“类GPT-4模型”的研究方向。
根据mPLUG-Owl论文中的对比图，这三项工作的主要区别如图所示。总体来看，模型结构和训练策略大同小异，核心差异在于：LLaVA和MiniGPT-4冻结了基础视觉编码器，而mPLUG-Owl将其放开，从而获得了更好的视觉-文本跨模态理解效果。此外，mPLUG-Owl首次构建并开源了视觉指令理解测试集OwlEval，通过人工评测对比了已有模型（包括BLIP2、LLaVA、MiniGPT-4以及MM-REACT）。
▲ 图1: mPLUG-Owl vs MiniGPT4 vs LLaVA
一、LLaVA：首次利用图文指令数据将LLM拓展至多模态
自然语言处理领域的指令微调（Instruction Tuning）能够帮助大语言模型理解多样化指令并生成详细回答。LLaVA首次尝试构建图文相关的指令微调数据集，将LLM拓展到多模态领域。
- 数据构建方式：基于MSCOCO数据集，每张图包含5个较简短的ground truth描述和object bbox（类别+位置）。将这些文本输入到text-only GPT4，通过prompt让GPT4生成3种类型的文本：
- 关于图像中对象的对话
- 针对图片的详细描述
- 与图片相关的复杂推理过程
模型结构
采用CLIP的ViT-L/14作为视觉编码器，采用LLaMA作为文本解码器，通过一个简单的线性映射层将视觉编码器的输出映射到文本解码器的词嵌入空间。结构如图2所示。
▲ 图2: LLaVA模型结构
模型训练
- 第一阶段：跨模态对齐预训练。从CC3M中通过限制caption中名词词组的最小频率过滤出595k图文数据，冻住视觉编码器和文本解码器，只训练线性映射层。
- 第二阶段：指令微调。针对多模态聊天机器人场景，使用自建的158k多模态指令数据集微调；另一版针对Science QA数据集微调。此阶段线性层和文本解码器（LLaMA）都会优化。
实验分析
- 消融实验：在30张MSCOCO val图片上，每张设计3个问题（对话、详细描述、推理），参考Vicuna的GPT4打分方法，报告相对text-only GPT4的相对值。
- SOTA对比：在Science QA上微调的版本实现了该评测集上的最优效果。