随着Gemini和GPT-4o等全模态系列的发布，业界对这些能同时处理文本、图像、语音和视频的端到端模型越来越关注。这类模型的核心魅力在于——用一个统一的架构支持多种模态的输入输出，既能看图说话，也能文生图。本文就来梳理一下近期比较有代表性的工作，看看各家在“全模态”这条路上都做了哪些探索。

Emu

论文：Emu: Generative Pretraining in Multimodality
地址：https://arxiv.org/abs/2307.05222
代码：https://github.com/baaivision/Emu

Emu的工作思路比较典型的“编码-语言模型-解码”三段式：
a. 视觉编码：先用EVA-CLIP做图像编码，再通过一个Causal Transformer对2D信息进行建模，其中query是自定义向量，key和value来自视觉编码结果。
b. 语言模型训练：用LLM做next-token学习，文本token算交叉熵，图像token算L2损失。
c. 视觉解码：用Stable Diffusion初始化，把LLM输出的visual embeddings作为条件送入SD，并把SD的cross-attention线性投影层维度调整到适配visual embeddings的尺寸。
d. 解码器训练：只训练U-Net，其他参数不动。

NExT-GPT

论文：NExT-GPT: Any-to-Any Multimodal LLM
地址：https://arxiv.org/abs/2309.05519
主页：https://next-gpt.github.io/

NExT-GPT追求的是真正的任意模态到任意模态：
a. 多模态编码：用ImageBind的编码器，各模态的损失用各自的caption。
b. 多模态解码：核心目标是让扩散模型与LLM的指令保持一致。做法是最小化LLM输出的模态信号token表示与扩散模型（图像用Stable Diffusion，视频用Zeroscope，音频用AudioLDM）条件文本表示之间的距离。训练时只调整不同模态的Linear和LoRA，同时增加扩散损失，所以训练非常轻量。

Emu2

论文：Generative Multimodal Models are In-Context Learners
地址：https://arxiv.org/abs/2312.13286
主页：https://baaivision.github.io/emu2

Emu2在Emu基础上做了升级：
a. 视觉编码器换成EVA-02-CLIP-E-plus，LLM用LLaMA-33B，解码器用SDXL。
b. 一阶段：在图像和视频pair对上做caption学习。
c. 二阶段：冻结视觉编码器，使用文本分类损失和图像回归损失。
d. 三阶段：训练视觉解码器，与Emu1的区别在于训练时不再用LLM输出的visual token，而是直接用视觉编码器的输出，同样只训练U-Net。

LWM

论文：World Model on Million-Length Video And Language With Blockwise RingAttention
地址：https://arxiv.org/abs/2402.08268
主页：https://largeworldmodel.github.io/lwm/

LWM专注于超长序列：
a. 视觉编码用VQGAN做离散化，256×256分辨率映射为256个token。
b. 训练采用next-token预测，关键技术创新是RingAttention、Blockwise Transformers和masked sequence packing，以解决长序列问题。

Chameleon

论文：Chameleon: Mixed-Modal Early-Fusion Foundation Models
地址：https://arxiv.org/abs/2405.09818
代码：https://github.com/facebookresearch/chameleon

Chameleon采用早期融合：
a. 视觉编码用VQ-VAE进行图像token离散化，512×512→1024个token，词表大小8192。
b. 纯next-token预测训练。

SEED

论文：Planting a SEED of Vision in Large Language Model
地址：https://arxiv.org/abs/2307.08041
代码：https://github.com/AILab-CVC/SEED

SEED的思路是先训练一个专用的tokenizer：
a. 训练Causal Q-Former，用SD的Text Encoder做对比损失；再学习Visual Quantization and De-tokenization，让生成嵌入与SD文本编码器的输入靠近，ViT编码器和SD解码器参数不参与学习。
b. 进入LLM阶段，做next-token预测。

Transfusion

论文：Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model
地址：https://arxiv.org/abs/2408.11039
代码：https://github.com/lucidrains/transfusion-pytorch

Transfusion将文本自回归与图像扩散统一在同一个Transformer中：
a. 用VAE编码和解码图像，线性层换成U-Net。
b. 文本做自回归，图像用自编码+扩散方式，通过Transformer实现多步生成。

Show-o

论文：Show-o: One Single Transformer to Unify Multimodal Understanding and Generation
地址：https://arxiv.org/abs/2408.12528
代码：https://github.com/showlab/Show-o

Show-o的思路与Transfusion类似，但尝试了离散扩散（如MaskGIT和Muse）。需要注意的是，Muse多了一个超分辨率模型来学习高层次语义，不能说连续扩散就比离散扩散好——离散图像tokenizer没有像CLIP那样用超大图文对训练过。图像用MAGVIT-v2离散化，256×256→256个token。

图像生成部分用MaskGIT方式：自回归解码时后面的token依赖前面所有信息，不能并行；而双向注意力可以并行生成。
（补充：最近DeepMind的FLUID消融实验表明，Random Order预测+Token连续方式效果更好。）

Show-o的具体做法是：每次迭代中模型同时预测所有token，只保留置信度最高的token，剩余的在下次迭代中重新预测，掩码比例逐渐减小，直到所有token生成。

Emu3

论文：Emu3: Next-Token Prediction is All You Need
地址：https://arxiv.org/abs/2409.18869
主页：https://emu.baai.ac.cn/

Emu3彻底走向了纯next-token预测：
a. 图像基于SBER-MoVQGAN训练离散化tokenizer，512×512→4096个token，词表大小32768。
b. 统一用next-token预测。但可能是生成和理解互相影响，最终分成了理解和生成两个模型。

总结

回顾这些工作，目前的主流做法依然是图生文和文生图分开处理：图生文走ViT+LLM路线，文生图走扩散模型路线。但全模态大模型正在努力把两者统一起来，大致分三个方向：将图像、音频等变成离散token做自回归预测（如Emu3、Chameleon）；将自回归与扩散融合在同一个Transformer中（如Transfusion、Show-o）；以及把LLM输出的视觉嵌入直接作为Stable Diffusion的条件输入（如Emu系列）。

每种方式都有各自的利弊，也都还处在早期探索阶段。可以确信的是，全模态大模型是未来值得持续深挖的方向——它有望实现端到端的多模态训练、集成全模态的输入输出，以及真正强大的多模态理解与生成能力。