大型语言模型LLM（Large Language Model）虽然拥有强大的通用知识和逻辑推理能力，但天生只能处理文本。即便是GPT-4具备图片理解能力，但目前尚未开放多模态输入接口，也不会透露技术细节。因此，在现阶段，如何利用LLM完成视觉-语言（vision-language）多模态任务，依然是值得探索的方向。

本文系统梳理了近两年来基于LLM的视觉-语言任务研究成果，将它们分为四大类别，并选取代表性工作进行详细解读。无论你是刚入门多模态领域的开发者，还是希望将LLM与视觉能力结合的研究者，都能从中获得清晰的思路与实操参考。

一、利用LLM作为理解中枢，调用多模态模型

这类方法的核心理念是：让LLM充当“总调度员”，通过精心设计的提示工程（Prompt Engineering）来指挥多个视觉基础模型（Visual Foundation Models）协同工作。用户只需与LLM对话，LLM就会自动判断需要调用哪些视觉模型、以何种顺序执行，从而实现图像理解、编辑、生成等一系列复杂操作。

代表性工作：Visual ChatGPT（2023）

目标：打造一个既能与用户进行视觉内容对话，又能完成画图、修图等任务的系统。

方案：以ChatGPT为核心，通过Prompt Manager向ChatGPT描述各个基础模型的用途、输入输出格式，让ChatGPT自主决定调用策略。例如，用户说“把这幅画的风格改为梵高”，ChatGPT就会调用风格迁移模型来完成。

图1：Visual ChatGPT系统示意图

另一个典型：MM-REACT（2023）

同样来自微软，思路与Visual ChatGPT类似，但更侧重于视觉的通用理解与解释。它集成了多个Microsoft Azure API，例如名人识别、票据识别、Bing搜索等，能够处理更广泛的视觉任务。