上个月，GPT-4正式发布时，许多用户分享了其关键特性，其中最受关注的就是多模态能力。例如，发布会上演示的案例：输入一张图片——手套掉下去会怎样？GPT-4能够理解并输出：它会掉到木板上，并且球会被弹飞。再比如，给GPT-4一张外形奇怪的充电器图片，询问为什么这很可笑？

GPT-4回答道：VGA线充iPhone。用户甚至还可以直接手绘一个网站草图，拍照后传给GPT-4，它就能立即生成对应的代码。

但时间过去了这么久，GPT-4的这项图像识别功能却迟迟未对公众开放。就在大家翘首以盼之际，一个名为MiniGPT-4的开源项目悄无声息地完成了这一任务。

没错，其核心目标正是增强视觉语言理解能力。MiniGPT-4背后的研发团队来自KAUST（沙特阿卜杜拉国王科技大学），由几位博士共同开发。

该项目不仅完全开源，还提供了网页版演示Demo，用户可以直接访问并体验。

在线体验：https://minigpt-4.github.io

GitHub仓库：https://github.com/Vision-CAIR/MiniGPT-4

论文：https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf

MiniGPT-4同样基于一些开源大模型训练而成。团队将图像编码器与开源语言模型Vicuna（小羊驼）进行整合，并冻结了大部分参数，仅训练了极少部分。

训练过程分为两个阶段。在传统预训练阶段，使用4张A100显卡，配合500万图文对数据，仅需10小时即可完成。此时训练出的Vicuna已经能够理解图像内容，但生成能力有限。随后进入第二阶段——微调，利用少量高质量数据集，计算效率极高，单张A100只需7分钟。

团队还在准备一个更轻量级的版本，部署仅需23GB显存，这意味着未来或可在部分消费级显卡上实现本地训练。

来看看几个实际案例。例如，上传一张食物照片，就能获得相应的菜谱。

或者提供一张商品图片，让它帮忙撰写一篇营销文案。

当然，也可以像GPT-4发布会上演示的那样，画出一个网页草图，让它自动生成代码。

可以说，GPT-4发布会上展示过的功能，MiniGPT-4基本都实现了。这一点确实令人惊叹！

可能由于目前使用人数较多，在MiniGPT-4网页Demo上试用时，偶尔会遇到排队等待的情况。

不过用户也可以自行本地部署服务，步骤并不复杂。首先下载项目并准备环境：

git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigpt4

然后下载预训练模型：

最后在本地启动Demo：

python demo.py --cfg-path eval_configs/minigpt4_eval.yaml

通过这个项目，也可以再次看到大模型在视觉领域的可行性。未来在图像、音频、视频等多模态应用方面的前景十分广阔，值得持续关注。