视觉多模态模型正式迈入 MoE 时代
在上一代 DeepSeek-VL 发布九个月后，全新 DeepSeek-VL2 终于重磅亮相。这一次，MoE 架构与动态切图的协同配合，让视觉能力实现了质的飞跃。从视觉定位到梗图解析，从 OCR 识别到故事生成，该模型提供 3B、16B 和 27B 三种参数规格，现已全部开源。
模型亮点
- 训练数据量相较上一代翻了一番，并新增了梗图理解、视觉定位、视觉故事生成等核心能力。
- 视觉模块采用智能切图策略，支持任意动态分辨率的图像输入；语言模块则运用 MoE 架构，在保持高性能的同时有效平衡了计算成本。
- 延续三阶段训练流程，通过负载均衡机制适配不定数量的图像切片，对图像和文本数据分别采用不同的流水并行策略。MoE 语言模型引入专家并行技术，大幅提升了训练效率。
目前，模型权重与相关论文已同步公开发布。
测评结果
从多项评测指标来看，DeepSeek-VL2 的表现全面超出预期，优势十分显著。
案例展示
动态分辨率支持
DeepSeek-VL2 仅采用单颗 SigLIP-SO400M 作为图像编码器，通过将图像分割为多张子图并附加一张全局缩略图的方式，巧妙实现了动态分辨率支持。该方案使模型最高可处理 1152×1152 分辨率图像，同时也能从容应对 1:9 或 9:1 等极端长宽比场景，极大拓展了适用范围。
图表理解
得益于大量科研文档数据的注入，DeepSeek-VL2 能够准确理解并解读各类科研图表。
Plot2Code
融合图像理解与代码生成的双重能力，DeepSeek-VL2 已成为逆向还原绘图任务的得力助手。
Prompt: Draw a plot similar to the image in Python.
梗图识别
更大规模、更多样化的训练数据让 DeepSeek-VL2 能够精准解析各类 Meme，有时它的理解能力甚至超越人类。
Visual Grounding
大语言模型的视觉能力已远不止于封闭类别的物体识别。
- Zero-shot grounding（零样本定位）：用户可通过任意自然语言描述，让 DeepSeek-VL2 在图像中精准定位目标区域（模型仅输出边界框坐标，不直接在原图画框）。例如，在下图中定位“DeepSeek Whale”（吉祥物虎鲸）。
- In-context grounding（上下文定位）：仅需提供一个示例，模型即可举一反三。Prompt：
<|grounding|>In the first image, an object within the black ellipse is highlighted. Please locate the object of the same category in the second image. - Grounded conversation（基于定位的对话）：融合视觉感知与语言推理能力，实现更丰富的交互式对话。例如，拿着下图询问“If you feel hot, what will you do?”，模型会回答：“To cool down, you can use <|ref|>the fan<|det|>[[166, 460, 338, 712]] which is sitting on the desk.”
Visual Storytelling
用户可以输入多张图像，让 DeepSeek-VL2 将它们串联成一段生动有趣的童话故事。
视觉模型的未来
视觉是人类获取信息的主要通道，约占信息总量的 80%。但在大模型时代，视觉领域的发展速度始终慢于语言模型。有一点毋庸置疑：提升模型的视觉理解能力，不仅是为了扩展输入模态，更是全方位提升人工智能感知与认知水平的关键一步。