Molmo+2重磅发布：全球最强开源视频理解模型上线

首页

热心网友

转载

2026-01-23

如果说Molmo让AI学会了在图片里“指手画脚”，那么Molmo 2则更进一步，它教会了AI如何在视频中追踪事件、捕捉动作细节，甚至能够准确计数——真正实现了对动态场景的时空联合理解。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

无论是智能手机、自动驾驶，还是工业传感领域，视频正日益成为AI认知世界的一种新“语言”。如今，Molmo 2的诞生，让开源模型也能看懂视频里的每一帧画面，理解其中每一个细微的变化。

2025年12月11日，艾伦人工智能研究所正式发布了Molmo 2。这是一款为下一代视频理解、空间定位与跨帧追踪而专门设计的开源多模态大模型。它不仅能够在多项权威评测中超越如Gemini 3 Pro、GPT-5等闭源系统，更首次将这种视频级的“指哪打哪”能力带入了开源社区的视野。

为什么 Molmo 2 值得关注？

Molmo 2 是对2024年备受瞩目的Molmo图像理解模型的全面升级。如果说初代Molmo让AI学会了在静态图片中识别并指向物体，那么Molmo 2则让AI掌握了在动态视频里追踪事件、定位动作和进行精确计数的能力，从而真正实现了对时空信息的联合理解。

核心突破：

视频原生理解：支持单图、多图和任意长度视频输入。精准时空定位：不仅能回答“发生了什么”，还能明确指出“在哪一帧、哪个位置”。高效小模型：8B参数版本性能碾压上一代72B模型，训练数据仅为竞品的1/8。完全开源：采用Apache 2.0许可，提供三种架构选择，包含全栈开源的Olmo版本。

三大模型变体，满足不同场景需求

体积虽小，能力却大：Molmo 2（8B）在图像指代、视频追踪等任务上全面超越了上一代72B参数的Molmo，这充分证明了“精炼数据+精准目标”的策略远比盲目堆叠参数更为有效。

性能碾压：开源第一，闭源也难挡

Molmo 2在多个维度刷新了开源模型的纪录：

视频追踪：大幅超越Gemini 3 Pro及所有开源多模态视觉模型。短视频问答：在NextQA、PerceptionTest、MVBench等7项基准平均得分位列开源第一。人类偏好评估：其8B版本领先于Qwen3-VL-8B，甚至在某些方面超越了GPT-5和Claude Sonnet 4.5。视频计数与定位：它是唯一能通过“返回坐标+时间戳”来精确回答“多少次”这类问题的开源模型。

举例：

问：“机器人几次抓起红色积木？” → 模型返回每次抓取对应的帧号与积木坐标。问：“杯子什么时候掉的？” → 返回精确时间戳与掉落位置框。问：“穿条纹衬衫的人何时秀肌肉？” → 自动追踪人物ID，并标记所有相关事件的时空点。

技术亮点：为“接地”而生

Molmo 2的核心设计理念是Grounding（接地）——即让语言信号与视觉信息在空间和时间上实现精准对齐。

统一架构：视觉编码器 + 轻量连接器 + 强大语言模型。跨帧注意力：不同帧的视觉片段可以相互关注，显著提升追踪稳定性。SlowFast推理策略：关键帧采用高分辨率处理，非关键帧采用低分辨率分析，兼顾精度与效率。16,384超长上下文：能轻松处理长视频或多图输入。

900万+视频样本，打造高质量开源数据集

为训练Molmo 2，艾伦人工智能研究所构建了史上规模最大的视频接地数据集，包含9个全新子集：

Molmo2-Cap：涵盖10.4万视频与43.1万片段，每段均配有数百字的密集描述。Molmo2-VideoPoint：包含30万+查询，专门用于训练模型的“指物+计数”能力。Molmo2-VideoTrack：支持自然语言查询的物体追踪。Molmo2-MultiImageQA：涉及跨2-5张相关图像的复杂问答。

所有数据集都将开源发布，助力社区构建更强大的视频理解系统。