好家伙！

CVPR刚落下帷幕，会上热议的技术方向，已被一家杭州团队成功部署至端侧设备！

今日，Om AI 正式发布了全球首个面向物理世界的端侧流式多模态模型系列——

VLX。

VLX系列聚焦真实世界中的端侧与具身智能场景，共包含三款模型，将在三天内陆续发布：

• VLX-Flow：实时流式感知模型，让视频流像水流一样持续输入，模型实现实时观察、实时思考、实时更新对世界状态的认知。
• VLX-Seek：精准定位模型，从“看见”进阶到“看清”，快速锁定目标对象。
• VLX-Go：行动决策模型，将感知与定位的结果直接转化为实际动作——明确移动方向、执行操作步骤，一气呵成。

这三款模型紧密衔接，共同构建了多模态模型在持续感知、精确定位与行动决策方面的能力闭环。同时，其原生端侧设计，使其能够真正应用于手机、无人机、机器人等各类端侧设备。

值得一提的是，这并非Om AI首次在视觉语言（VL）领域发力。去年，他们推出了全网爆火的VLM-R1。

作为全球首个将DeepSeek R1强化学习范式引入视觉语言模型的开源项目，VLM-R1上线12小时内即获得超过2000颗GitHub Star，48小时内登顶GitHub全球趋势榜单，迄今已累计收获6000余颗Star。

如今，他们带来的全新答卷，便是VLX。

一条通往物理世界的能力链路

为了深入理解VLX的技术路径，我们可以将其关键词拆解为两部分：端侧与流式多模态。我们先探讨后者。

所谓流式多模态，即让AI能够持续、实时地感知物理环境，最终形成一条完整的能力链路：

感知（Perception）→ 精准定位（Grounding）→ 行动（Action）。

这不同于我们以往在语音助手中体验到的“流式多模态”。语音助手侧重于人与AI的实时交互，而VLX则专注于AI在物理世界中持续观察、判断，并最终驱动行动，实现从“看图”到“做事”的跨越。

这种定位差异，反映了VLM角色正在发生转变。随着具身智能、空间智能、视频生成等领域快速发展，VLM已不仅仅是大语言模型（LLM）的一个能力模块，而是逐步演变为空间理解、视频理解乃至动作规划的新一代基础架构。

这意味着，VLM不仅要具备看图说话的能力，更需拥有持续感知、精准定位和驱动行动的能力，从而为下游任务提供统一、精准的基础支撑。

一个明显的信号来自今年的CVPR大会。

数据显示，VLM及多模态相关论文的占比已从去年的4.9%增长至10.6%，近乎翻倍，成为近年来增长最为迅速的研究方向之一。在论文数量激增的背后，最值得关注的两个关键词便是实时感知（Streaming）与定位（Grounding）。

（注：Grounding的核心是让模型根据一句自然语言描述，在图像或视频中准确找到对应的对象、区域和概念。）

VLX的整体设计正是围绕这两个方向展开，并进一步将能力延伸至最终的行动环节。

VLX-Flow：流式推理

首先是VLX-Flow，负责持续感知，解决的是“看见”的问题。

在真实世界中，物体始终处于运动状态，环境与状态瞬息万变，视角切换也时常发生。一次性的观察难以应对这种动态、开放且持续变化的环境。因此，模型必须像人类一样不断接收新信息，并持续更新对环境的理解。

传统视频模型通常将整段视频切分成帧，一次性送入模型进行离线理解。一旦视频变长，计算成本便急剧攀升，还容易丢失前文信息，难以支持实时交互。

为解决这一难题，Flow采用流式处理方式：让画面像水流一样持续涌入，通过增量编码与缓存机制不断更新视觉状态，既无需反复计算历史数据，也不会因视频变长而丢失信息。

在技术层面，Flow采用线性注意力机制（Linear Attention）替代标准注意力机制，并结合双层记忆结构，使得视频流能够持续输入而不会因上下文增长导致显存溢出。也就是说，它无需等待视频播放完毕再进行理解，而是在观看过程中同步更新环境认知，必要时还能主动发起交互，实现实时视频流下的低延迟响应。

然而，持续“看见”只是第一步，模型还必须明确究竟该看向何处。

VLX-Seek：精细感知

接下来是VLX-Seek，负责精细感知，解决的是“看得准”的问题。

以机器人为例，仅知道“前面有一把椅子”远远不够，它还需要准确掌握目标的具体位置与身份，才能完成跟随、抓取、导航、避障等后续动作。

但这恰恰是许多通用VLM的短板。它们虽然擅长高层语义理解，却在精确定位、开放词汇检测及细粒度Grounding等任务上表现有限，难以满足真实世界的应用需求。

传统方法多采用自回归方式，逐个坐标地预测目标位置，不仅速度缓慢，还容易产生偏差。Seek则另辟蹊径——它不再“猜测坐标”，而是先生成候选区域，再进行检索与匹配，将定位过程转化为“选择区域”的过程。

具体而言，Seek使用Region Token替代传统的坐标生成方式，在保持识别能力的同时，大幅降低了模型尺寸与端侧部署成本。这种方式更贴合视觉感知任务本身，因此即便模型规模更小，也能在开放词汇检测、细粒度定位及实时跟踪等任务中保持稳定表现，非常适合实时追踪与端侧部署场景。

然而，对于物理世界而言，“看得准”依然不是终点，真正的目标是行动。

VLX-Go：运动执行

最后是VLX-Go，负责行动执行，解决的是“动得了”的问题。

对于机器人来说，理解环境仅是第一步，真正关键的是将理解转化为实际行动。传统VLM即便知道“目标在左前方”，最终也大多停留在文字回答层面；真正走过去、绕过障碍、持续跟踪目标，仍需额外的控制系统来完成。

Go则进一步打通了这一环节。它通过单目视频、历史视觉记忆与自然语言指令作为输入，直接将这些信息处理成机器人可执行的短时航点，预测未来一小段时间内应如何运动，而不仅仅是输出一句文字建议。

同时，Go结合离线轨迹学习与在线强化学习，在仿真闭环中不断优化运动策略，使机器人能够根据实时视觉反馈持续调整轨迹，在目标跟随、导航、动态避障等任务中保持稳定表现。

为满足端侧实时控制的需求，Go并未采用复杂的长链路规划，而是选择了更轻量的短时航点预测方案，仅需0.6B参数即可完成实时运动规划。

至此，VLX完成了从感知到定位再到行动的最后一块拼图。

值得强调的是，Flow、Seek、Go并非三个相互独立的模型，而是共享同一基座，在同一条视频流上实现端到端协作。从持续感知，到精准定位，再到行动决策，三者共同构成了VLX面向物理世界的完整能力链路。

反过来说，这也解释了为何仅靠一个通用VLM很难真正承载物理世界AI的闭环。因为只会看却找不准目标，或者看得准却不会行动，都无法真正完成任务。物理世界需要的，不是一个更擅长聊天的模型，而是一套能够从“看见”、“看清”衔接到“行动”，并持续稳定运行的系统。

VLX，正是Om AI提交的答卷。

那么，为什么这样一套系统必须部署在端侧？

Day1端侧原生架构

先说结论：对于机器人、无人机、摄像头等物理世界设备而言，端侧部署是模型真正落地的前置条件。

原因并不复杂。一个机器人在跟踪目标时，无法等待将视频上传至云端、完成编码、再将结果传回的几秒钟延迟。一架无人机在巡检避障时，也不能将“看见”与“行动”拆分成两个缓慢的离线步骤。更现实的是，许多场景本身受限于网络、隐私与算力条件——数据未必能上传，设备未必始终联网，真实的物理世界也不会停滞等待模型思考。

这意味着，当前许多云端多模态模型虽然功能强大，却并不天然适用于机器人与具身场景。因为真实世界是连续的、动态的、资源受限的。模型必须实时感知、快速响应，同时在有限的算力与部署成本下稳定运行，真正完成既定任务。

针对这一问题，行业常见做法是先训练一个尽可能大的模型，再通过量化、蒸馏等方式压缩至端侧运行。VLX则选择了另一条路径——它不是将云端模型缩小，而是从Day 1起，就按照端侧的算力约束重新设计整个系统。模型架构、推理方式及部署链路，从一开始就围绕实时视频流与端侧设备设计，而非待模型训练完成后，再想办法进行压缩部署。

本质上，这是两条截然不同的技术路线：一种是将云端模型裁剪适配至端侧；另一种，则是为端侧量身打造一套全新模型。

对此，Om AI的判断是：当你从Day 1起便为端侧设计，每一层都在算力约束下做出最优选择，结果往往是“小而精”超越“大而全”。

数据也印证了这一判断：Flow处理单路视频最快仅需0.06秒，同时能稳定处理多路视频流；Go凭借约十分之一的参数规模，取得了优于更大模型的导航表现；Seek则以3B级模型，在目标检测等任务上达到乃至超越更大规模通用模型的效果。

这正是VLX最独特之处——它追求的不是打造一个更大的通用VLM，而是围绕真实世界的约束条件，重新设计一套能够持续感知、精准定位、实时行动，并真正在端侧运行的多模态系统。

VLX，并非又一个VLM

在探讨完流式多模态与端侧之后，我们最终回到VLX本身。

VLX所做的，并非简单地将一个多模态模型迁移至端侧，而是首次将持续感知、精准定位、行动决策整合成一套能够长期连续运转的系统。因此，严格来说，端侧流式多模态并非一个“缩小版的VLM”，而是一种全新的模型形态。

过去几年，多模态模型的竞争焦点一直集中在参数规模、知识广度与推理能力上，而VLX则切换了赛道。它关心的并非模型能回答多少问题，而是能否长期融入真实世界，持续感知、实时响应，并最终完成行动。

这正是它区别于通用VLM的核心所在。通用VLM更擅长复杂知识问答、长文本推理与长视频总结；而VLX关注的则是另一类问题：机器人、无人机、摄像头等设备，如何在有限算力下持续理解环境，并形成行动闭环。

当然，两者并非非此即彼的替代关系，而是面向不同场景的能力分工。云端模型继续追求更强的推理与知识能力；端侧模型则越来越强调低延迟、低功耗、持续感知与实时执行。

如果说过去几年，多模态模型回答的是“看懂世界”这道题，那么VLX尝试回答的，则是另一道题：

如何让模型真正“活”在世界上。

团队介绍

最后，让我们将视角转向VLX背后的团队——Om AI。

Om AI是一家来自杭州的人工智能公司，也是国内最早布局多模态模型的团队之一。

创始人兼CEO赵天成是卡内基梅隆大学（CMU）计算机科学博士、吴文俊人工智能科技进步奖获得者。团队成员来自CMU、清华大学、浙江大学、微软、阿里云等知名机构，拥有50多篇顶级会议论文与50多项发明专利。

赵天成博士

此前，Om AI最引人瞩目的成果莫过于我们开头提及的VLM-R1，这是首个将DeepSeek R1强化学习范式引入视觉语言模型的项目。实际上，作为国内最早涉足多模态领域的团队，早在2022年，Om AI便获得了工信部颁发的第一张多模态模型认证，比大模型热潮提前了整整一年。

自此，Om AI始终围绕同一目标持续迭代——推动多模态模型从“看图说话”迈向“持续感知、精准定位与真实行动”。

此次发布的VLX，正是这一路线的最新成果。与将云端模型压缩至设备不同，VLX从第一天起便围绕端侧设计。Flow、Seek、Go三款模型共享同一基座，在同一视频流上协同完成感知、定位与行动，真正打通了感知→定位→行动的完整链路。

如果说移动互联网时代需要iOS与Android，那么端侧AI时代同样需要一套原生的模型基础设施。而Om AI选择做的，正是这样一套能够真正运行在手机、机器人及各类智能终端中的底层能力。