当AI行业正处于实时交互的关键窗口期,京东悄然开源了一项重磅成果——实时视频视觉语言交互模型 JoyAI-VL-Interaction。这不仅是一次模型开源,更代表着技术范式的转变:从“被动响应”迈向“主动观察”,AI助手终于学会了“边看边说”。
此前,视频AI的交互模式类似于“被动等待指令”——用户提问后,系统才分析一帧图像。而JoyAI-VL-Interaction彻底颠覆了这一模式。它能持续监控视频流,自主判断何时该发言、何时该静默。这种主动观察与即时判断能力,正是自然交互的真正门槛。

实时响应能力,在安防监控、直播解说、操作指导等场景中并非锦上添花,而是刚性需求。传统技术采用“先上传、后分析”的模式,延迟问题始终存在,无法跟上现场节奏。而JoyAI-VL-Interaction直接对实时视频流进行即时处理,画面变化的同时,理解也随之跟进。
更值得关注的是其“后台委托”机制。当遇到生成代码、复杂推理、工具调用等高算力任务时,模型不会傻等,而是灵活地将任务分配给后台的Agent系统,前台模型继续关注现场。这样一来,一边处理任务一边进行交互,互不干扰,沟通流畅度从简单的“对话”升级为高效的“协作”。
兼容性方面同样表现出色。摄像头、直播流、监控信号——各种视频源均可适配。开发者还能根据需求替换ASR、TTS、长期记忆模块,甚至接入外部API。这种模块化设计体现了京东的清晰思路:不给用户设置能力上限。
最后来看硬指标表现。京东公布的盲评测试覆盖了58个流式场景,包括监控预警、实时翻译、时间感知等,由真人评委打分。结果显示,JoyAI-VL-Interaction总体胜率大幅领先,尤其在复杂视觉触发的交互中优势突出。无论是用于科研验证,还是深入安防、电商导购、AI眼镜等落地场景,这套开源方案都堪称坚实的技术基座。
