还在对着实时视频画面苦苦寻找特定事件?最新技术彻底改变了游戏规则。
想象这样的场景:安防监控中,几个人影一闪而过,利用这项技术能够秒级调取出这段可疑聚集的精确片段。

或者在VR训练场,当你戴上VR眼镜练习投篮时,只需提前在手机App中输入"找出与这个视频示范(库里完美三分片段)相似的动作"。训练过程中,系统会实时分析第一视角视频流,当你做出与库里相似的发力动作和投篮轨迹时,VR界面会立即高亮标记这个精彩片段。

技术突破
这项名为"混合模态在线视频定位(OVG-HQ)"的创新技术,由深圳北理莫斯科大学与阿德莱德大学的研究团队联合研发。它能在视频直播或录制的同时,根据用户提供的文字、参考图片或视频片段等多样化线索,实时识别并精确定位感兴趣的事件片段。

现有技术瓶颈
传统方法存在两大痛点:
- 离线处理:需要等到视频完整录制后才能分析,无法满足安防、直播和VR训练的实时性需求
- 单一模态:仅依靠文字描述难以精确捕捉视觉世界的微妙差异
技术原理
研发团队通过构建参数化记忆模块解决历史知识遗忘问题,采用混合模态蒸馏方法确保模型对不同质量输入信息的均衡处理。

创新点展示

性能表现
实验结果显示,采用混合模态蒸馏后,模型在弱模态输入处理上获得显著提升:图像检索精确度提升8.98%,图像生成精确度提升9.35%。

应用前景
这项技术不仅将革新安防告警、体育直播回放和VR训练反馈领域,更为智能家居、工业质检、自动驾驶等应用场景开拓了全新可能。
研究团队
- 曾润浩(深圳北理莫斯科大学)
- 毛嘉其(深圳大学)
- 赖铭浩(深圳大学)
- Minh Hieu Phan(阿德莱德大学)
- 董延杰(深圳北理莫斯科大学)
- 王伟(深圳北理莫斯科大学)
- 陈奇(阿德莱德大学)
- 胡希平(深圳北理莫斯科大学)
论文已发布于arXiv平台:https://arxiv.org/abs/2508.11903
