SALMONN家族迎来全面升级！继开创性推出首个通用音频理解模型(ICLR 2024)和全要素音视频理解模型video-SALMONN(ICML 2024)后，研发团队再次突破音视频理解的技术边界。全新一代video-SALMONN 2/2+、首推理增强型视频理解大模型video-SALMONN-o1(ICML 2025)、高帧率视频理解模型F-16(ICML 2025)及AVUT评测基准(EMNLP 2025)正式亮相。
旗舰型号video-SALMONN 2+
该模型在视频描述生成领域实现重大突破，通过原子事件级评估体系与MrDPO强化学习，显著提升描述完整性和准确性。其72B版本在Video-MME、WorldSense等多份权威榜单上超越GPT-4o和Gemini 1.5 Pro等商业产品。
创新推理模型video-SALMONN-o1
该模型突破性地实现了音视频多步推理能力，通过process DPO(pDPO)训练方法，显著提升复杂场景下的理解深度。在脱口秀解析、学术演讲理解等任务中展现出类人的推理能力。
高帧率王者F-16
专为高速视频理解设计的多帧联合对齐压缩技术，让模型在不增加算力负担的情况下，准确捕捉体育赛事、电子竞技等场景的关键瞬间，在高帧率视频理解任务中全面领先。
严谨评测体系AVUT
针对业内普遍存在的"文本捷径"问题，开发团队创新性提出Cycled Accuracy评估方法，通过答案轮转排列有效排除人工标注偏好的干扰，建立起更公正的音视频理解评测标准。
研究团队
清华大学电子工程系多媒体信号与智能信息处理实验室出品，相关成果已在GitHub开源(https://github.com/bytedance/SALMONN)。
