12月17日，Meta推出了一款名为SAM Audio的统一多模态音频分离模型，这是该公司在该领域的首次尝试。

Meta将SAM Audio称为一种“先进的统一模型”，它通过自然的多模态提示来简化音频处理流程，能够轻松地从复杂的混合音频中分离出任何指定的声音——无论是通过文本、视觉提示还是时间戳标记。这种直观的方式模拟了人类与声音互动的自然模式，使得音频分离技术变得更易于使用和实用。

SAM Audio的核心是感知编码器视听模块（PE-AV），这是一个实现先进功能的技术引擎。它基于Meta今年早些时候开源共享的感知编码器模型框架构建，能够帮助开发更先进的计算机视觉系统，以协助日常任务，其中就包括声音检测。

Meta将PE-AV形象地比喻为“耳朵”，协助SAM Audio这个“大脑”完成音频分割任务。例如，对于一段乐队演出的视频录像，用户只需点击一下吉他，就能分离出纯净的吉他音频。

SAM Audio还能借助文本提示来分离音频，例如从户外拍摄的视频中过滤掉嘈杂的交通噪音。此外，其跨模态提示功能可以帮助人们一次性解决音频问题，比如在整个播客录音中过滤掉狗叫声等背景噪声。

SAM Audio提供了三种音频分割方法，可以单独使用或任意组合以达到所需效果：

文本提示：输入“狗吠”或“人声演唱”来提取特定的声音。

视觉提示：在视频中点击正在说话的人或发声的物体，以分离其音频。

时间段提示：这是行业内首创的方法，允许用户标记目标音频出现的时间段，其体验类似于游戏《赛博朋克2077》中的超梦功能。

Meta还同步发布了SAM Audio-Bench，这是首个真实场景下的音频分离基准测试集；以及SAM Audio Judge，这是首个用于音频分离的自动评估模型。

同日，Meta还发布了第二个模型——感知编码器视听模型，它是SAM Audio成果的核心引擎。它支持核心组件，如主要的字幕生成模型和SAM Audio Judge。该模型基于Meta于四月发布的开源模型Meta Perception Encoder构建，PE-AV将计算机视觉能力扩展到了音频领域。

SAM Audio的访问地址如下：

https://ai.meta.com/samaudio/

https://github.com/facebookresearch/sam-audio