苹果联合人大发布VSSFlow模型:无声视频AI生成音效与配音
2月10日消息,科技媒体9to5Mac近日发布文章,透露苹果公司已联合中国人大团队,成功推出了名为VSSFlow的新型AI模型。这项技术突破了传统音频生成的局限,能够在单一框架下,从无声视频中同时合成出逼真的环境音效与清晰的人声语音。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
该模型的核心在于其“化静为动”的能力,可对无声视频数据进行端到端处理。基于统一的架构,系统能同步生成与画面高度契合的环境声场,同时输出精准自然的语音对白。这一成果不仅解决了过往音频模型功能单一的问题,其生成质量更是达到了业界领先水平。

根据博文介绍,在VSSFlow问世之前,业内模型往往存在明显的功能偏向:专攻视频转语音的模型难以输出清晰人声,而基于文本的语音合成模型又无法有效处理复杂的环境噪音。
传统的解决方案通常需要将两项任务分阶段进行训练,这不仅增加了系统复杂度,还常因任务冲突而导致性能下降。VSSFlow则另辟蹊径,采用了10层的架构设计,并引入“流匹配”技术,让模型能够自主学习如何从随机噪声中,精准重构出目标语音信号。

研究团队在训练过程中发现了一个惊喜的现象:联合训练不仅没有引发任务干扰,反而产生了“互助效应”。具体来说,语音数据的训练提升了音效生成的质量,而音效数据的加入也优化了语音的最终表现。
为了实现这一效果,团队向模型输入了混合数据,其中包含带有环境音的视频、配有字幕的讲话视频,以及纯文本转语音数据。通过利用合成样本微调模型,使其学会了如何同时输出背景音与人声。
在实际运行中,VSSFlow以每秒10帧的频率从视频中提取视觉线索,从而塑造出匹配的环境音效,同时依据文本脚本精准引导语音生成。

测试数据显示,该模型在多项关键指标上均优于那些专为单一任务设计的竞品模型。目前,研究团队已在GitHub上开源了VSSFlow的相关代码,并正在推进模型权重公开以及在线推理演示的开发工作。
相关攻略
IT之家 3 月 16 日消息,追觅现已在京东上架一款 Dreame 智能中控屏 S6,该机配备一块 6 英寸面板,主打智能语音交互功能,定价为 2799 元。该中控配备一块 6 英寸 AF 防指纹
IT之家 3 月 13 日消息,科技媒体 Android Authority 今天发布博文,报道称在安卓 17 Beta 2 更新中,谷歌已启用更严格的高级保护模式,直接拦截非最新无障碍工具类应用调
3月13日消息,微信日前官宣三大新功能,其中语音 视频通话忽略功能,因能让用户体面回避不想接的来电、且对方不会收到拒接提示,被网友直呼“社恐福音”。该功能与跨语言沟通、通话防误触功能一同开启灰度放量
IT之家 3 月 10 日消息,AI 理想同学的最新账号今日宣布,理想 AI 眼镜 Livis 再进化,带来了佩戴检测 + 一气呵成两大开关、连续语音抓拍等功能。IT之家附理想 AI 眼镜 Livi
IT之家 3 月 9 日消息,今日,MiniMax 宣布将 MiniMax Speech 语音模型和 Music 音乐模型的开放平台接口进行了深度封装,并正式上架到了 OpenClaw 生态中。IT
热门专题
热门推荐
可在PPT中通过三种方式实现非矩形背景图片:一、用形状填充功能将图片嵌入指定矢量形状;二、用删除背景与合并形状制作自定义镂空轮廓;三、用外部工具预处理生成透明PNG再导入。如果您希
全球6G标准制定竞争激烈,中国在2026年政府工作报告明确提出要培育发展6G未来产业,当下有何布局?3月27日,在中关村论坛期间,中关村泛联院专职副院长金毅敦接受媒体采访时表示,我国自2019年开始
三角洲行动烽火职业联赛指定笔记本!荣耀WIN游戏本定档4月发布3月27日,荣耀正式官宣荣耀WIN游戏本将于4月正式发布。作为2026三角洲行动烽火职业联赛最新指定笔记本,荣耀WIN游戏本凭借性能与散
雷递网 雷建平 3月28日星环信息科技(上海)股份有限公司(简称:“星环科技”)日前递交招股书,准备在港交所上市。星环科技是2024年10月在科创板上市,当时发行价为47 34元,发行3021万股,
Agentic Internet来了。当地时间2026年3月26日,网络安全公司HUMAN Security发布年度报告《AI 流量与网络威胁基准状态》(The 2026 State of AI T





