首页 游戏 软件 资讯 排行榜 专题
首页
AI
苹果联合人大发布VSSFlow模型:无声视频AI生成音效与配音

苹果联合人大发布VSSFlow模型:无声视频AI生成音效与配音

热心网友
90
转载
2026-02-10

2月10日消息,科技媒体9to5Mac近日发布文章,透露苹果公司已联合中国人大团队,成功推出了名为VSSFlow的新型AI模型。这项技术突破了传统音频生成的局限,能够在单一框架下,从无声视频中同时合成出逼真的环境音效与清晰的人声语音。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

该模型的核心在于其“化静为动”的能力,可对无声视频数据进行端到端处理。基于统一的架构,系统能同步生成与画面高度契合的环境声场,同时输出精准自然的语音对白。这一成果不仅解决了过往音频模型功能单一的问题,其生成质量更是达到了业界领先水平。

苹果联合人大发布VSSFlow模型:无声视频AI同步生成音效与配音

根据博文介绍,在VSSFlow问世之前,业内模型往往存在明显的功能偏向:专攻视频转语音的模型难以输出清晰人声,而基于文本的语音合成模型又无法有效处理复杂的环境噪音。

传统的解决方案通常需要将两项任务分阶段进行训练,这不仅增加了系统复杂度,还常因任务冲突而导致性能下降。VSSFlow则另辟蹊径,采用了10层的架构设计,并引入“流匹配”技术,让模型能够自主学习如何从随机噪声中,精准重构出目标语音信号。

苹果联合人大发布VSSFlow模型:无声视频AI同步生成音效与配音

研究团队在训练过程中发现了一个惊喜的现象:联合训练不仅没有引发任务干扰,反而产生了“互助效应”。具体来说,语音数据的训练提升了音效生成的质量,而音效数据的加入也优化了语音的最终表现。

为了实现这一效果,团队向模型输入了混合数据,其中包含带有环境音的视频、配有字幕的讲话视频,以及纯文本转语音数据。通过利用合成样本微调模型,使其学会了如何同时输出背景音与人声。

在实际运行中,VSSFlow以每秒10帧的频率从视频中提取视觉线索,从而塑造出匹配的环境音效,同时依据文本脚本精准引导语音生成。

苹果联合人大发布VSSFlow模型:无声视频AI同步生成音效与配音

测试数据显示,该模型在多项关键指标上均优于那些专为单一任务设计的竞品模型。目前,研究团队已在GitHub上开源了VSSFlow的相关代码,并正在推进模型权重公开以及在线推理演示的开发工作。

来源:https://tech.ifeng.com/c/8qcelJCl90a
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

深度剖析Qwen3.5-Omni:全模态感知与生成核心能力详解
AI
深度剖析Qwen3.5-Omni:全模态感知与生成核心能力详解

3月30日,千问宣布上线Qwen3 5-Omni。Qwen3 5-Omni系列包含Plus、Flash、Light三种尺寸的Instruct版本,支持256k长上下文,模型支持超过10小时的音频输

热心网友
03.31
Dreame智控S6评测:2799元配6英寸IPS屏与语音交互
礼仪与书信
Dreame智控S6评测:2799元配6英寸IPS屏与语音交互

IT之家 3 月 16 日消息,追觅现已在京东上架一款 Dreame 智能中控屏 S6,该机配备一块 6 英寸面板,主打智能语音交互功能,定价为 2799 元。该中控配备一块 6 英寸 AF 防指纹

热心网友
03.16
谷歌Android 14 Beta 2支持严格限制无障碍API调用
礼仪与书信
谷歌Android 14 Beta 2支持严格限制无障碍API调用

IT之家 3 月 13 日消息,科技媒体 Android Authority 今天发布博文,报道称在安卓 17 Beta 2 更新中,谷歌已启用更严格的高级保护模式,直接拦截非最新无障碍工具类应用调

热心网友
03.13
微信新功能可忽略通话:社恐福音,拒接不显示
业界动态
微信新功能可忽略通话:社恐福音,拒接不显示

3月13日消息,微信日前官宣三大新功能,其中语音 视频通话忽略功能,因能让用户体面回避不想接的来电、且对方不会收到拒接提示,被网友直呼“社恐福音”。该功能与跨语言沟通、通话防误触功能一同开启灰度放量

热心网友
03.13
理想AI眼镜Livis升级:新增佩戴检测与一气呵成开关功能
礼仪与书信
理想AI眼镜Livis升级:新增佩戴检测与一气呵成开关功能

IT之家 3 月 10 日消息,AI 理想同学的最新账号今日宣布,理想 AI 眼镜 Livis 再进化,带来了佩戴检测 + 一气呵成两大开关、连续语音抓拍等功能。IT之家附理想 AI 眼镜 Livi

热心网友
03.11

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

Codex实现商业闭环自动盈利模式解析与实战经验分享
AI
Codex实现商业闭环自动盈利模式解析与实战经验分享

开发者Chris通过Codex服务,仅用一句指令便自主完成开源赏金任务,盈利23 68美元,覆盖订阅成本。此事展示AI自主执行商业闭环的潜力,也引发成本与安全争议。AI正从工具向主动创收者转变。

热心网友
05.12
崩坏星穹铁道火花技能详解与效果解析
游戏资讯
崩坏星穹铁道火花技能详解与效果解析

在《崩坏:星穹铁道》的众多角色中,火花以其独特的技能机制,为战斗策略带来了丰富的变数与操作乐趣。她并非单纯的数值输出角色,而是一位集机动性、爆发伤害与战术价值于一体的近战专家。深入理解其技能联动,是充分发挥其战场潜力的关键。 普通攻击 - 迅刃连斩 火花的普通攻击“迅刃连斩”,是一套衔接流畅的近战连

热心网友
05.12
迷你世界智能芯片升级方法详解
游戏资讯
迷你世界智能芯片升级方法详解

想在《迷你世界》中解锁智能芯片的全部潜力?掌握升级方法是关键一步。通过升级,芯片不仅能获得更强大的功能,还能显著提升自动化与创造体验。本指南将为您提供一套清晰、高效的升级方案,助您快速掌握核心技巧。 准备材料:精准收集 成功的升级始于充分的准备。您需要提前备齐以下核心资源:精铁锭、蓝色电能线、硅石以

热心网友
05.12
斗罗大陆猎魂世界寻宝活动玩法全攻略
游戏攻略
斗罗大陆猎魂世界寻宝活动玩法全攻略

《斗罗大陆:猎魂世界》于5月11日至18日限时开启“寻宝之旅”活动。玩家通过任务或礼包获取道具,掷点前进即可领取限定觉醒券、钻石等奖励。完成整圈可得固定资源,累计积分可兑换更多奖励;第16圈起奖励品质提升,整体效率优化。活动门槛低、回报高,无需强制消费,适合各类玩家参与。

热心网友
05.12
燕云十六声龙骧御六合技能详解与角色全解析
游戏攻略
燕云十六声龙骧御六合技能详解与角色全解析

全新秘境“龙骧御六合”开放高难度挑战,玩家需在悬浮石枷上协同维持平衡,应对雷霆与坠石冲击,移动石板可削弱伤害。后续Boss“独夫”登场时,部分队员需切入其内心,其余成员按提示执行阵列动作,全程考验队伍反应与协作能力。

热心网友
05.12