首页 游戏 软件 资讯 排行榜 专题
首页
AI
苹果联合人大发布VSSFlow模型:无声视频AI生成音效与配音

苹果联合人大发布VSSFlow模型:无声视频AI生成音效与配音

热心网友
64
转载
2026-02-10

2月10日消息,科技媒体9to5Mac近日发布文章,透露苹果公司已联合中国人大团队,成功推出了名为VSSFlow的新型AI模型。这项技术突破了传统音频生成的局限,能够在单一框架下,从无声视频中同时合成出逼真的环境音效与清晰的人声语音。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

该模型的核心在于其“化静为动”的能力,可对无声视频数据进行端到端处理。基于统一的架构,系统能同步生成与画面高度契合的环境声场,同时输出精准自然的语音对白。这一成果不仅解决了过往音频模型功能单一的问题,其生成质量更是达到了业界领先水平。

苹果联合人大发布VSSFlow模型:无声视频AI同步生成音效与配音

根据博文介绍,在VSSFlow问世之前,业内模型往往存在明显的功能偏向:专攻视频转语音的模型难以输出清晰人声,而基于文本的语音合成模型又无法有效处理复杂的环境噪音。

传统的解决方案通常需要将两项任务分阶段进行训练,这不仅增加了系统复杂度,还常因任务冲突而导致性能下降。VSSFlow则另辟蹊径,采用了10层的架构设计,并引入“流匹配”技术,让模型能够自主学习如何从随机噪声中,精准重构出目标语音信号。

苹果联合人大发布VSSFlow模型:无声视频AI同步生成音效与配音

研究团队在训练过程中发现了一个惊喜的现象:联合训练不仅没有引发任务干扰,反而产生了“互助效应”。具体来说,语音数据的训练提升了音效生成的质量,而音效数据的加入也优化了语音的最终表现。

为了实现这一效果,团队向模型输入了混合数据,其中包含带有环境音的视频、配有字幕的讲话视频,以及纯文本转语音数据。通过利用合成样本微调模型,使其学会了如何同时输出背景音与人声。

在实际运行中,VSSFlow以每秒10帧的频率从视频中提取视觉线索,从而塑造出匹配的环境音效,同时依据文本脚本精准引导语音生成。

苹果联合人大发布VSSFlow模型:无声视频AI同步生成音效与配音

测试数据显示,该模型在多项关键指标上均优于那些专为单一任务设计的竞品模型。目前,研究团队已在GitHub上开源了VSSFlow的相关代码,并正在推进模型权重公开以及在线推理演示的开发工作。

来源:https://tech.ifeng.com/c/8qcelJCl90a
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

Dreame智控S6评测:2799元配6英寸IPS屏与语音交互
礼仪与书信
Dreame智控S6评测:2799元配6英寸IPS屏与语音交互

IT之家 3 月 16 日消息,追觅现已在京东上架一款 Dreame 智能中控屏 S6,该机配备一块 6 英寸面板,主打智能语音交互功能,定价为 2799 元。该中控配备一块 6 英寸 AF 防指纹

热心网友
03.16
谷歌Android 14 Beta 2支持严格限制无障碍API调用
礼仪与书信
谷歌Android 14 Beta 2支持严格限制无障碍API调用

IT之家 3 月 13 日消息,科技媒体 Android Authority 今天发布博文,报道称在安卓 17 Beta 2 更新中,谷歌已启用更严格的高级保护模式,直接拦截非最新无障碍工具类应用调

热心网友
03.13
微信新功能可忽略通话:社恐福音,拒接不显示
业界动态
微信新功能可忽略通话:社恐福音,拒接不显示

3月13日消息,微信日前官宣三大新功能,其中语音 视频通话忽略功能,因能让用户体面回避不想接的来电、且对方不会收到拒接提示,被网友直呼“社恐福音”。该功能与跨语言沟通、通话防误触功能一同开启灰度放量

热心网友
03.13
理想AI眼镜Livis升级:新增佩戴检测与一气呵成开关功能
礼仪与书信
理想AI眼镜Livis升级:新增佩戴检测与一气呵成开关功能

IT之家 3 月 10 日消息,AI 理想同学的最新账号今日宣布,理想 AI 眼镜 Livis 再进化,带来了佩戴检测 + 一气呵成两大开关、连续语音抓拍等功能。IT之家附理想 AI 眼镜 Livi

热心网友
03.11
MiniMax推出OpenClaw新技能,实现音色定制与完整歌曲创作
AI
MiniMax推出OpenClaw新技能,实现音色定制与完整歌曲创作

IT之家 3 月 9 日消息,今日,MiniMax 宣布将 MiniMax Speech 语音模型和 Music 音乐模型的开放平台接口进行了深度封装,并正式上架到了 OpenClaw 生态中。IT

热心网友
03.09

最新APP

你比我猜
你比我猜
休闲益智 03-26
锦绣商铺
锦绣商铺
模拟经营 03-26
儿童画画
儿童画画
休闲益智 03-25
疯狂猜词
疯狂猜词
休闲益智 03-25
诸神皇冠
诸神皇冠
棋牌策略 03-25

热门推荐

PPT背景图片怎么裁剪为特定形状?详细技巧教学
电脑教程
PPT背景图片怎么裁剪为特定形状?详细技巧教学

可在PPT中通过三种方式实现非矩形背景图片:一、用形状填充功能将图片嵌入指定矢量形状;二、用删除背景与合并形状制作自定义镂空轮廓;三、用外部工具预处理生成透明PNG再导入。如果您希

热心网友
03.28
2030年6G将商用?中关村泛联院金毅敦详解发展前景
科技数码
2030年6G将商用?中关村泛联院金毅敦详解发展前景

全球6G标准制定竞争激烈,中国在2026年政府工作报告明确提出要培育发展6G未来产业,当下有何布局?3月27日,在中关村论坛期间,中关村泛联院专职副院长金毅敦接受媒体采访时表示,我国自2019年开始

热心网友
03.28
荣耀Win游戏本4月发布:泡泡玛特推IP家电新品 | 封面
科技数码
荣耀Win游戏本4月发布:泡泡玛特推IP家电新品 | 封面

三角洲行动烽火职业联赛指定笔记本!荣耀WIN游戏本定档4月发布3月27日,荣耀正式官宣荣耀WIN游戏本将于4月正式发布。作为2026三角洲行动烽火职业联赛最新指定笔记本,荣耀WIN游戏本凭借性能与散

热心网友
03.28
星环科技年营收4.5亿,腾讯减持背后的港股价局
科技数码
星环科技年营收4.5亿,腾讯减持背后的港股价局

雷递网 雷建平 3月28日星环信息科技(上海)股份有限公司(简称:“星环科技”)日前递交招股书,准备在港交所上市。星环科技是2024年10月在科创板上市,当时发行价为47 34元,发行3021万股,

热心网友
03.28
AI流量倒挂前夜:智能体已掏空互联网旧金矿
科技数码
AI流量倒挂前夜:智能体已掏空互联网旧金矿

Agentic Internet来了。当地时间2026年3月26日,网络安全公司HUMAN Security发布年度报告《AI 流量与网络威胁基准状态》(The 2026 State of AI T

热心网友
03.28