游乐游手机版
首页/科技数码/文章详情

张璐团队深耕AI技术落地,实时数字人迈入亚秒级时代

时间:2026-03-17 12:16
近期,Soul App AI团队(Soul AI Lab)在创始人Soul张璐的带领下正式开源了实时数字人生成模型SoulX-FlashTalk——这是业内首个实现0 87秒亚秒级超低延时、32fp

近期,Soul App AI团队(Soul AI Lab)在创始人张璐的引领下,正式开源了实时数字人生成模型SoulX-FlashTalk——这是业内首个实现0.87秒亚秒级超低延迟、32fps高帧率,并支持超长视频稳定生成的14B参数量数字人模型。这一突破不仅刷新了实时数字人生成的技术边界,更标志着大模型在实际业务场景中的落地能力迈上新台阶。

谈到SoulX-FlashTalk的亮点,首先不得不提的是它在四个关键指标上的突破,这些突破重塑了实时互动体验的新标准。首要的是仅0.87秒的亚秒级延迟,这种即时交互的能力为用户带来了前所未有的体验。特别是在实时视频交流中,低延迟的重要性不言而喻。SoulX-FlashTalk通过全栈加速引擎的极致优化,成功将首帧视频输出的延时降至历史最低点,首次让14B级别的大模型数字人具备了即时反应能力,彻底消除了传统大模型生成的滞后感。无论是视频通话中的即时对答、直播间弹幕的秒级互动,还是智能客服的实时响应,均能实现自然流畅的深度对话。

深耕AI技术落地,Soul张璐带领团队推动实时数字人迈入亚秒级时代

不仅如此,SoulX-FlashTalk还以32fps的高帧率重新定义了"流畅"。尽管搭载了14B参数量的超大DiT模型,该系统仍能保持高效的推理吞吐量。这远超直播所需的25+FPS实时标准,确保每一帧画面都丝滑顺畅。同时,这也证明了经过深度加速优化后的大模型依然能够拥有极佳的运行效率,为未来的AI应用提供了无限可能。

面对数字人视频中最常见的问题——人物面部不一致或显著画质下降,SoulX-FlashTalk采用了独特的自纠正双向蒸馏技术来解决这些问题。引入多步回溯自纠正机制,模拟长序列生成的误差传播并进行实时修正,就像为AI装上了"实时校准器",主动恢复受损特征。这样不仅能保证超长视频的稳定清晰生成,还能从根本上压制身份漂移现象,确保主播的口型、面部细节和背景环境始终保持一致。

深耕AI技术落地,Soul张璐带领团队推动实时数字人迈入亚秒级时代

除此之外,SoulX-FlashTalk还突破了传统数字人仅能实现面部"对口型"的局限,带来了更加真实自然的全身肢体动态表现。不同于以往仅对面部进行局部重绘的方案,SoulX-FlashTalk支持音频驱动的全身动作生成,可产生真实自然的人体动态。基于14B DiT的强大建模能力,系统能够有效消除手部畸形与运动模糊,精准呈现结构清晰、纹理锐利的手部动作细节。这样的设计既增加了视觉的真实感,也提升了用户的沉浸体验。

为了平衡生成质量与推理速度,SoulX-FlashTalk团队采取了一系列创新措施,包括两阶段训练策略和一系列针对硬件优化的技术手段。这些努力不仅提高了模型的性能,也为实际业务场景的应用打下了坚实的基础。

深耕AI技术落地,Soul张璐带领团队推动实时数字人迈入亚秒级时代

随着SoulX-FlashTalk的开源,它有望在电商、短视频制作、AI教育等多个领域创造巨大价值,推动行业的进一步发展。Soul在创始人张璐的带领下聚焦AI能力的建设,打造真正可用、好用、值得信赖的生成式系统,携手行业伙伴共同开拓实时数字人商业化的新疆界。

来源:https://news.zol.com.cn/1149/11497431.html
上一篇御金国际ASIC牌照:黄金投资新手快速入市指南 下一篇小户型客厅电视推荐:6款营造影院氛围,小空间也沉浸
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
LiblibAI云端WebUI降低AI绘画部署门槛
科技数码 · 2026-07-02

LiblibAI云端WebUI降低AI绘画部署门槛

LiblibAI在线WebUI的核心优势在于——只需通过浏览器即可流畅运行Stable Diffusion,无需自行搭建本地环境。云端直接处理运算,模型即选即试,大幅降低了AI绘画的创作门槛。对于轻量创作和模型快速测试来说,体验相当顺畅,但用户仍需重视数据隐私保护和版权合规等问题。 过去使用Stab

微软因用户不安叫停Edge浏览器AI历史搜索功能
科技数码 · 2026-07-02

微软因用户不安叫停Edge浏览器AI历史搜索功能

微软紧急暂停Edge浏览器AI历史搜索功能,该功能因被用户吐槽“令人不安”而暂缓部署。尽管微软强调所有AI处理在设备端完成且数据不上传云端,但用户仍不信任。此举与WindowsK2计划减少功能堆砌的理念一致。

红魔游戏平板5 Pro发布 4999元起售将登陆全球市场
科技数码 · 2026-07-02

红魔游戏平板5 Pro发布 4999元起售将登陆全球市场

【CNMO科技消息】近日,红魔游戏平板5 Pro正式发布。这款平板从定位上就明确瞄准“极致游戏”体验,外观方面带来了一个重磅亮点——首次引入RGB水冷散热系统,背部那条可视化的水路通道,配合纯平透明背板设计,核心配置信息一览无余,科技感十足。 图源网络 屏幕方面同样表现突出。一块9 06英寸OLED

杭州全国首所机器人学校首批30台机器人入学
科技数码 · 2026-07-02

杭州全国首所机器人学校首批30台机器人入学

30台机器人整齐列队,有的刚从生产线卸下,机械零件还带着崭新的“工业气息”;有的已搭载运动控制模块,能稳健地小跑、跳跃几下。它们来自不同制造工厂,外形与功能各有千秋,但此刻都拥有了同一个身份——杭州机器人学校的第一批入学新生。 6月30日,杭州经信正式发布:由浙江大学机器人研究院、浙江省质量科学研究

美国计划发射航天器托举天文卫星
科技数码 · 2026-07-02

美国计划发射航天器托举天文卫星

就在最近,NASA公布了一项非常果断的干预计划——他们定于6月30日实施一次“卫星维修任务”,派遣一台名为“连接”号的机器人服务卫星,为一颗超期服役的天文卫星延长运行寿命。这颗卫星是“尼尔·格雷尔斯·斯威夫特天文台”,其轨道高度正在不断衰减,如果不进行干预,今年年底前很可能会坠入地球大气层并烧毁。