游乐游手机版
首页/AI热点日报/热点详情

京东开源长音视频生成框架 攻克角色一致性与速度难题

类型:热点整理2026-06-04
京东近日开源了名为JoyAI-Echo的长音视频生成框架,旨在解决AI生成视频中角色形象易崩塌、声音不稳定以及生成速度慢等行业难题。该框架通过内置记忆库,确保在多镜头、长达5分钟的视频中角色特征高度一致。同时,其采用的分布匹配蒸馏(DMD)技术实现了约7 5倍的推理加速,并配备了智能导演助理和实时超

在AI视频生成领域,如何让虚拟角色在长达数分钟的视频中始终保持稳定的形象与声音,同时大幅提升生成效率,一直是技术开发者亟待攻克的行业难题。近日,一项全新开源框架正式发布,宣称直接瞄准并解决了这些核心痛点。

京东开源长音视频生成框架,宣称解决角色一致性与生成速度难题

该框架依托创新的记忆库设计,致力于在多镜头场景下维持角色特征的一致性。官方指出,其技术方案已能有效应对角色形象崩塌、声音突变以及生成过程缓慢这三大行业瓶颈,并实现了对话式视频功能,使得局部修改无需重新生成整段视频,显著提升了创作灵活性。

记忆库机制保障角色高度一致性

框架的核心在于内置了一个专门的记忆库。该记忆库能够在多镜头视频生成的全程中,持续保存并动态调用角色的外观特征与说话人音色信息。根据实测结果,在长达5分钟的视频生成任务中,角色的身份、视觉形象和声音音色都能维持高度一致,从而彻底避免了“同一个人演着演着变成另一个人”的尴尬情况发生。

技术创新:生成速度与质量双提升

为了同步优化生成质量与效率,研发团队推出了记忆驱动后训练流程。该流程融合了监督微调(SFT)、跨模态人类反馈强化学习(RLHF)以及分布匹配蒸馏(DMD)等技术。其中,仅DMD一项技术就带来了约7.5倍的推理速度提升,大幅提升了生成效率,为长视频实时创作提供了有力支撑。

智能导演助理与实时画质增强

除了底层生成模型,该框架还集成了名为“Director Agent”的智能导演助理功能。它支持用户以自然语言描述视频需求,系统可自动将其拆解为剧本、角色、场景和镜头等结构化要素,极大简化了创作流程。此外,框架配备了实时超分模块,支持单步操作将视频分辨率从736×1280提升至1152×1920或1472×2560两档,并同步精细化音频处理,从而生成更高清、更沉浸的视频内容。

来源:IT之家

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。