6月3日消息,京东正式开源了一款名为JoyAI-Echo的长音视频生成框架。该框架瞄准了行业中长期存在的三大技术难题:角色形象容易崩坏、声音特征前后不一致、生成速度缓慢如同蜗牛爬行,这些问题一直困扰着长视频内容创作者。
目前,JoyAI-Echo的代码与权重已全面公开,项目主页及GitHub仓库均已上线,开发者和内容创作者可随时上手体验,甚至进行二次开发。京东方面表示,这一举措标志着他们在长视频生成领域迈出了关键性一步,直接跻身全球第一梯队行列。

在具体技术层面,JoyAI-Echo内置了一个跨模态音视频记忆库。这个记忆库的作用在于:在多镜头生成过程中,它能够持续保存角色的外观特征以及说话人的音色信息,从而确保前后镜头的一致性。实测结果颇具说服力:在长达5分钟的视频中,角色身份、视觉形象与声音音色均能保持高度统一,彻底避免了“同一个人演着演着突然变成另一个人”的诡异场景出现。
与此同时,京东还提出了一套记忆驱动后训练流程,结合了SFT(监督微调)、跨模态RLHF(基于人类反馈的强化学习)以及DMD(分布匹配蒸馏)技术。这一套技术组合,既提升了生成质量,也实现了推理加速。仅DMD一项,便可带来约7.5倍的速度提升——长视频生成的效率因此被大幅拉高。

更为贴心的是,JoyAI-Echo还集成了一位智能“导演助理”——Director Agent。用户只需用自然语言描述需求,它便能自动完成剧本、角色、场景及镜头的拆分,省去了大量前期规划工作。此外,如果生成结果中某个局部镜头不满意,用户可以直接通过对话提出修改,系统仅重新生成有问题的部分,无需整条视频从头开始。

为了满足专业内容生产的需求,JoyAI-Echo还配备了实时超分模块,支持两档分辨率提升:736×1280升级到1152×1920,以及736×1280升级到1472×2560。通过单步超分技术,该框架能够生成高分辨率视频与精细化音频,即便在流式延迟约束下,画面和声音依然保持稳定清晰的高画质表现。
在评测方面,研究团队专门构建了一个基于100个故事、3000个镜头的长音视频生成评测集,对JoyAI-Echo进行了多维度测试。结果相当亮眼:在跨镜头一致性、视频质量、文本一致性以及语音内容准确率等核心指标上,均取得了领先地位。尤其值得关注的是,语音内容准确率达到了0.8646,领先行业其他同类模型一个身位。
配图由AI生成
