京东终于放出了一个重磅消息。6月3日,京东黑板报正式对外发布了JoyAI-Echo长音视频生成框架,这款工具直击行业中最令人头疼的三大难题——角色崩坏、声音跳跃、生成速度缓慢。简单来说,过去想要生成一段几分钟的长视频,要么主角中途“变脸”,要么音色突然跑偏,还得耗费大半天时间等待结果。如今这套框架引入了“对话式编辑”功能,想要调整某个镜头?直接语音或文字告诉它就行,无需整条视频重新渲染。

这一框架的发布,让京东直接跻身长视频生成领域的全球第一梯队。别小看这个定位——能够同时兼顾一致性、速度和制作自由度,目前全球能做到的团队屈指可数。
支撑这一地位的,是四项核心技术创新,每一项都精准击中用户痛点。
第一项,跨模态音视频记忆库。框架内部构建了一个专用记忆库,在多镜头生成过程中,它能持续记住角色的外貌、穿着、声音等细节。实测数据非常直观:在长达5分钟的视频中,角色的身份、视觉形象和音色始终保持一致,彻底避免了“主角穿越”的尴尬。
第二项,记忆驱动后训练。团队研发了一套独特的训练流程,将SFT、跨模态RLHF和DMD技术串联起来。仅DMD这一项,就让生成速度提升了约7.5倍。过去是“等半天”,现在是“秒出片”,效率差距肉眼可见。
第三项,Director Agent智能导演助理。你只需用日常语言描述需求,系统就会自动拆解成剧本、角色、场景和镜头。如果觉得哪里不理想,直接告诉它“这个镜头换个角度”或者“主角表情再自然一点”,它只重新生成那个局部,整条视频不动。这才是真正的“所见即所改”。
第四项,轻量化实时超分。配套的超分模块支持两档分辨率提升:从736×1280提升至1152×1920,以及从736×1280提升至1472×2560。只需单步超分,就能输出高分辨率视频和精细化的音频,算力消耗控制得相当到位。
为了不让宣传片自己说话,研究团队专门建立了一个评测集——包含100个故事、3000个镜头。结果显示,JoyAI-Echo在跨镜头一致性、视频质量、文本一致性、语音内容准确率等所有核心指标上全面领先。尤其语音内容准确率达到了0.8646,这在长视频场景下是非常亮眼的数字。用户偏好调研中,81.7%的人认为音频质量更讨喜,80.6%的人觉得提示词遵循得更好,视觉美学和IP一致性也分别有63.6%和59.4%的偏好率,说明用户的真实感受与技术指标高度吻合。
目前,JoyAI-Echo的代码和权重已经全部开源,项目页和GitHub仓库都已上线。感兴趣的朋友可以直接上手尝试,无需等待内测资格。
