游乐游手机版
首页/科技数码/文章详情

京东开源长视频生成框架JoyAI-Echo

时间:2026-06-04 12:39
京东发布JoyAI-Echo长视频生成框架,解决角色崩坏、声音乱跳及生成速度慢等问题。通过跨模态记忆库、记忆驱动后训练、智能导演助理和轻量化超分四项创新,实现角色一致、提速7 5倍及对话式局部编辑。在评测中多项指标领先,已全面开源。

京东终于放出了一个重磅消息。6月3日,京东黑板报正式对外发布了JoyAI-Echo长音视频生成框架,这款工具直击行业中最令人头疼的三大难题——角色崩坏、声音跳跃、生成速度缓慢。简单来说,过去想要生成一段几分钟的长视频,要么主角中途“变脸”,要么音色突然跑偏,还得耗费大半天时间等待结果。如今这套框架引入了“对话式编辑”功能,想要调整某个镜头?直接语音或文字告诉它就行,无需整条视频重新渲染。

京东开源JoyAI-Echo长视频生成框架

这一框架的发布,让京东直接跻身长视频生成领域的全球第一梯队。别小看这个定位——能够同时兼顾一致性、速度和制作自由度,目前全球能做到的团队屈指可数。

支撑这一地位的,是四项核心技术创新,每一项都精准击中用户痛点。

第一项,跨模态音视频记忆库。框架内部构建了一个专用记忆库,在多镜头生成过程中,它能持续记住角色的外貌、穿着、声音等细节。实测数据非常直观:在长达5分钟的视频中,角色的身份、视觉形象和音色始终保持一致,彻底避免了“主角穿越”的尴尬。

第二项,记忆驱动后训练。团队研发了一套独特的训练流程,将SFT、跨模态RLHF和DMD技术串联起来。仅DMD这一项,就让生成速度提升了约7.5倍。过去是“等半天”,现在是“秒出片”,效率差距肉眼可见。

第三项,Director Agent智能导演助理。你只需用日常语言描述需求,系统就会自动拆解成剧本、角色、场景和镜头。如果觉得哪里不理想,直接告诉它“这个镜头换个角度”或者“主角表情再自然一点”,它只重新生成那个局部,整条视频不动。这才是真正的“所见即所改”。

第四项,轻量化实时超分。配套的超分模块支持两档分辨率提升:从736×1280提升至1152×1920,以及从736×1280提升至1472×2560。只需单步超分,就能输出高分辨率视频和精细化的音频,算力消耗控制得相当到位。

为了不让宣传片自己说话,研究团队专门建立了一个评测集——包含100个故事、3000个镜头。结果显示,JoyAI-Echo在跨镜头一致性、视频质量、文本一致性、语音内容准确率等所有核心指标上全面领先。尤其语音内容准确率达到了0.8646,这在长视频场景下是非常亮眼的数字。用户偏好调研中,81.7%的人认为音频质量更讨喜,80.6%的人觉得提示词遵循得更好,视觉美学和IP一致性也分别有63.6%和59.4%的偏好率,说明用户的真实感受与技术指标高度吻合。

目前,JoyAI-Echo的代码和权重已经全部开源,项目页和GitHub仓库都已上线。感兴趣的朋友可以直接上手尝试,无需等待内测资格。

来源:https://www.163.com/dy/article/KUHG9OBJ0519U3I5.html
上一篇五位院士齐聚X咖啡馆共话基础研究之道 下一篇光联芯科获近5亿融资,光互连赛道受资本长期看好
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
谷歌升级Google Cloud机密计算产品
科技数码 · 2026-07-07

谷歌升级Google Cloud机密计算产品

IT之家 7 月 6 日消息,谷歌宣布对旗下 Google Cloud 机密计算(Confidential Computing)产品进行升级,新增基于英伟达 Blackwell GPU 的机密虚拟机、开源 AI 提示词加密工具 Prompt Encryption SDK,同步升级 Confident

谷歌要放大招? Gemini 3.5 Pro传7月17日发布,前端碾压Fable 5
科技数码 · 2026-07-07

谷歌要放大招? Gemini 3.5 Pro传7月17日发布,前端碾压Fable 5

谷歌在大模型竞赛中憋出一张重磅底牌。据泄露信息,Gemini 3 5 Pro将于7月17日正式发布,其前端与视觉代码生成能力据称出现跨越式跃升,在多项测试中压制Anthropic的Fable 5,但在硬核推理与复杂工程任务上仍落后于对手。这款姗姗来迟的旗舰模型背后,是一次更为彻底的技术重构。据科技媒

年电池续航最长的荣耀手机别错过
科技数码 · 2026-07-07

年电池续航最长的荣耀手机别错过

在挑选2026年电池续航最长的手机时,许多人关注的不仅仅是实验室测试中的几分钟优势,更看重一天高强度使用后还能剩下多少电量。按照这个标准来看,荣耀X80 Pro Max确实很有代表性,它将大容量电池与真实日常场景紧密结合,是该需求下非常值得优先考虑的一款机型。荣耀X80 Pro Max直接搭载了一块

年高性价比手机推荐 同预算选机更看重长期体验
科技数码 · 2026-07-07

年高性价比手机推荐 同预算选机更看重长期体验

在2026年性价比高的手机推荐榜单中,同价位机型往往更看重长期使用的综合体验。如果仅仅追求低价,很容易忽视续航、耐用性、屏幕素质与通信质量这些日常高频使用的核心维度。荣耀X80 Pro Max的主要竞争力,在于将11000mAh超大电池、军工级防护、万级亮度屏幕以及AI智能体验,全部集成到2000元

小米17系列销量超550万台 Ultra版约23.07万部
科技数码 · 2026-07-07

小米17系列销量超550万台 Ultra版约23.07万部

探讨小米17系列最新销量表现。据数码博主曝光的行业追踪数据,截至2026年第26周(即6月22日至6月28日),小米17系列全系累计销量已成功突破550万台大关。 具体数据方面,系列总销量约为554 01万台。其中,定位顶配的小米17 Ultra贡献了约23 07万部。值得关注的是,面向中端市场的1