游乐游手机版
首页/AI热点日报/热点详情

字节Seed最新论文提出创新方法解决AI改图核心难点

类型:热点整理2026-07-18
字节Seed团队联合高校提出DanceOPD新方法。该方法采用硬路由、在线策略蒸馏与单点对齐,有效解决了多能力图像生成模型相互拖累的问题。在保持文生图质量的同时,显著提升了图像编辑能力。在图像编辑基准GEditBench上,其得分较同类基线提升了8 1%至16 1%。

在今年的火山引擎 FORCE 原动力大会上,字节跳动对图像与视频两大模型线进行了重要升级——图像端推出 Seedream 5.0 Pro,支持交互式精准编辑,可将画面拆解为多图层,直接输出可编辑的分层设计图;视频端则首次亮相 Seedance 2.5,单段原生时长延长至 30 秒,一次可支持 50 个素材联合参考。

从 2024 年到 2025 年,字节跳动在该领域几乎保持每月更新的节奏——但真正的转折点出现在 2025 年 9 月的 Seedream 4.0,那次它首次将“按文字生成图片”与“修改已有图片”两大功能融合进同一个模型。

将多种能力集成于一个模型,听起来像是做加法,实际操作中却往往变成减法。加入局部编辑后,文生图的基础能力便会下滑;再叠加全局改写,局部编辑也随之出错。模型在实际运行时,就像多人争抢方向盘,结果导致方向混乱。

大会落幕次日,字节 Seed 团队联合新加坡国立大学(NUS)等高校,将一篇专门针对这一问题的论文发布到 arXiv,名为 DanceOPD。末位作者为 NUS 资深教授 Tat-Seng Chua,典型工业界主导、学术界背书的模式。论文发布后几天,作者在模型社区 Hugging Face 上亲自下场答疑。

HuggingFace 论文页面截图

简而言之,DanceOPD 旨在解决字节生图模型在持续“增肌”过程中,如何避免新能力拖累原有能力的问题。

这不仅是学术问题,更直接对应了用户的实际行为。在即梦(字节的 AI 创作工具,Seedream 和 Seedance 的主要落地入口)中,用户的操作通常是一连串动作:先一句话生成一张图,再改背景、换风格、扩画幅、局部重绘。理想情况下,这一串操作背后只有一个模型响应;但现实中每多一种编辑,要么后台多挂一个专用模型,要么硬塞进主模型,结果文生图质量被拉低。DanceOPD 给出了第三条路:将一个训练好的“编辑专家”作为冻结教师,通过蒸馏将其能力迁移到主模型,且只更新一小块轻量参数(论文采用 LoRA,一种仅训练少量附加参数的微调方式),不动主模型的基础。

对应到产品逻辑,这就是“增量加能力”。Seedream 从 4.0、4.5 走到 5.0,每次都在主模型上叠加新功能。

传统做法是重训或权重融合,风险在于新能力提升了,但老能力可能崩塌。在论文的实测结果中,weight merge(权重融合)后的模型文生图分数基本保留,但图片编辑能力直接归零——这提醒我们,原有模式确实存在隐患。换成硬路由蒸馏,理论上能增加一项编辑能力而不影响已有能力,迭代成本和翻车概率都更低。

还有两个具体问题:其一,论文将 CFG(无分类器引导,推理时让画面更贴近提示词的常用手段)也作为一个能力场吸收进权重,相当于省掉了那次额外计算——对即梦这种扛海量 C 端请求的产品,每张图省一次计算就是真实的成本降低。其二,Seedream 5.0 主打的精致纹理、SeedEdit 主打的“非编辑区域保持不动”,在 DanceOPD 框架中分别对应“写实场吸收”和“保留型局部编辑场”,都是它明确支持的能力类型。

不过,论文并未详细说明这套机制已进入哪个版本的 Seedream。它目前仍停留在研究产出阶段,距离写入产品还有距离。但它的目标问题、使用的底座(计划支持 SD3.5、Z-Image 这类开源流匹配模型),与字节自家的产品路线是同一方向。

能力之间会互相拖累

要真正理解这篇论文的贡献,先要交代一个背景概念。当前主流生图模型走的是流匹配(flow matching)路线:将“从一团随机噪声变成一张清晰图片”的过程,拆解为无数个微小位移,每一步都有一个箭头,告诉这团数据该朝哪挪、挪多远。将空间里每个位置的箭头汇集起来,就是一个“速度场”。文生图是一个速度场,局部编辑是另一个,全局改写又是一个。

麻烦在于这几个速度场各说各话,互相拉扯。同一个位置,文生图的箭头指东,编辑的箭头指西。最简单的做法是取平均,两个箭头取中间方向——结果哪个目标都到不了,生成的图既不像规整的文生图,也不像干净的编辑,糊在了中间。论文将这种现象命名为:capability identity,即能力的身份缺失。

业界之前尝试过几条路,论文都拿来做了对比。例如将多种能力的数据混在一起重训(joint training),编辑能力会被稀释;将分别训好的模型权重做加权融合(weight merge),文生图保住了,但编辑能力直接塌掉;还有些做法是让学生模型去模仿老师模型、直接复制老师的路径(off-policy 蒸馏),但训练时遇到的局面与部署时遇到的局面往往对不上。现有几条路径的共同点在于,几个能力还是会打架,按下葫芦起了瓢。

DanceOPD 的三招

DanceOPD 采用了一套全新的解法,相当于给模型设置了一套索引机制——问题具体指向了“在哪问、问谁、怎么问”。

方法概览:每个样本硬路由到一个能力场

第一招:硬路由

不再将多个老师模型的结论平均处理——每个训练样本只认一个老师。如果做文生图,就只问文生图那个场;下一步做图片编辑,就只问编辑场。这样一来,能力的身份不会被平均过程模糊掉。

第二招:on-policy(在策略下学习)

教学生的地点选择在学生自己实际会走到的地方,而不是老师走过的或数据里现成的状态上。一个不严谨的类比:教练纠正动作,得根据学员真实的发力姿势来调整,而不是在教练自己的标准姿势上示范,否则学员永远学不会。具体做法是,让当前学生模型先自己跑一遍生成轨迹,在这条轨迹上挑一个点,再把对应的老师请过来,在这个点给出正确的方向箭头。

查询构造:在学生轨迹的低噪声点,向选中的老师场做一次速度对齐

第三招:单点对齐

论文只挑一个点(K=1),而且选在低噪声端——也就是接近成品、图像语义已经比较清晰的那一段。对齐方法是最朴素的 MSE(均方误差):让学生的方向箭头和老师的方向箭头做一次误差计算,没有奖励模型,没有对抗判别器。消融实验数据很直接:硬路由配合单点 MSE 得到 5.751 分,换成软融合则降到 4.994;查询点从 1 个增加到 16 个,分数反而从 5.751 跌到 5.127。少即是多,在这里是字面意义上的。

三招结合在一起,同一个学生模型在图像编辑评测 GEditBench 上,文生图加编辑的组合得分 5.347,比最强的同类蒸馏基线高出 8.1%;在更复杂的局部编辑加全局编辑组合上得分 5.498,比最强对照高出 16.1%。与此同时,衡量文生图基本功的 GenEval 不降反升。加法这次不再是减法。前面提到的 CFG 在这里也被当成另一个速度场一并吸收进来。

论文定性效果:一个模型支持多种编辑,同时保住原有文生图能力

几十行代码能看出的差别

DanceOPD 的最新代码尚未放出,GitHub 上标注着“等待批准发布”,计划支持 SD3.5、Z-Image 等开源底座。论文使用的 Seedream、SeedEdit 教师模型也不开源。严格来说,这篇论文的完整图像级结果眼下无法在外部复现。

但它的核心机制——硬路由加 on-policy 远好于软融合——不需要大模型也能验证。几十行 Python 代码、一个二维玩具就能跑出来,几秒就能出结果。

构造非常简单:用两个目标分布来模拟两种能力——一个圆环代表“文生图”,四个角的四簇点代表“编辑”,各配一个冻结的老师速度场。然后用三种策略训练同一个小网络,让它同时还原这两个分布。

软融合那组,将两个老师的箭头平均着教。跑完一看,让它生成圆环时,它给出的是四个角的点簇——文生图的能力被编辑带串了味,正好对应论文开篇那句“editing degrades T2I”。换成 DanceOPD 的硬路由加 on-policy,圆环是圆环、四簇是四簇,两个能力都干干净净。量化上,到目标分布的平均偏差从软融合的 0.239 降到了 0.028,降低了约 88%。

原理演示:软融合把两个能力糊成一团,DanceOPD 两个都保住(越接近最左列越好)

对字节这种已经把多能力生图做成产品的玩家来说,这套机制的价值丝毫不抽象。Seedream 4.0 将生图和编辑统一进一个架构,工程上需要压制的“互相拖累”,DanceOPD 在研究层面给出了一个干净的答案。同时也为 AI 生成图片的直接修改提供了高效的技术路径。

来源:https://www.tmtpost.com/8047518.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。