先说几个核心判断：图像编辑模型正在经历一场质的飞跃，而SeedEdit 3.0正是这股浪潮中的标志性产品。它解决的核心问题，就是AI能否像人类修图师那样，精准理解“这里要改，那里不能动”的细微指令。
在视觉创意工作中，借助AI完成指令式图像编辑的需求非常普遍。但坦白说，之前的模型在主体保持、背景锁定和指令跟随上表现总是不够理想，导致最终生成的可直接使用的图片比例不高。SeedEdit 3.0基于文生图模型Seedream 3.0，融合了一套精心设计的数据策略和专用奖励模型，终于攻克了这一难题。尤其是在人像精修、场景替换，甚至视角与光线转换这些“高难度动作”上，表现相当亮眼。
字节跳动Seed团队今天正式发布了图像编辑模型SeedEdit 3.0。这款模型能直接处理并生成4K图像，在精准自然地处理编辑区域的同时，对其余部分能做到高保真维持。打个比方，当用户想把一张街拍照片里多余的行人全部去掉，它不仅能准确识别并移除所有无关人物，连地面的影子都会一并处理干净，效果相当自然。
Prompt：移除中间人物以外的所有行人
在将2D绘画转为真实模特的任务中，模型对人像的衣帽穿搭、手提包等细节也保持了高水准的还原，最终成片甚至带上了几分时尚街拍的味道。
Prompt：使女孩看起来逼真
至于光影变换这种极其考验功底的活儿，模型处理得同样丝滑自然。从近处的建筑到远处海面的波纹，细节都保留得妥妥帖帖，并能跟随光线变化做到“像素级”的渲染调整。
Prompt：把场景变为白天
那么，这些能力是怎么训练出来的？关键在于团队为SeedEdit 3.0打造的一套高效数据融合策略和配套的多种专用奖励模型。
通过将这些奖励模型与扩散模型联合训练，团队针对性地改善了人脸对齐、文本渲染等关键任务的质量。当然，在落地应用时，团队也对推理速度做了同步优化。
Prompt：将“STOP”更改为“WARM”
1. 图像编辑保持能力突出，真人评测可用率较高
为了全面评测升级版的SeedEdit 3.0，团队收集了数百张真实与合成的测试图像，构建了23类编辑操作子任务。除了常见风格化、添加、替换和删除，还加入了相机运动、物体位移、场景切换这类更复杂的指令，力求客观反映模型的真实水平。
机器评测结果
团队用CLIP图片相似度评估模型的编辑保持效果，并调用第三方VLM自动判断“编辑需求是否最终在图片里体现”，即指令响应程度。
下方坐标图直观地展示了结果：SeedEdit 3.0在编辑保持效果和指令响应能力上，全面领先于之前的SeedEdit 1.0、1.5以及1.6版本。面对Gemini 2.0和Step1X等竞品，也具备明显优势。顺便一提，GPT-4o位于右下角，说明它的图像保持能力相对弱一些，但指令遵循方面确实更为出色。
纵轴代表图像主体保持效果，横轴代表机器评测的指令响应程度
从另一张图可以看到，在人脸保持这个用户高度关注的维度上，SeedEdit 3.0的优势同样突出。
纵轴代表人脸保持效果，横轴同样代表机器评测的指令响应程度
真人评测结果
机器评测终归只是辅助，真人反馈才是金标准。团队引入了人工评价机制，采用0-5分制，从五个维度给出了评判：
- 指令遵循：模型是否准确响应了用户的编辑指令？
- 图像保持：模型有没有擅自动不该动的地方？
- 生成质量：成片的美感如何？有没有明显的伪影或瑕疵？
- 用户满意度：综合感受好不好？
- 可用率：最终结果直接拿来用，用户能接受的比例是多少？
综合测评结果非常直观：SeedEdit 3.0的图像保持能力得分高达4.07分（满分5分），相比1.6版本足足提升了1.19分；可用率达到了56.1%，相比1.6版本绝对值增加了17.46个百分点。同时，在指令遵循、生成质量这两个维度上，它同样处于行业最前沿。
不同图像编辑模型在可用率、用户满意度、指令遵循、图像保持、生成质量维度的表现
从下面的对比案例能够看到，SeedEdit 3.0对非编辑区域的保持能力确实很强，生成的内容自然、细节丰富，同时兼顾了美感。
通过定性比较能看到，SeedEdit 3.0在人脸、物体/人物前景、图像细节保留、汉字更改和对齐方面有着较好表现
2. 增强型数据策略，让AI理解P图任务中的“变”与“不变”
图像编辑任务训练的核心，是让模型“听懂”指令、理解任务差异、并在画面中精准区分哪些需要改动，哪些需要保留。数据是模型能力的基石，为此，团队专门开发了一套增强型数据融合策略。
这套策略结合不同任务与场景，构建了四大类数据：
合成数据集
团队专门设计了一套配对采样策略，涵盖从语言模型、视觉理解模型生成的提示词，到文生图模型的噪声采样。这类数据让模型学会关注重要且长尾的任务类型，理解各种主体姿势的几何推理变化。
编辑专家数据
团队以合规方式收集了海量真实数据，里面包含大量专业编辑流程（例如ComfyUI工作流、背景/光线调整、文本编辑等）。将这些数据与图像生成API联合构建出多条数据管道，充分覆盖了各类专家场景。
传统人工编辑操作
基于传统编辑工具，团队还制作了镜头模糊、光照调整、裁剪、海报模板生成等高质量操作数据。这些数据提供了准确的损失方向信息，帮助模型进一步理解“变”与“不变”的本质差异。
视频帧与多镜头
大规模多样化的真实图像对泛化能力至关重要，而视频素材恰好能提供天然的配对资源。团队从视频片段中随机抽取关键帧，通过文字指令描述区别，再使用CLIP图像相似度和光流指标粗筛，最后由VLM精筛，得到了高质量的编辑对。
通过上述方法，模型获取了更多领域的数据，有效减少了跨领域数据处理导致的域间差距，提升了模型对图像任务的理解力——像一位真正的设计师一样，判断“要改”和“要保持”的部分。
以下为部分构造的例子：
基于这些数据，团队促使扩散模型在真实数据与合成的“输入-输出编辑空间”中进行交错学习，在不损失各类编辑任务信息的同时，显著提升对真实图片的编辑效果。具体训练框架如下：
我们从多个数据源收集元信息，将多个Loss融合并插入训练过程中
考虑到不同来源的编辑数据差异巨大，直接混合会导致性能下降。举个例子，“更换为巴黎”这个指令，在传统P图里可能只是个简单的背景替换，但在基于扩散模型的ID保持任务里，可能意味着对所有像素的彻底修改。
为此，团队提出一种多粒度标签策略，有效融合了不同来源的数据。对于差异大的，通过统一任务标签区分；差异小的，则加入特殊Caption来区分，从而减少了模型推理的随机性。考虑到需要兼顾中英双语场景，团队还对提示词进行了采样，并用VLM生成了新的中英文描述。
经过重新描述、过滤和对齐，所有数据都能用于正向和反向的编辑操作训练，最终实现了整体性能的平衡。
3. 对齐不同模态信息，多阶段进行训练
团队沿用了经过验证的框架：底层使用视觉理解模型推断图像的高层语义信息；顶层采用因果扩散网络，并在扩散过程中重新引入图像编码器来捕捉细节。在两者之间加入一条连接，用于将视觉理解模型获取的编辑推理信息与扩散模型对齐。
在此基础上，团队将扩散网络升级为Seedream 3.0。这个基础模型能原生生成1K至2K分辨率的图像，显著提升了输入图像细节（如人脸与物体特征）的保留效果。更重要的是，它还赋予了SeedEdit 3.0充分的双语文本理解和文本渲染能力，并且可以轻松扩展到多模态图像生成场景。
改造完成后的SeedEdit 3.0结构
针对新架构，团队采用了多阶段训练策略。预训练阶段旨在融合所有收集的图像对数据；精调阶段则聚焦于微调并稳定编辑性能。
具体来说，团队先做了多长宽比训练，依靠多分辨率批次训练，让模型从低分辨率逐步过渡到高分辨率。
微调阶段，团队重新采样了大量精调数据，从中选出高分辨率、高质量的样本，结合多种模型过滤器和人工审核进行筛选，确保数据既高质量又覆盖丰富的编辑类别。随后，使用扩散Loss对模型进行微调。
针对人脸身份、细节结构、美感等对用户价值极高的属性，团队引入了特定奖励模型作为额外Loss并赋予权重，显著提升了SeedEdit 3.0在这些关键能力上的表现。
最后，团队将编辑任务与T2I任务联合训练。这一步带来了两个好处：一是注入高质量/高分辨率的T2I图像后，模型的高分辨率图像编辑能力显著增强；二是模型保留了T2I模型的能力，泛化性能进一步提升。
4. 融合多个加速方法，实现10秒级推理
在训练与推理加速方面，SeedEdit 3.0同样拿出了有效方案：
蒸馏模型方法
加速框架基于Hyper-SD和RayFlow，通过为每个样本设定独特的目标分布，大幅减少了路径重叠，提升了生成稳定性和输出多样性，避免了传统方法细粒度控制削弱、反向去噪不稳定的问题。
CFG蒸馏
无类别引导方法（CFG）会让推理成本几乎翻倍。团队将CFG编码为一个可学习模块，与时间步编码联合嵌入。这种蒸馏方法实现了约2倍的推理加速，且依然可以按需调整引导强度。
统一噪声参照
为了保证采样过程的平滑过渡，团队引入了一个由网络预测的单一噪声参照向量。该向量在每个时间步保持不变，为去噪阶段提供持续一致的引导，实现更稳健的采样和更逼真的重建。
自适应时间步采样
针对传统扩散训练过程损失方差较大、低信息量区间存在计算浪费的问题，团队引入了一种自适应采样策略。在训练中，神经网络模块会重点选择对损失下降贡献最大的时间步，实现更具针对性的更新，提升了计算资源利用率，降低了训练成本。
少步高保真采样
SeedEdit 3.0的框架采用高度压缩的去噪调度，相较标准方法，大幅减少了采样步数，同时在美感、文本-图像对齐、结构准确性等关键指标上依然保持优异表现。
量化
针对DiT模型的架构与规模，团队通过内核融合和内存访问合并等技术手段，对特定算子进行了性能优化。与原始结构相比，部分算子执行速度提升超过两倍。同时，团队还对GEMM和Attention模块进行了低比特量化，进一步提升了性能并节省了内存。
5. 写在最后
尽管SeedEdit 3.0在图像保持、可用率等方面取得了显著进步，但必须承认，它在指令遵循方面仍有提升空间。未来，除了进一步优化编辑性能，团队还将探索更丰富的编辑操作，让模型拥有连续多图生成、多张图像合成、故事性内容生成等能力，帮助用户激发更多精彩的创意。