Qwen-Image-Edit 现已正式开源。这款图像编辑模型功能十分强大——不仅可以精准调整局部元素,还能够保持整体语义的一致性,并支持中英文双语文字编辑。下面为您深入解读它的核心技术亮点。
Qwen-Image-Edit 并非从零开始研发,而是在已经开源的 20B 参数模型 Qwen-Image 基础上,进一步训练而成的单图编辑模型。它主要支持两种编辑任务:一种是局部编辑,例如添加、删除或修改某个特定元素,同时要求图片其他区域保持完全不变化;另一种是视觉语义编辑,比如 IP 创意设计、物体旋转、风格迁移等,这类编辑允许整体像素发生改变,但必须保持语义的一致性。更值得关注的是,Qwen-Image 原有的优秀文本渲染能力被成功延续到了图像编辑领域,模型能够同时处理中英文双语的文字编辑——在保留原有字体、字号和风格的前提下,对图片中的文字进行增加、删除或修改操作。
从架构设计来看,Qwen-Image-Edit 的输入图像会同时被送入 Qwen2.5-VL 和 VAE Encoder 进行编码。Qwen2.5-VL 提取的视觉特征与文本特征拼接在一起,负责实现视觉语义控制;而 VAE Encoder 提取的图像 tokens 则与 noisy tokens 拼接,负责实现视觉外观控制。这种语义与外观双重建模的方式,使得模型在编辑过程中能够兼顾整体语义的一致性与局部外观的真实度,从而获得更强的图像编辑能力。
为了应对不同任务中输入模态的差异,Qwen-Image-Edit 和 Qwen-Image 采用了不同的系统提示词设计。其中 <|user_image|> 填入输入图像,<|user_text|> 填入用户文本。此外,为了让模型能够区分输入图像和生成图像,位置编码 MSRoPE 除了用于定位单张图像中图像块的高度和宽度维度之外,还引入了一个额外的帧维度——输入图片的编码为 1,而生成图片的编码为 0。
在基准测试方面,Qwen-Image-Edit 在图像编辑评测集 GEdit-Bench 和 ImgEdit 上超越了大部分图像编辑模型,例如 FLUX.1 Kontext [Pro] 和 BAGEL 等,其性能与 OpenAI 的 GPT Image 1 [High] 相当。
具体应用场景
先来看局部外观编辑。这是最常使用的图像编辑需求——编辑过程中必须保持图像的某些区域完全不变,实现元素的增加、删除或修改。Qwen-Image-Edit 能够在保留原图的基础上,完成非常精细的增删改操作。
(此处为局部编辑示例图片)
应用场景还可以扩展到人物背景调整、服装更换等方面:
(此处为背景及服装编辑示例图片)
文字编辑能力是 Qwen-Image-Edit 的一大突出亮点。它不仅同时支持中英文编辑,还可以直接对中文海报中的细小文字进行精准调整:
(此处为文字编辑示例图片)
多轮编辑能力同样值得关注。下面展示的是模型逐步修正 Qwen-Image 生成的书法作品中的错误:
(此处为书法作品修正示例图片)
在这幅作品中,不少汉字存在生成错误。我们可以借助 Qwen-Image-Edit 逐步修复它们——在原图中用方框标注出需要修改的区域,指示模型针对这些部分进行修正。例如,希望红框内正确写出“稽”字,蓝色区域写出“亭”字:
(此处为标注修正区域示例图片)
实际操作中,“稽”字较为生僻,模型未能一次性完成修改——“稽”的右下角应为“旨”而非“日”。此时进一步用红框圈出“日”的部分,让模型对该细节进行微调,将其改为“旨”:
(此处为微调示例图片)
通过这种链式、逐步的编辑方式,可以持续修正错字,直至获得理想效果:
(此处为最终修正效果示例图片)
甚至还可以将修正好的书法作品装裱到客厅的白墙上:
(此处为装裱效果示例图片)
语义编辑能力是 Qwen-Image-Edit 的另一大亮点。所谓语义编辑,是指在保持原始图像视觉语义不变的前提下,对图像内容进行修改。下面以 Qwen 的吉祥物卡皮巴拉为例,展示原创 IP 编辑:
(此处为卡皮巴拉编辑示例图片)
模型还能实现出色的视角转换——不仅支持物体的 90 度旋转,还可以完成 180 度旋转,让我们直接看到物体的背面:
(此处为视角转换示例图片)
风格迁移是语义编辑的典型应用场景。Qwen-Image-Edit 可以轻松将输入图像转换为吉卜力等多种风格:
(此处为风格迁移示例图片)
