还记得前两年 DragGAN、DragDiffusion 等拖拽修图工具刚问世时,大家纷纷感叹其酷炫效果——只需鼠标点选拖动,就能让物体“活”起来。然而实际体验中,许多用户发现容易产生变形、边界割裂、细节丢失等问题,尤其是在复杂编辑场景下,结果往往难以令人满意。那种“想改却改不好”的尴尬体验,确实让人颇为困扰。
如今局面已被改变。ECCV 2026 上亮相的 ICRDrag,一举突破了此前的技术瓶颈。该方案提出了一种名为“上下文区域拖拽”的新思路——通过掩码精准定位局部区域,并执行移动、缩放、变形等操作。看似与以往差别不大?关键在于,生成结果的流畅自然度与画面真实感实现了质的飞跃。
简单来说:以前是“选个点,拖着走”,现在是“划定区域,告诉模型目的地”。
效果展示
先看编辑效果示例。每组图像中,左侧蓝色掩码表示源区域,右侧红色掩码表示目标区域。拖拽编辑的核心任务,本质上就是将源区域内容整体搬运到目标区域位置,与此同时,除了必要的跟随性变化(例如嘴部移动带动下巴联动),其他区域细节尽可能保持不变。
从实际呈现来看,ICRDrag 对各种类型图片的姿态与形状调整几乎都能应对自如——无论是人像中的面部微调、四肢比例修改,还是静物/场景中的物体摆放与形变,都表现得相当稳定。
用户端操作体验也比较直观:用不同颜色绘制多对源区域与目标区域(目前最多支持 5 对),将源区域一一拖拽至对应目标区域。如果其他区域出现了意料之外的改动,还可以在其他位置增设类似锚点的源/目标区域来“锁定”这些区域。

上下文区域拖拽
ICRDrag 的技术核心究竟是什么?一句话概括:它基于 DiT 的上下文学习框架,将“原图、源区域掩码、目标区域掩码”一次性整体输入模型,直接输出编辑完成后的最终图像。这意味着,整个拖拽过程不再需要零散的多次迭代操作,而是从底层设计上就让模型理解“你想把什么物体移到哪里”。
关键创新点共有五项:
上下文学习框架: 一次性输入三要素(原图、源掩码、目标掩码),模型直接输出最终编辑结果。相比此前的逐点迭代或局部迭代,这种方式从根本上解决了编辑意图的不确定性问题。
图像-掩码注意力一致性约束: 目标图像中的物体在“借鉴”原图信息时,其注意力分布必须与目标掩码对源掩码的分布保持一致。模型不再“割裂”地看待图片与选区,而是让生成画面严格贴合掩码所划定的空间轮廓。
源-目标双向注意力对应约束: 目标物体看到原图中的对应区域,原图区域也反方向关注目标物体。此举在编辑前后的物体之间建立了双向对应关系——类似于“我认得你,你也认得我”,避免了形变时物体特征丢失。
图片/掩码专属模态 LoRA: 图像富含纹理细节,掩码仅存储空间轮廓,两者信息性质差异显著。ICRDrag 为图像分支和掩码分支分别使用独立的 LoRA 参数,让各自的学习任务更加聚焦。
分阶段课程式训练: 这可能是最贴近实际应用的设计。现实中,用户勾勒掩码往往比较粗糙,不可能像标注员那样画得精准。模型采用两阶段渐进式训练:第一阶段使用完整语义掩码,让模型先学会区域变换的基本逻辑;第二阶段采用稀疏、不完整的掩码训练,并通过随机膨胀来模拟手绘粗糙选区,从而大幅提升模型的容错率。即使掩码画得比较潦草,AI 依然能大致理解用户的编辑意图。
区域拖拽大规模数据集
优秀的模型离不开高质量数据支撑。ICRDrag 团队基于百万级视频数据集 OpenVid,打造了首个大规模区域拖拽数据集 PRD(Paired Region Dataset)。
训练集: 包含 28.7 万组“原图 + 源掩码 + 目标图 + 目标掩码”配对样本。每组样本涵盖了从源区域到目标区域的完整变换信息,保证了模型的训练覆盖广度。
评测基准 PRDBench: 包含 1000 组经过人工校验的高质量样本,同时标注了掩码和关键点。值得一提的是,该基准使得点拖拽模型与区域拖拽模型之间的对比更加公平——过去两类模型往往难以直接比较,现在有了统一标准。
应用场景
图像拖拽编辑在多个领域都具有直接落地价值。
人像修图: 框选人脸、四肢等部位,调整身材比例、姿态或五官位置,基本不会出现明显变形或失真。
静物/产品设计: 拖拽商品调整其摆放位置或缩放大小,无需重绘光影——物体移动后,环境光效基本能保持自然过渡。
场景构图优化: 移动画面中的人物、花草、建筑等元素,编辑后背景能够自动填充并实现画面无缝融合。
创意设计: 自由扭曲物体轮廓,实现较复杂的创意形变,告别以往生硬拼接的效果。
实验室简介
ICRDrag 出自上海交通大学牛力实验室。该实验室近年来主要聚焦于图像生成与编辑领域,代表性研究方向包括图像合成/物体插入(image composition/object insertion)和少样本图像生成(few-shot image generation),同时也涉及图像填充、图像分层、风格迁移、拖拽编辑等其他方向。近两年,团队的重心逐渐转向生成模型的后训练,以及理解与生成一体化模型的研究。
