游乐游手机版
首页/AI热点日报/热点详情

上海交大ICRDrag首个上下文区域拖拽模型精准图像编辑

类型:热点整理2026-07-06
ICRDrag是ECCV2026首个上下文区域拖拽模型,通过掩码精准锁定局部区域,实现移动、缩放、变形等编辑,解决传统拖拽的变形、边界割裂问题。基于DiT上下文学习框架,采用图像-掩码注意力一致性等约束,配合分阶段课程式训练与PRD大规模数据集,提升编辑精准度与画面真实感。

让 AI 真正学会「选哪改哪」——这是 ECCV 2026 最新工作 ICRDrag 交出的答卷。还在用 DragGAN、DragDiffusion 做拖拽修图?那些点选拖拽容易变形、边界割裂、细节丢失的糟心体验,终于可以翻篇了。ICRDrag 首创上下文区域拖拽模型,用掩码精准锁定局部区域,移动、缩放、变形全部丝滑自然,精准度和画面真实感双双在线。

效果展示

先看编辑效果。每一组图像中,左边蓝色掩码是源区域,右边红色掩码是目标区域。拖拽编辑的核心任务,就是把源区域拖拽到目标区域。其他区域除了必要的跟随性改动(比如嘴巴动了,下巴也要跟着动)之外,细节尽量保持不变。从展示结果来看,ICRDrag 对各种类型图片的姿态和形状调整都能轻松拿捏。

下面视频是 Demo 展示。用户可以不同颜色画出多对源区域和目标区域(目前最多支持 5 对),把多个源区域一一拖拽到对应目标区域。如果其他区域出现了不想要的改动,可以在那些区域增加类似锚点的源区域和目标区域,把其他区域锁住不动。体验链接:https://drag.ustcnewly.com/

直击痛点

传统拖拽修图,到底有多难用?玩过 AI 拖拽编辑的朋友肯定踩过这些坑——

  • 基于单点拖拽:主流点拖拽模型比如 DragGAN、DragDiffusion,仅靠少量点对控制画面。点对信息太模糊,AI 经常猜不透你的想法。点越少,歧义越大,想精准调整物体形态基本靠运气,很难严格对齐目标位置。

  • 现有区域拖拽:后来出现的 RegionDrag、DragFlow 等模型改用掩码控制区域,但缺陷依然明显:物体拖拽后边缘断层,和背景融合生硬;复杂的形状姿态调整完全 hold 不住。

上下文区域拖拽

本次 ECCV 2026 提出的 ICRDrag,全称 In-Context Region-based Drag,给出了一个全新解法:上下文区域拖拽,真正实现「选啥改啥」。

  • 上下文学习框架:基于 DiT 上下文学习框架,一次性输入原图、源区域掩码、目标区域掩码,直接输出编辑完成的图片,从底层解决拖拽编辑的控制难题。

  • 图像-掩码注意力一致性约束:目标图像在借鉴原图信息时,注意力分布必须和目标掩码匹配源掩码的分布保持一致。AI 不再割裂地看图片和选区,生成画面严格贴合掩码划定的空间轮廓。

  • 源-目标双向注意力对应约束:目标物体看向原图对应区域,原图区域也反向关注目标物体,建立编辑前后物体的对应关系。

  • 图片/掩码专属模态 LoRA:图像富含纹理细节,掩码仅存储空间轮廓,两者性质差别很大。ICRDrag 为图像分支和掩码分支分别使用独立的 LoRA。

  • 分阶段课程式训练:现实使用中,用户勾勒的掩码往往比较粗糙。模型采用两阶段渐进式训练:第一阶段用完整语义掩码训练,让模型学会区域变换逻辑;第二阶段用稀疏不完整掩码训练,随机膨胀模拟手绘粗糙选区,大幅提升模型容错率。哪怕掩码画得潦草,AI 依然能精准理解你的编辑意图。

区域拖拽大规模数据集

为了训练 ICRDrag 模型,该工作基于百万级视频数据集 OpenVid,打造了首个大规模区域拖拽数据集 PRD(Paired Region Dataset),补上了领域空白。

  • 训练集:28.7 万组「原图 + 源掩码 + 目标图 + 目标掩码」配对样本。下图左栏是原图、源掩码、从源掩码采样的部分区域;右栏是目标图、目标掩码、从目标掩码采样的部分区域。

  • 评测基准 PRDBench:1000 组人工校验高质量样本,同时标注掩码 + 关键点,可公平对比点拖拽和区域拖拽两类模型。

应用场景

图像拖拽编辑覆盖多个落地场景,是设计师和摄影爱好者的福音。

  • 人像修图:框选人脸、四肢,随意调整身材比例、姿态、五官位置,不变形不失真;
  • 静物/产品设计:拖拽商品调整摆放位置、缩放大小,无需重绘光影;
  • 场景构图优化:移动画面中的人物、花草、建筑,自动填充背景,画面无缝融合;
  • 创意设计:自由扭曲物体轮廓,实现复杂创意形变,告别生硬拼接。

实验室简介

ICRDrag 出自上海交通大学牛力实验室。该实验室近几年的主要工作集中在图像生成和编辑领域,代表性子方向是图像合成/物体插入(image composition/object insertion)和少样本图像生成(few-shot image generation),也涉猎过图像填充、图像分层、风格迁移、拖拽编辑等其他子领域。近两年,团队在关注生成模型的后训练以及理解生成一体化模型。

来源:https://www.bestblogs.dev/article/9a6a41b1?utm_source=rss&utm_medium=feed&utm_campaign=resources&entry=rss_article_item

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。