这篇论文的第一作者是北京大学王选计算机研究所博士生高嘉怿，通讯作者是博士生导师刘洋。研究团队近年来在TPAMI、CVPR、ICCV、ICML等顶级会议和期刊上发表了多项代表性成果，多次在多模态感知与生成竞赛中夺冠，并与国内外知名高校及科研机构保持广泛合作。
今天要介绍的是团队最新被ICML 2026接收的研究成果——Taming I2V models for Image HOI Editing: A Cognitive Benchmark and Agentic Self-Correcting Framework。这项研究聚焦于复杂的人-物交互（Human-Object Interaction, HOI）图像编辑任务，首次提出了层级化认知评测基准HOI-Edit，系统性地评估模型在基础交互编辑、上下文空间理解、因果与物理推理三个能力层次上的表现。
针对现有全局指标难以判断“特定人与特定物体之间是否真正发生了正确交互”这一痛点，该工作进一步提出了基于成对区域grounding的自动评测协议HOI-Eval，通过目标区域关联、身份一致性验证以及交互/合理性问答，提供更可靠的编辑结果评估。
在此基础上，团队发现图生视频（I2V）模型天然适合重构动态交互过程，并提出了SCPE（Self-Correcting Process Editing）多智能体系统自纠错框架：利用视频生成过程暴露失败原因，再通过分析、反思和工具书更新迭代增强提示，使I2V模型在复杂HOI编辑任务中显著提升交互准确性与推理能力。
目前该研究已被ICML 2026正式接收，相关数据集和代码均已开源发布。
论文标题：Taming I2V models for Image HOI Editing: A Cognitive Benchmark and Agentic Self-Correcting Framework
论文链接：https://arxiv.org/abs/2606.19073
代码链接：https://github.com/oceanflowlab/HOI-Edit
项目主页：https://andyplus1.github.io/HOIEdit_page/
从“改像素”到“改交互”：图像编辑面临的新挑战
传统的指令式图像编辑，例如改变颜色、调整风格、替换物体等静态任务，已经取得了不错的效果。然而，一旦指令变成“把桌上的苹果拿起来”、“把碗放下”、“清理扶手箱内部”，情况就完全不同了——模型需要处理的远不止是局部重绘，而是要真正理解人与物体之间的交互关系。
这类任务的难点在于，模型必须同时满足多重约束：既要保持原图中人物和物体的身份不变，又要理解场景中的空间指代，还需要推理动作发生的过程及其物理后果。举例来说，当图中存在多个相似工具时，模型可能拿错目标；当任务要求“清理扶手箱内部”时，模型还需要先打开扶手箱，再完成清理动作。这些能力已经远远超出了普通静态属性编辑的范畴。
然而，现有的图像编辑基准往往将人-物交互与普通属性修改混为一谈，评价指标也多依赖CLIPScore等全局相似度或单独的实体检测，难以回答两个关键问题：目标人物和目标物体是否被准确保留？两者之间的交互是否真的发生，并且符合上下文逻辑？
为了填补这一空白，团队提出了HOI-Edit基准与HOI-Eval评测指标，并进一步将I2V模型引入图像HOI编辑。与静态图像模型只能给出最终结果不同，I2V模型能够展开完整的交互过程，使失败原因变得可诊断；基于这一特性，构建了从评测到优化的完整方法链路（如图一所示），其核心特点如下：
1.HOI-Edit层级化认知基准：面向复杂人-物交互编辑任务，构建了覆盖基础交互编辑、上下文空间理解、因果与物理推理三类能力的评测基准，用于系统刻画模型的认知层级能力。
2.HOI-Eval自动评测指标：针对传统全局指标难以判断交互是否真正发生的问题，引入了成对区域grounding的评测流程，通过目标区域关联、身份一致性验证和交互问答，更可靠地衡量编辑结果。
3.I2V过程可诊断与SCPE自纠错框架：借助I2V模型的完整交互过程，将错误进一步定位到轨迹偏移、步骤缺失或物理不合理等具体原因，并据此让SCPE把失败经验转化为可复用的提示优化策略，通过分析、反思与工具书更新形成闭环，迭代提升复杂人-物交互编辑的准确性与推理能力。
图1 我们提出了：（A）HOI-Edit，首个覆盖3个认知层级的HOI编辑基准；（B）HOI-Eval，一种用于验证HOI正确性的全新评测指标；以及（C）SCPE，一种用于优化I2V模型HOI编辑能力的智能体式框架。
层次化人物交互编辑评测：HOIEdit数据集
图2 HOI-Edit层级化认知评测示例：基准从基础交互编辑、上下文空间理解、因果与物理推理三个层次系统评估HOI图像编辑能力。
这套面向复杂人-物交互图像编辑的层级化评测体系，与传统图像编辑评测有一个根本性的区别：HOIEdit不再只关注最终图像是否“看起来相似”，而是进一步考察模型是否真正理解了目标对象、交互动作、空间关系以及背后的因果与物理过程。
具体来说，HOIEdit包含以下关键设计：
三层认知评测
如图2所示，HOIEdit将人-物交互编辑拆解为由易到难的三类能力，系统评估模型在不同认知层级上的表现：
L1基础交互编辑：关注交互关系的创建、移除与修改，要求模型在改变动作的同时保留原图中的人和物体身份。
L2上下文空间理解：进一步考察对场景空间关系的理解，例如在多个相似物体中选对目标，或将动作结果放到正确位置。
L3因果与物理推理：要求模型推理事件的因果链和物理后果，例如先完成必要的前置动作，再生成符合物理规律的结果。
图3 HOI-Edit数据构建与HOI-Eval评测流程：从上下文感知指令设计、区域标注、多维问答构建，到基于成对区域的身份验证、交互判断与合理性评估。
细粒度数据构建
在数据构建方面，HOI-Edit通过上下文感知的指令设计、系统化的区域标注和多维问答构造（见图3上），形成了覆盖357个L1样本、202个L2样本、146个L3样本且包含丰富交互类别的评测集合（见图4）。该设计避免了“只看最终图像是否像”的粗粒度判断，而是将具体的人-物对、动作状态、空间约束和过程合理性纳入统一评测。
图4 HOI-Edit数据分布与交互类别统计：左图展示L1、L2、L3三类样本在不同任务子类中的分布情况，右图展示评测集合中覆盖的主要交互动词类别。
HOI-Eval评测逻辑
HOI-Eval的核心思想是让评测模型“带着目标区域思考”，其评测流程主要包括以下几步：
目标区域关联：基于原图中的人物、物体及辅助区域，在编辑后的图像中建立对应关系，定位需要评测的目标区域。
身份一致性验证：分别检查人物和物体的身份是否保持一致，避免出现目标被改错或改丢的情况。
交互与合理性问答：围绕交互是否发生、动作是否到位、空间位置是否正确、过程步骤是否完整以及物理现象是否合理等问题，设计针对性问答。
相比只看整体相似度的全局指标，这种方法更能避免指代歧义，也更贴近人类对HOI编辑成功与否的判断。
基于过程的自纠错：智能体式闭环优化用于交互编辑
图5 SCPE框架流程图：Generator、Analyzer、Reflector与Curator四类智能体围绕工具书形成闭环，将失败视频中的过程线索转化为可复用的提示优化经验
如图5所示，SCPE（Self-Correcting Process Editing）是一种面向复杂人-物交互编辑的智能体式自纠错框架。其核心基础在于：I2V模型生成的连续视频不仅包含最终编辑帧，还会记录人物从接近目标、执行动作到形成最终结果的全过程。因此，失败不再只是最终图像中的黑盒结果，而是可以通过视频过程被观察、分析和修正。
换句话说，SCPE并非简单地对提示词做一次性增强，而是利用I2V生成过程中的动态交互线索来定位失败原因。例如，当模型本应拿起最右侧凿子却抓向中间凿子时，视频轨迹能够直接暴露“模型优先选择最近物体”的失败模式，为后续的Prompt优化提供依据。
图中可以看出，SCPE是一种面向复杂人-物交互图像编辑的基于智能体的自纠错框架。该方法结合了图生视频的时序生成过程与多模态大模型的理解能力，实现对复杂交互编辑的自动分析与纠错。具体来说，其核心基础在于：I2V模型生成的连续视频不仅包含最终编辑帧，还会记录人物从接近目标、执行动作到形成最终结果的全过程。因此，在复杂交互编辑任务中，失败不再只是最终图像中的黑盒结果，而是可以通过视频生成过程中的动态交互线索被观察、分析和修正。
用更直白的话说，SCPE并不是简单地对提示词做一次性增强，而是利用I2V生成结果的过程反馈来定位失败原因，并通过工具书积累可复用的提示优化经验。例如，当模型本应拿起最右侧凿子却抓向中间凿子时，视频轨迹能够直接暴露“模型优先选择最近物体”的失败模式，为后续的Prompt优化、视觉生成模型纠错与复杂人-物交互编辑提供依据。
具体来说，SCPE由四个专门智能体组成：
Generator：根据输入图像、原始指令和工具书生成细化的视频提示。
Analyzer：采样视频帧并诊断生成失败的原因。
Reflector：将单个失败案例提炼为一般性经验。
Curator：将经验增量写入工具书。
下一轮生成时，Generator会调用更新后的工具书，显式强调目标对象、动作轨迹、前置条件和物理后果，从而减少同类错误。
不同于一次性Prompt Enhancer的“盲预测”，SCPE利用真实生成视频作为反馈来源，能够根据模型实际失败位置进行纠错；同时，工具书将个例经验沉淀为跨样本策略，使得框架不仅能优化当前样本，也能提升后续复杂交互编辑的稳定性。
性能与泛化双提升：SCPE的实验验证
为了验证SCPE的有效性，研究团队在HOI-Edit基准上对开源图像编辑模型、闭源商业模型以及I2V视频生成模型进行了系统评测。实验重点关注交互准确性（I）、人物身份保持（H）、物体身份保持（O）以及考虑合理性问题的交互成功率（I+Q&A），用于判断模型是否真正完成目标交互，而不仅仅是生成视觉上相似的结果。
实验部分的结论非常直接：SCPE不仅让结果“看起来更像”，更在交互发生、身份保持、空间约束以及物理/因果合理性方面都有明显提升。 论文围绕HOI-Edit的三层认知任务、人工一致性、消融实验、不同主干模型、独立评测器与VLM泛化性展开了验证，下面依次给出关键表格与解读。
表1 HOI-Edit主量化结果：对比不同图像编辑模型与I2V模型在L1基础交互编辑、L2上下文空间理解和L3因果与物理推理三类任务上的交互准确性（I）、人物身份保持（H）、物体身份保持（O）及考虑合理性问题的交互成功率（I+Q&A）。
如表1所示，在主量化结果上，SCPE带来了稳定且显著的性能提升。与原始Wan 2.2 I2V相比，加入SCPE后，模型在三层认知任务上的交互表现均明显提高，其中L1交互分数提升约22%，L2约束成功指标提升约26%，L3约束成功指标提升约22%，并在多个关键交互指标上超过了闭源强基线（表1）。这说明SCPE不仅能让动作“发生”，还能让动作发生在正确的对象、正确的位置和合理的过程中。
图6 不同方法在HOI-Edit上的可视化对比：SCPE能更准确地执行交互动作、理解目标对象和位置，并在复杂场景中保持过程与物理一致性。
如图6所示，从可视化结果来看，SCPE在复杂交互场景中也表现出更强的稳定性和可控性（图6）。在L1场景中，SCPE能克服静态模型常见的编辑惯性和幻觉伪影；在L2场景中，SCPE能更准确地理解目标对象和空间位置；在L3场景中，SCPE更擅长保持过程一致性与物理合理性，生成符合常识的中间步骤和最终结果。
表2 HOI-Eval与人工判断的一致性分析：对比DINOv2、CLIP和HOI-Eval在人物身份、物体身份和交互判断上的Pearson相关性及统计显著性，验证HOI-Eval更贴近人类评测结果。
如表2所示，进一步的实验从评测可靠性和模块设计两方面验证了方法的有效性：HOI-Eval相比DINOv2、CLIP等全局相似度指标，与人工判断具有更高相关性，说明基于成对区域的问答式评测更贴近人类判断。
表3 SCPE消融实验结果：对比原始Wan 2.2 I2V、官方Prompt Enhancer、去除工具书的版本和完整SCPE，在交互准确性（I）与身份保持分数（IDS）上的表现，验证视频过程反馈与Playbook经验复用的作用。
表3展示了SCPE核心组件的贡献。官方Prompt Enhancer（OPE）虽然将交互分数从0.6804小幅提升到0.7028，但身份分数从0.8494降到了0.7385，说明盲目补充提示可能引入身份漂移。相比之下，去掉工具书后的视觉反馈版本已能把I提升到0.7625、IDS提升到0.8786；完整SCPE进一步达到0.8199 / 0.8954，证明工具书的跨样本经验沉淀是性能继续提升的关键。
进一步研究表明，SCPE在不同设置下也展现出良好的泛化能力。例如，接入推理速度更快的TurboDiffusion后，SCPE仍能在较短推理时间内明显提升总体交互表现；使用独立评测器或替换为Qwen工具书时，性能趋势也保持一致。这表明SCPE的优势并不依赖于单一主干模型或单一VLM，而是来自过程诊断与经验积累这一机制本身。整体来看，实验结果表明：SCPE通过“视频过程诊断→失败经验总结→工具书更新”的闭环机制，显著提升了I2V模型在复杂人-物交互编辑中的交互准确性、空间理解能力和物理/因果合理性。
总结：面向世界模型的交互编辑新基准
围绕复杂人-物交互图像编辑任务，这项工作提出了覆盖评测、指标与优化框架的完整方案。HOI-Edit构建了面向三层认知能力的层级化评测基准，涵盖基础交互编辑、上下文空间理解、因果与物理推理等关键维度；HOI-Eval进一步引入了基于成对区域的自动评测机制，使模型评估从全局相似度走向更细粒度的交互正确性判断。
实验结果表明，SCPE能够显著提升I2V模型在复杂人-物交互编辑任务中的表现，不仅在三层认知任务上取得了稳定增益，还在消融实验、独立评测器和跨VLM设置中展现出良好的鲁棒性与泛化能力。进一步分析显示，视频生成结果提供的过程反馈与工具书中积累的交互经验，是推动模型从“结果修正”走向“过程自纠错”的关键。
总体而言，这项研究不仅提出了一个新的HOI编辑基准和评测指标，还探索了一种利用视频过程反馈优化图像编辑模型的新范式，为未来构建具备更强空间理解、因果推理和物理一致性的视觉生成模型提供了重要基础。