ICLR 2026 Oral：破解多模态知识图谱噪音关联难题
在数据类型日益多元化的今天，现实世界中的人、事、物都可以通过多种模态被记录与呈现。顺应这一趋势，多模态知识图谱作为一种集成了文本、图像、结构化关系等多种模态数据的信息载体，能够高效、全面地为各类下游应用提供数据支撑。作为构建知识图谱的核心技术，实体对齐致力于从不同来源的图谱中找出指向同一现实事物的实体，从而建立跨图谱的关联网络，促进知识的融合与互联。
然而在实际构建过程中，大规模知识图谱的关联与融合并非易事。模型往往会同时面临噪声关联和隐藏关联的双重挑战。如图一 (a) 和 (c) 所展示的几种典型情况：
噪声关联：当你试图为“海王”杰森·莫玛关联图像时，可能因为视觉上的高度相似，错误地将演员徐锦江的照片与之匹配；或者，当你看到名字高度相似的《史密斯夫妇》与“威尔·史密斯夫妇”时，可能会误以为它们指向同一部电影作品，而后者其实是指明星本人的家庭组合。
隐藏关联：当模型想要查找著名足球运动员C罗时，发现搜索到的实体图像竟然是“葡萄牙国旗”，于是认为这并不是想查询的“人”。殊不知，这恰恰正是C罗的国籍信息。这种隐藏在深处的语义关联，常常被模型忽略。
近日，一项来自四川大学的研究揭示了上述现象在大规模知识图谱中广泛存在。研究团队提出了一种新方法，能够有效缓解噪声关联和隐藏关联对实体对齐带来的负面影响，有望推动大规模知识图谱的关联与融合。目前，该论文已被机器学习顶级会议ICLR 2026接收为口头报告（Oral）。
论文标题：Learning with Dual-level Noisy Correspondence for Multi-modal Entity Alignment
背景与挑战
多模态实体对齐旨在识别异构图谱中的同一实体，而图谱中的每个实体都与多种属性相关联。为了建立异构图谱间的关联，现有方法通常会先根据实体内部的属性关联来融合多模态信息，以获取更丰富的实体表征，然后再根据跨图谱的实体或属性间的对应关系，在实体层面和属性层面进行对齐，以消除差异。
然而，现有方法通常假设实体内部和跨图谱的关联都是完全正确的，忽略了知识图谱中广泛存在的噪声关联问题。据统计，部分基准测试数据集中有超过50%的实体受到噪声关联的影响。如图1 (b) 所示，噪声关联不仅会破坏实体内部不同属性的有效融合，还会误导跨图谱的对齐过程，这两方面因素都将导致模型性能显著下降。
除了噪声关联现象，现有的多模态实体对齐模型通常仅依赖浅层的表面相似度来判断关联程度，忽略了模型在进行推理时，往往存在一些看似不同但本质相同的属性。如图1 (c) 所示，这些隐藏的语义关联往往会影响到实体对齐的准确性。
图1：噪声关联和隐藏关联的示意图，以及针对二者设计的观测实验。
针对噪声关联和隐藏关联的挑战，本文提出了RULE方法，其主要贡献如下：
揭示并形式化了多模态知识图谱中的噪声关联问题，从多属性融合和跨图谱对齐两个层面深入探讨了噪声关联带来的负面影响。在测试阶段设计了关联推理模块，以确保更准确的实体识别，率先在实体对齐领域探索了增强模型在测试阶段的鲁棒性。为检验现有方法的鲁棒性，建立了统一的基准测试，覆盖了5个广泛应用的数据集。
方法
相关攻略
在数据类型日益多元化的时代背景下，现实世界中的人、事、物皆可通过多种模态进行记录与呈现。在此趋势推动下，多模态知识图谱（MMKG）[1,2] 作为一种集成文本、图像、结构化关系等多模态数据的信息载体
这是一项由北京大学医学技术研究所的胡家奎、姚正健、金陆佳、陈英豪和卢燕叶等研究人员领导的工作，论文发表于2025年10月，论文编号为arXiv:2510 13282v1。有兴趣深入了解的读者可以通过
这项由香港中文大学的郭宇伟、字节跳动的杨策元等研究团队合作完成的突破性研究，于2024年12月发表在计算机视觉领域的顶级会议上。对这项研究感兴趣的读者可以通过arXiv:2512 15702v1查询
热门专题
热门推荐
在追求极致效率的现代软件开发中，一款名为Cursor的AI代码编辑器正引领着开发范式的变革。它被定义为“面向未来的IDE”，其核心理念清晰而有力：将人工智能深度无缝地集成到编码工作流的每一个步骤，为开发者创造一种前所未有的“AI结对编程”体验。 Cursor sh应用场景 那么，这款AI驱动的编辑器
在众多AI图像生成工具中，WHEE凭借其精准的产品定位与持续的功能迭代，正成为越来越多设计师和内容创作者的首选工具。它专注于打造高品质的AI视觉素材生成器，核心使命就是帮助用户快速、高效地获得可直接使用的优质图片素材。 那么，这款AI绘图工具究竟有哪些核心优势？下面我们从其关键特性与功能设计进行深入
在AI绘画工具不断涌现的当下，一款名为NightCafe Creator的应用以其全面的AI艺术生成能力脱颖而出。它不仅是一个简单的图片处理工具，更是一个融合了多种前沿人工智能技术的创意平台，帮助用户轻松实现从构思到成品的艺术创作。 NightCafe Creator是什么？ NightCafe C
近期加密货币市场受到宏观经济不确定性及流动性紧缩影响，比特币(BTC)、以太坊(ETH)以及多种山寨币出现明显下行走势，市场情绪趋于谨慎。 比特币近期走势分析 比特币的价格近期表现如何？简单来说，它跌破了几个市场公认的关键支撑位，而且伴随交易量的放大。这种放量下跌的信号，往往意味着多空分歧加剧。无论
蔡司宣布将于6月2日发布一款新镜头，并称其为镜头技术的重大突破，标志着全新纪元的开启。官方仅公布了产品剪影，但措辞暗示其可能带来根本性的技术升级，例如全新光学结构、先进镀膜或对焦系统改进。具体细节需待发布日揭晓。