知识图谱对齐(KGA)的目标是把多个来源的知识整合起来,解决单个图谱在覆盖范围和深度上的不足。但问题是,现有的KGA模型离“完整”对齐还差得远——它们主要盯着跨图实体间的关联,却把关系对齐这个关键环节给忽略了。关系里蕴含的语义相关性在跨图信号中很有价值,可大多时候都被边缘化。这篇文章提出一个新思路:把关系对齐当作一个独立任务,然后将KGA拆分成两个高度相关的子任务——实体对齐和关系对齐。为了捕捉这两个目标互相强化的协同效应,论文设计了一个基于期望最大化(EM)的模型EREM,通过迭代优化来同时提升两者。在真实数据集上的实验表明,EREM在实体对齐和关系对齐上都稳稳超越了现有最优模型。
1. 引言
知识图谱(KGs)本质上就是三元组(头实体、关系、尾实体)的集合,用来表示从现实世界提炼出的事实知识。它们常被用作不同领域的参考和补充知识库。但单个KG的信息广度和深度往往撑不起复杂应用的需求——毕竟在一个图结构里捕获所有知识领域本身就很难。所以就有了KGA,把多个来源的知识集成起来。
现有的KGA模型主要集中在连接不同KG之间的实体上。它们通常先把文本描述和关系编码成低维嵌入来表示实体,然后用少量甚至零对齐种子训练匹配函数,最小化实体对之间的距离。匹配函数根据嵌入推断等价实体,最终形式化成全局分配或最优运输问题。虽然方法很先进,但本质上还是在做实体对齐,而不是真正的知识图对齐。KG有两个基本组件:实体和关系。实体代表对象的内在属性,关系则表达实体间的语义关联。一个理想的最优KGA模型,应该能在统一框架里对齐实体和关系。可现有研究几乎全扑在实体对齐上,关系对齐被撂在一边。这导致问题只解决了一半,不同KG的知识集成要么不充分,要么出错。更糟的是,关系仅仅被用来提升实体嵌入的质量,关系本身蕴含的跨图语义被严重忽视了。比如下面这图里,关系“父亲”在KG-ZH和KG-EN中就对应着相同的语义,但这类语义相关性常被忽略。
和现有模型不同,本文要解决的是KGA的“完整”任务。核心思路是把KGA形式化成两个相互关联的子任务:实体对齐(EA)和关系对齐(RA)。关系对齐的本质,就是匹配不同KG之间含义相同的关系。这两个子任务相互依赖、互相加强,形成协同效应。一方面,准确的实体对齐提供上下文,帮关系对齐一把。比如给定对齐好的实体对<“拿破仑一世”,“Napoleon”>和<“拿破仑二世”,“Napoleon_II”>,能直观推断连接它们的关系(KG-ZH的“父亲”和KG-EN的“father”)大概率是同义的。另一方面,精确的关系对齐又能为实体对齐提供一致性约束。比如头实体对<“拿破仑一世”,“Napoleon”>和关系对<“父亲”,“father”>对齐了,就能直接推断尾实体对<“卡洛·波拿巴”,“路易_波拿巴”>指的是同一个人。
不过,EA-RA联合对齐这个全面任务也面临挑战。第一,怎么设计一个有效的关系匹配模块来对齐跨KG关系?直接靠文本相似度来对齐关系,会忽略关系自身的结构特征和关联实体的文本重要性。第二,如何为EA和RA之间的迭代增强搭建一个统一框架?实体对齐需要利用多个关系来获得更鲁棒的实体表示,而关系对齐又得考虑相连实体来捕捉上下文细微差别。在统一框架里平衡这些需求,不是件容易事。
为了应对这些挑战,论文提出了一个EA和RA互相增强的集成框架EREM。它包含两个模块:实体匹配(E步)和关系匹配(M步),定义在变分期望最大化框架里。E步中,利用RA学到的关系锚点优化EA,目标是最大化实体锚点对应关系;M步中,利用EA预测的实体锚点优化RA,目标是最大化关系锚点对应关系。EA和RA的匹配过程都被形式化成最优运输(OT)问题,用Sinkhorn算法高效求解。在多个广泛使用的数据集上,EREM表现出了优越性能。值得注意的是,七种SOTA实体对齐方法都能无缝嵌入EREM,并且都一致地获得了性能提升。本文的贡献可以归纳为三点:第一,是首次将关系对齐概念化为独立任务;第二,把“完整”的知识图谱对齐任务拆成两个不同但高度相关的子任务;第三,通过EM迭代让两者互相促进。
2. 方法
这一节详细说明EREM框架。它包含三个基本组件:混合嵌入模块、实体匹配模块和关系匹配模块。混合嵌入模块负责将实体和关系编码到低维表示空间,并生成实体锚点和关系锚点的初始集合。实体匹配模块和关系匹配模块则分别对齐跨KG的实体和关系,两者通过在E步(EA)和M步(RA)之间的迭代进行联合训练。
2.1 混合嵌入模块
现有的EA模型用了各种类型的实体编码器,包括纯文本模型(比如BERT、RoBERTa、DeBERTa)和关系感知模型(比如TransD、TransH、TransR、PTransE)。为了适应这种多样性并增强泛化能力,混合嵌入模块被设计成支持多种实体和关系编码器。对于实体,模块集成了基于文本的和关系感知的编码器;对于关系,则通过用多语言语言模型对关系名称进行编码来学习嵌入。具体来说,选择的嵌入模块g将实体e和关系r嵌入到低维向量中。这种设计让框架能利用不同编码器类型,从而提升通用性。
2.2 实体匹配模块
这项工作把EA任务定义成最优运输(OT)问题,目标是全局运输距离最小化。给定G中有m个实体、G'中有n个实体,实体成本矩阵由实体嵌入矩阵、关系感知矩阵和实体结构感知矩阵之和计算得到,OT对齐过程形式化成实体传输矩阵的求解。
直接通过关系对齐来增强实体对齐的一种方式,是根据对齐关系的条件获得高质量的实体锚点。这个思路来自一个概率场景:如果来自不同KG的两个实体共享相同的关系并且连接到相同的实体,那么它们很可能是同一个。这种场景强调了对齐关系在准确识别实体中的重要性。由于对齐目标是最大化真实对应关系,实体对齐目标被制定为最小化实体锚点和关系感知硬实体锚点的负对数似然。
3. 实验
3.1 数据集
DBP15K_Zh-EN数据集包含997对对齐关系对,DBP15K_JA-EN和DBP15K_FR-EN分别包含684对和274对。表1给出了详细信息。为了验证EA和RA任务,论文手动标注了DBP15K数据集中的关系对齐数据。
3.2 评测指标
沿用之前研究的做法,EA和RA的评测指标包括Hits@k(k=1,10)和平均倒数排名(MRR)。
3.3 基准线
实验采用七种有竞争力的KG对齐方法作为基线,涵盖基础的基于KGE的方法(如KECG、GCN-Align、RotatE、BootEA)和最新的先进方法(如基于BERT的BERT-INT、无监督的FGWEA)。此外还纳入大语言模型ChatGLM-6b作为对比基线。
3.4 实验设置
框架用PyTorch实现。常见的超参数如下:嵌入模块可以是LaBSE、KECG、BootEA、RotatE、GCN-Align,嵌入维度分别为768、128、75、200、100。EA OT对齐更新8次(T=8),RA OT对齐用Sinkhorn算法求解(熵正则化权重设为0.1)。λ设为1e-5,λ设为1,奖励α设为2。用LaBSE作为嵌入模块,把实体和关系的名称、属性信息编码成文本语义向量。对于KECG、BootEA、RotatE和GCN-Align,删除30%的监督标记实体信息构建测试集,以防验证阶段数据泄露。实验未使用DBP15K的翻译版本,在GeForce GTX 3090 GPU上运行。
3.5 实验结果
实体对齐的性能分析结果见表2。从结果看,相比最强基线FGWEA,EREM在Hits@1上提升了0.1%到0.4%,在Hits@10上提升0.1%。相比BERT-INT,EREM在Hits@1上提升了0.4%到2.9%,在Hits@10上提升0.2%到1.0%。将基于KGE的模型作为嵌入模块并用EREM优化后,KECG的Hits@1平均提升34.2%,GCN-Align提升33.6%,RotatE提升25.4%,BootEA提升27.9%,ChatGLM-6b提升5.6%。这些改进充分证明了EREM的优越性,以及利用EM联合训练EA和RA的有效性。
4. 总结
EREM由实体匹配模块和关系匹配模块组成,用EM优化框架对EA和RA进行多重增强。通过E步和M步交替更新,EA和RA每一步都通过学习对方模块预测的锚点来互相强化。此外,这项工作还将大语言模型应用到EREM中并设计了CoT策略。在EA和RA验证数据集上的大量实验验证了EREM的有效性和效率。
