利用大型语言模型发现实体关系，实现精确匹配与歧义消除
发布时间：2024 年 03 月 25 日
RAG 数据整合 实体匹配
Disambiguate Entity Matching through Relation Discovery with Large Language Models
摘要
数据整合与清洗的核心环节始终是实体匹配，无论进行模糊连接还是去重操作，都依赖它来消除数据混乱。传统方法要么依赖编辑距离、Jaccard相似度等字符串算法，要么借助嵌入技术与深度神经网络。大语言模型（如GPT）出现后，为解决术语歧义提供了新途径。但实体匹配的真正挑战不仅在于术语模糊，更在于如何定义“匹配”——尤其是在引入外部数据库进行整合时，不同数据源的细节粒度差异巨大，这种歧义使精确匹配难上加难。我们提出一个创新思路：与其纠结于实体间的语义相似度，不如转向理解并明确实体之间实质性的“关系”。将关系定义清楚后，匹配过程中的歧义便迎刃而解。只要预先设定好任务相关的关系集合，分析师便可高效处理从精确匹配到概念关联实体的各种相似情况，大幅提升工作效率。
背景
数据融合与数据清洗中，实体匹配始终是关键枢纽。传统方法通常依靠嵌入模型计算实体间的距离；大语言模型则可用于解决实体间的模糊匹配问题。作者通过几个实例指出了传统方法的不足：
例如，下图使用ada-002嵌入计算欧几里得距离，对实体相似度进行排序。然而，表2中的许多实体与表1中的实体之间存在多种关系类型，导致匹配结果混乱不堪。
再如，直接使用GPT-4进行实体匹配时，会遇到“匹配”一词含义模糊的问题。若将“匹配”定义为“完全相同”，则定义过于严苛，实际场景中几乎不存在完全相同的实体，导致方法失效。
解决方案是：发现源实体与目标实体之间的关系，利用关系消除实体匹配中的歧义。即使没有完全相同的实体，也可以选择一种预设的关系类型进行匹配。
依据标准数据模型，假设存在两个表格R1和R2。传统实体匹配（EM）需要找到函数f：
此函数通过设定f(R1, R2)=1，判断一对实体是否“匹配”——即它们指向同一对象；否则f(R1, R2)=0。
然而，现实中从外部数据库找到完全相同的匹配概率极低，用户也希望找到以不同方式相关联的实体。因此作者提出：在关系概念域D中，基于关系的EM需要寻找匹配函数f：
对于每个三元组d, R1, R2（d属于D，表示一种关系类型，如“是”、“包含”），若R1与R2通过关系d相关联，则f(d, R1, R2)=1，否则为0。基于关系的EM扩展了传统EM，“完全相同”关系只是众多可能关系中的一种。
有几点需要特别注意：
• 关系并非互斥，一个实体可能与另一个实体存在多种关系。
• 某些关系（如“包含”）具有一对多的特性。
• 当给定关系d关联多个实体R1时，如何选择最佳匹配取决于关系本身——可能需要人工干预，这是基于关系实体匹配的后处理步骤。
系统设计
整体系统分为离线部分和在线部分两部分。
离线部分
离线阶段，分析师需先明确与任务相关的实体间的关系，同时对目标表格进行预处理，以便在线匹配时能够快速响应。
分析师通过离线头脑风暴会议，定义一套紧密贴合任务的关系集。通常先手动进行一轮实体匹配，然后分析哪些模式与关系对任务有益。关系定义越具体越好，并在少样本学习中利用示例强化。整个过程呈迭代式，涉及头脑风暴与验证，关系也可随时间推移持续优化。
关系类型示例
• 完全相同：适用于同一实体但使用同义词或缩写的场景。例如“小型汽车”是“小型轿车”的同义词。
• 一般性无额外细节：适用于作为输入实体的上类，但不包含额外细节的实体。例如“小型车辆”和“轿车”都是“小型轿车”的上层分类。
• 类似但带有额外细节：适用于包含额外假设或特性的实体。例如“电动车”相比“小型轿车”多了电力特性，而“小型轿车”本身未提及电力。
• 类似但带有错误细节：适用于与输入实体细节矛盾的相似实体。例如“大型轿车”与“小型轿车”中的“小型”矛盾，但两者本质上都是“轿车”。
• 组成部分：适用于给定实体的组成部件。例如“发动机”是“小型轿车”的一个组成部分。
在线部分
输入用户表格后，进入在线阶段。系统执行实体匹配，发现关系，并根据分析师的具体任务进行后处理。
这里采用检索增强生成（RAG）技术。对于R中的每个元组t以及每个指定的关系d，系统生成提示。首先从R2中检索出一组在嵌入空间中与t距离较近的d实体，然后询问：每个t与t2之间是否存在关系d？为提升准确率与可解释性，使用标准的思维链（Chain-of-Thought）过程。这些提示随后提交给大语言模型（默认使用GPT-4）处理。
上图展示了在线部分使用的提示词模板。
识别关系后，结果交由分析师进行后续处理。该步骤同样具有迭代性——首先寻找“完全相同”的匹配，若未找到，则沿着预定义的关系列表继续搜索下一个最相似的关系。
Arxiv[1]