知识图谱表示学习发展概览

近年来，随着人工智能与数据挖掘技术的持续演进，知识图谱（Knowledge Graph, KG）已成为结构化知识表示与推理的核心工具，广泛应用于语义搜索、推荐系统、智能问答等领域。然而，如何有效利用知识图谱中的结构化信息，并将其与当前主流的机器学习方法深度融合，仍是一大难题，也是学术界与工业界持续关注的热点方向。

接下来，本文将按照技术发展脉络，系统梳理知识图谱表示学习的几个关键方向，包括：

知识图谱嵌入（KGE）：将实体与关系映射到连续向量空间，实现知识图谱与深度学习模型的无缝对接。

基于图神经网络的知识图谱方法（GNN4KG）：借助图神经网络挖掘知识图谱中的高阶结构依赖与复杂模式。

面向知识图谱的语言模型（LM4KG）：探索如何将知识图谱与预训练语言模型有机融合，突破自然语言理解与推理的性能瓶颈。

本文将对上述领域的经典工作及方法演进进行介绍，为读者提供清晰的认知框架。

1 知识图谱简介

知识图谱（Knowledge Graph）本质上是一种用于表达实体及其之间关系的结构化语义知识库，可视为异质图（Heterogeneous Graph）的特例。它以图的形式将现实世界中的实体（如人物、地点、事件）与概念及其关联串联起来，构建起富含语义信息的网络。

形式上，知识图谱可以表示为有向多重图：

其中：

• 是实体的集合；

• 是关系的集合；

• 是三元组的集合，每个三元组对应一个知识事实，格式为：

  其中 为头实体（head entity），为关系（relation），为尾实体（tail entity）。

借助这些三元组，知识图谱能够描述多种关系，例如“作者—撰写—书籍”或“城市—隶属于—国家”。

知识图谱的魅力在于，它既是计算机可直接处理的图数据结构，又便于人类理解和增删改查，具备成为连接黑盒深度学习系统与人类认知之间桥梁的潜力。

2 知识图谱嵌入方法

知识图谱嵌入（KGE）的核心目标是将知识图谱中的实体和关系映射到低维向量空间，同时尽可能保留原始图谱的结构与语义信息。通用思路是设计目标函数，使嵌入空间中实体与关系的向量能够反映知识图谱的语义一致性和逻辑约束。这类方法通常以三元组（head, relation, tail）为基础，通过优化得分函数来建模已知事实，进而学习嵌入表示。

TransE是KGE领域的里程碑工作。其核心思想是将关系视作向量空间中的平移操作，即对于三元组 ，理想情况下满足

其中 、、 分别为头实体、关系和尾实体的嵌入向量。通过最小化得分函数

TransE能够高效捕捉简单语义关系，并配合负采样引入对比学习，提升嵌入质量。

尽管TransE结构简单、计算快速，且在多数场景下性能稳定，但它在处理复杂关系（如一对多、多对多及环状关系）时存在局限，因而催生了DistMult、RotatE等一系列改进方法。

尤为关键的是，这类方法多为transductive模式，而实际应用中知识图谱常需动态更新，新实体或关系可能随时出现。此时必须重新训练模型，与当前主流的inductive方法相比，其时效性略显不足。

3 用于KG的图神经网络

基于图神经网络的知识图谱建模（GNN4KG），是指利用图神经网络（GNN）对知识图谱进行表示学习与推理。由于知识图谱本质上是一种包含多种实体和关系的异构图，精心设计的GNN能够有效捕获结构特征与高阶关联，从而提升链接预测、节点分类等下游任务的性能。此外，绝大多数GNN支持inductive学习，因此这类方法更易于处理未见过的实体和关系——当然，具体适用性取决于模型设计。

关系图卷积网络（R-GCN）是GNN4KG领域的经典模型。R-GCN将传统图卷积网络扩展，以适应知识图谱的多关系特性。具体而言，它为每种关系类型引入独立的变换矩阵，在聚合邻居信息时充分考虑关系类型的影响。前向传播过程可表示为：

这样一来，R-GCN在信息聚合过程中便能区分不同关系的影响，从而适应知识图谱的复杂结构。

神经Bellman-Ford网络（NBFNet）是2021年提出的一种新型知识图谱推理模型。它将经典Bellman-Ford最短路径算法融入神经网络框架，通过可微分的动态规划过程计算实体间的可达性与关联强度。核心思路包括：

• 消息传递机制：模拟Bellman-Ford算法的迭代更新，消息在图传播中寻找最优路径。
• 可微分路径组合：利用神经网络学习不同路径的组合及权重，捕捉复杂关系模式。
• 高效推理：相比显式枚举路径的方法，NBFNet能够在大型知识图谱上高效完成链接预测与推理。

NBFNet的设计使其在处理长路径与复杂关系时表现优异，进一步拓展了GNN在知识图谱中的应用边界。此后，一类名为query-dependent的GNN4KG逐渐兴起——它们突破了传统GNN的消息传递范式，使得每次GNN前向计算仅针对特定查询（query）进行，即每个（head, relation, ?）都需要一次单独的forward计算。尽管过程稍显繁琐，但2024年发表的论文《Are Message Passing Neural Networks Really Helpful for Knowledge Graph Completion?》通过实验证明，许多基于传统GNN架构的GNN4KG模型（包括R-GCN）中的消息传递步骤并未发挥实质作用。这一发现反而提升了query-dependent GNN的关注度。

4 用于KG的语言模型

LM4KG（Language Models for Knowledge Graphs）指利用语言模型（LMs）处理并增强知识图谱（KGs）的方法。这些方法旨在将语言模型强大的自然语言理解与生成能力同知识图谱的结构化知识相结合，改进知识图谱的构建、补全及推理等任务。通过融合语义信息，LM4KG方法能更精准地捕捉实体与关系的丰富语义，从而提升相关任务的性能。

KEPLER（KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation）是一种将预训练语言模型与KGE统一建模的框架。它致力于将知识图谱的结构化知识融入语言模型的表示中，增强在NLP及知识图谱任务上的表现。KEPLER的核心思想是联合训练，将实体的文本描述与知识图谱结构信息融合到同一嵌入空间。具体而言，它利用预训练语言模型（如BERT）获取实体的语义表示，同时借助知识图谱三元组信息进行监督，使语言模型表示同时蕴含语义与结构化知识关联。

1. 实体表示：针对每个实体 ，通过其文本描述经语言模型编码，获得语义表示 。

2. 知识监督：利用知识图谱中的已知三元组 ，通过设计得分函数衡量三元组的可信度，例如采用TransE的得分函数。

3. 联合训练：同时最小化语言模型的语言建模损失与知识图谱的得分损失，使模型学到融合语义与结构的实体表示。

KEPLER是将文本语义与知识图谱结构有机结合的经典方法，显著提升了实体表示的丰富性。此外，其多任务能力使其在自然语言理解任务（如问答、文本分类）与知识图谱任务（如链接预测）中均展现出良好性能。

在大模型时代，研究者开始探索如何让大语言模型（LLM）更好地理解知识图谱。这里介绍一篇MM24的口头报告工作——KoPA。

KoPA旨在提升大型语言模型（LLMs）在知识图谱补全任务中的表现。其方法流程大致如下：

• 自然语言表达：将三元组 转化为自然语言句子。例如，使用模板“是什么的 ？”引导模型生成 。

• 模型微调：利用大量已知三元组转化的自然语言数据对模型进行微调，使其学习知识图谱中的模式与关系。

• 生成与评分：在预测阶段，模型生成候选实体，并根据生成概率或得分函数选取最可能答案。

核心贡献包括：

1. 任务转化：将知识图谱补全任务重新表述为NLP任务，使LLMs可直接处理，例如将预测缺失尾实体转化为填空或句子补全。

2. 提示设计（Prompt Engineering）：精心设计提示（prompts），引导LLMs更准确地理解并完成知识图谱补全任务。

3. 微调策略：探索对LLMs进行微调的方法，包括利用知识图谱数据实施监督微调，以适应特定知识图谱任务。

5 展望

在大模型时代，尽管LLM已展现出强大的开放任务自然语言处理能力，但其黑箱特性以及难以更新内部知识的问题，仍制约着其在更多场景中的实际落地。知识图谱横跨图这种强大的非欧结构化数据与文本这种人类最常用的非结构化数据，具有人类易读、易增删改查、贴近人类抽象思维模式等优势，有望成为推动人工智能在system Ⅱ层面进一步突破的关键桥梁。