一、语言表征学习 Language Representation Learning

通过自监督语言模型预训练的语言表征学习已经成为许多NLP系统的一个组成部分。传统的语言建模不利用文本语料库中经常观察到的实体事实，如何将知识整合到语言表征中已引起越来越多的关注。

核心思路： 将知识图谱中的结构化知识注入预训练语言模型，提升模型对实体、关系、事实的理解能力。

二、知识图谱语言模型（KGLM）：通过选择和复制实体来学习并呈现知识。

• ERNIE-Tsinghua： 通过聚合的预训练和随机Mask来融合信息实体。
• K-BERT： 将领域知识注入BERT上下文编码器。
• ERNIE-Baidu： 引入了命名实体Mask和短语Mask以将知识集成到语言模型中，并由ERNIE 2.0通过持续的多任务学习进一步改进。
• KEPLER： 为了从文本中获取事实知识，通过联合优化将知识嵌入和Mask语言建模损失相结合。
• GLM： 提出了一种图引导的实体Mask方案来隐式地利用知识图谱。
• CoLAKE： 通过统一的词-知识图谱和改进的Transformer编码器进一步利用了实体的上下文。
• BERT-MK： 与K-BERT模型类似，更专注于医学语料库，通过知识子图将医学知识集成到预训练语言模型中。
• Petroni等人： 重新思考语言模型的大规模训练和知识图谱查询，分析了语言模型和知识库，他们发现可以通过预训练语言模型获得某些事实知识。