一文读懂深度学习核心概念_AI热点日报

一文读懂深度学习核心概念

类型：热点整理2026-07-09

BERT采用掩码语言模型实现双向上下文建模，并通过下一句预测任务学习句子间关系，结合深层Transformer编码器，在自然语言理解任务中表现优异。实际部署时需权衡编码器层数与注意力多头数对模型性能与效率的影响，以找到最佳平衡点。

BERT 模型深度解析：从预训练目标函数到微调实战应用

BERT 是自然语言处理领域中具有里程碑意义的预训练模型，它借助深层双向 Transformer 编码器来学习丰富的语言表示。接下来，我们将从训练目标、输入结构、微调方法以及实际贡献等多个维度，系统拆解 BERT 的核心原理与显著优势。

一、目标函数

BERT 的预训练过程包含两个核心任务：Masked Language Model（MLM） 和 Next Sentence Prediction（NSP）。这两个任务协同工作，帮助模型掌握词语的上下文语义以及句子之间的关联关系。

★ 1. Masked Language Model（MLM）

MLM 旨在训练深度双向语言表示向量，BERT 采用了一种直接的方式：遮蔽句子中的部分单词，让编码器根据上下文预测这些被遮单词。具体操作流程如下图所示：先按较小概率随机遮蔽部分字，再基于语言模型利用上下文信息进行预测。

BERT 的具体训练策略为：随机遮蔽 15% 的单词作为训练样本，被遮蔽的单词按以下比例处理：

80% 替换为 [MASK] 标记。
10% 替换为一个随机词。
10% 保持原词不变。

直观上，仅遮蔽 15% 的单词主要是为了平衡性能开销 —— 双向编码器的训练速度慢于单向编码器；选择 80% 的 [MASK] 和 20% 的具体单词，是因为预训练时进行了遮蔽操作，而在下游任务（如分类）微调时并不遮蔽输入序列，两者之间存在差异（即 gap）；10% 替换为随机词、10% 保持原词不变，其目的是让编码器无法预判哪些词需要预测、哪些词是错误的，从而被迫学习每个 token 的表示向量，这是一种折中设计。