聊到GloVe模型，很多人第一反应是“这不就是矩阵分解那一套吗”。实际上，它选择了一条更为巧妙的技术路径——既希望保留全局统计信息的宏观把握，又不愿放弃局部上下文中细腻的语义关系，索性将两者整合进同一个数学框架，让它们相互增益。换句话说，它既不是纯粹的矩阵分解，也不是Word2Vec那种基于滑动窗口的预测任务，而是依托于词对共现频次，通过向量内积加上偏置项来逼近共现次数的对数值。这个设计思路，即使在今天看来，依然极具巧思与美感。

共现矩阵：全局统计的具体落地形式

“全局”二字听起来颇为抽象，但其具体实现相当朴实——它只是将每一对词在整个语料库中、在固定上下文窗口（例如前后5个词）内共同出现的总次数，老老实实地逐一统计。注意，窗口机制本身就引入了局部性约束：只统计相邻或邻近位置的词对，而非任意距离。因此，共现矩阵X中的每个元素Xᵢⱼ，本质上已经融合了局部信息——每个词对在所有滑动窗口中联合出现的加权次数，距离越近，权重越高。

• 举例来说，“猫”和“可爱”如果在100个窗口里紧挨着出现，而“猫”与“引擎”仅在3个窗口里擦肩而过，那么X_猫,可爱会远远大于X_猫,引擎。
• 矩阵维度为V×V（V为词汇表大小），但在实际存储中通常采用稀疏结构——绝大多数词对从未共现，因此Xᵢⱼ = 0。

目标函数：用向量运算拟合统计规律

GloVe既不进行概率预测，也不做分类任务。它的目标十分直接：让词向量wᵢ与ŵⱼ的内积，加上两个独立的偏置bᵢ、b̂ⱼ，尽可能等于log(Xᵢⱼ)。也就是说，希望满足：

wᵢ^⊤ŵⱼ + bᵢ + b̂ⱼ ≈ log(Xᵢⱼ)

这个等式巧妙地将两个世界连接了起来：一边是连续、可微、支持向量运算的数学空间，另一边是离散、真实、携带着语义强度的共现计数。内积反映了词向量之间的相似性，偏置项则吸收了词频带来的固有偏差——像“的”这类高频词本就容易与任何词共现，因此需要单独校准。

• 当Xᵢⱼ = 0时，log(0)无意义，GloVe直接跳过该项，以免引入噪声。
• 当Xᵢⱼ很小（比如1到5），log(Xᵢⱼ)为负值但较为敏感，模型会认真拟合这些低频却可靠的信号。
• 当Xᵢⱼ很大（例如“the”与“cat”这种高频组合），log函数将其压缩，防止主导梯度更新。

加权损失：平衡高低频词对的训练贡献

如果直接使用平方误差(wᵢ^⊤ŵⱼ + bᵢ + b̂ⱼ − log Xᵢⱼ)²进行训练，高频共现仍会干扰全局效果。为此，GloVe引入了权重函数f(Xᵢⱼ)，最终损失函数变为：

f(Xᵢⱼ) × (wᵢ^⊤ŵⱼ + bᵢ + b̂ⱼ − log Xᵢⱼ)²

典型的f函数设计如下：当Xᵢⱼ ≤ xₘₐₓ时，f(Xᵢⱼ) = (Xᵢⱼ/xₘₐₓ)^α；否则为1。α通常取0.75，xₘₐₓ设为100。该机制的效果是：

• Xᵢⱼ = 0 → f = 0，完全忽略那些从未共现的词对。
• Xᵢⱼ在1到xₘₐₓ之间 → f随Xᵢⱼ平缓上升，低频共现获得合理权重。
• Xᵢⱼ > xₘₐₓ → f饱和为1，高频共现不再放大梯度。

为什么能支持语义类比？

关键原因在于：目标函数强制向量关系符合共现比率。例如，“king”与“man”的共现比，如果接近“queen”与“woman”的共现比，则满足：

log(X_king,man/X_king,woman) ≈ log(X_queen,man/X_queen,woman)

将该等式展开，等价于(w_king − w_queen)^⊤(w_man − w_woman) ≈ 常数——说明向量差的方向具有一致性。大量这样的比率被模型吸收后，最终自然涌现出“king − man + woman”趋近“queen”的经典线性关系。

这种线性结构并非人为堆砌，而是全局共现模式在向量空间中自然涌现的结果。归根结底，GloVe的精妙之处在于：用一个简洁的数学假设，将隐藏在统计数字背后的语义结构，老老实实地揭示了出来。