本次查询:词嵌入
中文解释:词嵌入
常见场景:自然语言处理 / 搜索推荐 / 智能对话
一句话解释
词嵌入是把词语转换成一组数字(向量)的技术,让计算机能通过计算向量之间的距离,理解词语之间的语义关系和相似度。
为什么会被关注
随着大模型和语义搜索的普及,词嵌入作为语言理解的基石技术备受关注。它让AI从“机械匹配关键词”升级到“理解真实意图”,直接提升了搜索推荐、智能客服等场景的体验。传统独热编码无法表达语义,而词嵌入通过稠密向量解决了这一问题,成为现代NLP的核心支柱。
核心逻辑
其核心是“分布式假设”:上下文相似的词,语义也相似。通过训练模型(如Word2Vec)预测词语的上下文,模型会自动学习将语义相近的词(如“猫”和“狗”)映射到向量空间中相近的位置。向量间的余弦相似度或欧氏距离直接反映了词语的语义关联强度。
常见场景
搜索引擎利用它提升查询与文档的语义匹配,即使不包含相同关键词也能召回相关结果。
推荐系统通过计算用户兴趣向量和物品向量的相似度,实现“看了又看”的深度推荐。
在大模型的输入嵌入层,词嵌入是文本进入模型的第一道转换,为后续的注意力计算提供基础表示。
容易混淆的点
词嵌入与独热编码不同:独热编码是高维稀疏的(维度等于词表大小),仅表示身份,无法计算语义;词嵌入是低维稠密的,蕴含语义。
词嵌入与词向量常被视为同义词,但严格来说,词嵌入指映射的过程和方法,词向量是映射后的结果。
静态词嵌入(如Word2Vec)与上下文词嵌入(如BERT)有本质区别:前者每个词只有一个固定向量,后者根据句子上下文动态生成向量,能解决一词多义问题。
