本次查询:Embedding
中文解释:嵌入
常见场景:当用户使用搜索引擎时 / 输入的问题会被转化为向量 / 与海量网页的向量进行匹配 / 找到语义最相关的结果 / 而不仅仅是关键词匹配。在推荐系统中
一句话解释
Embedding 是一种将文字、图片、声音等数据转换成一系列数字(即向量)的技术,这些数字能代表数据的含义和特征,让计算机能通过计算数字间的距离来判断内容的相似程度。
为什么会被关注
随着大模型和AI应用的普及,如何让模型高效地“理解”和“利用”海量外部知识成为关键。Embedding 作为将知识转化为模型可处理格式的核心技术,是构建高效检索系统、实现精准推荐和增强模型能力的基础设施,尤其在RAG技术路线中不可或缺。
核心逻辑
其核心逻辑是“语义相近,向量则近”。通过模型训练,它将每个单词、句子或图片映射到高维空间中的一个点。在这个空间里,含义相似的词(如‘猫’和‘狗’)距离会更近,而无关的词(如‘猫’和‘汽车’)距离则更远。这种向量表示能够捕捉复杂的语义和语法关系。
常见场景
1. 智能搜索与推荐:电商和内容平台用它来理解用户查询和商品/内容,实现超越关键词的语义匹配,提升搜索准确性和推荐相关性。
2. 文本分类与聚类:自动将新闻归类、识别用户评论的情感倾向,核心是将文本转化为向量后进行分类分析。
3. RAG应用:为大型语言模型提供最新、准确的私有知识。先将知识库文档转化为向量存储,提问时快速找到相关片段注入给模型生成答案。
容易混淆的点
与简单编码(如One-hot)的区别:One-hot编码是稀疏的、高维且向量间相互独立,无法表达语义关系。而Embedding是稠密的、低维的,并且向量间的几何距离直接反映了语义相似度。
与完整模型的关系:Embedding模型通常是大模型的一个组成部分或前置模块。例如,BERT等模型可以生成句子的Embedding,但这个Embedding本身并不是一个能完成对话的完整AI,它更侧重于“表示”而非“生成”。
