长度偏差：文本向量模型中的隐藏陷阱

在文本向量模型中，语义相似度的测量并非绝对可靠，它容易受到多种因素的干扰。其中，长度偏差就是一种普遍存在的现象：长文本的向量往往比短文本的向量更容易获得更高的相似度分数，即使它们的内容并不真正相关。本文将深入解析长度偏差的成因、影响，并通过实际数据集CISI进行可视化演示，帮助你理解如何规避这一陷阱。

一、什么是长度偏差？

文本向量模型的核心功能是测量语义相似度。然而，当比较不同长度的文本时，模型会表现出一种系统性偏差：长文本的向量（平均而言）与其他向量具有更高的余弦相似度，即使内容完全不相关。例如，一个不相关的长文档，其相似度分数可能轻易超过0.75，而一个高度相关的短文档却只有0.3。

关键点： 向量比较只能反映相对相似度，无法直接判断相关性。你不能简单地认为“余弦相似度高于0.75就代表内容相关”。