本次查询：Context Rot
中文解释：上下文旋转
常见场景：多轮对话 / 长文档问答 / 代码生成场景中 / 模型因历史信息丢失而产生重复回答 / 矛盾输出或逻辑断裂
一句话解释
Context Rot 是指AI在处理较长对话或任务时，早期提到的关键信息逐渐“旋转”或丢失，导致后续回答偏离原始意图的现象。
为什么会被关注
随着大模型被用于客服、编程助手、创意写作等长时间交互场景，用户发现模型在对话中后段开始重复回答、忘记用户偏好甚至自相矛盾。Context Rot 直接影响了商用产品的可靠性和用户体验，成为模型评估和工程优化的重要指标。
研究者和开发者关注它，因为突破Context Rot 能大幅提升模型的实用价值，并降低因信息丢失导致的错误决策成本。
核心逻辑
Context Rot 的根本原因有两个。第一，固定上下文窗口机制：模型只能处理固定长度的token序列，超出部分的早期信息会被截断或压缩。第二，注意力衰减：即使在窗口内，模型对距离较远的位置的注意力权重往往较低，如同人类对长篇对话的开头记忆模糊。
此外，模型在逐轮生成时，可能因重复编码自己的输出而偏离原始语义，形成“旋转”式的偏移。预训练数据的统计偏好也会加剧这种漂移，使得模型更容易锚定近期内容。
常见场景
场景一：长对话客服。用户在第5轮提到“我要退换货”，第20轮模型却问“您是需要购买吗？”。
场景二：代码生成。用户在前20轮定义了一个变量名，后续模型却使用不同名称，导致代码逻辑断裂。
场景三：长文档问答。模型对文档开头的事实回答准确，但询问文档中间某细节时，却错引了开头的结论。
容易混淆的点
Context Rot 不等于“模型幻觉”。幻觉是模型生成不存在的事实，而Context Rot 是真实信息在上下文中被遗忘或扭曲。
它也与“上下文窗口溢出”不同：窗口溢出指输入超过模型限制，而Context Rot 即使在窗口内部也可能发生，因为注意力衰减是连续梯度而非突然截断。
另一个常见误解：认为增加上下文窗口长度就能彻底解决Context Rot。实际上，单纯加长窗口可能加剧注意力稀释，需要配合位置编码优化或记忆机制。