本次查询：上下文扩展
中文解释：上下文扩展
常见场景：当用户需要与AI进行超长对话 / 分析长文档（如法律合同 / 长篇小说） / 编写长代码或进行复杂多轮任务规划时 / 就需要模型具备足够大的上下文窗口。
一句话解释
上下文扩展是一种提升AI模型“记忆力”的技术，旨在增加模型单次处理文本的最大长度（即上下文窗口），使其能理解更长的对话、文档或代码。
为什么会被关注
早期大模型（如GPT-3）的上下文窗口通常只有2K或4K tokens，限制了其在长文档分析、复杂对话等场景的应用。随着应用深入，用户迫切需要AI能处理更长的信息。
上下文长度直接关系到模型的实用性和能力上限。更长的上下文意味着AI可以基于更多历史信息进行推理，完成更复杂的任务，如总结整本书、调试长篇代码或进行持续的角色扮演。
核心逻辑
其核心是优化Transformer架构中的注意力机制计算。原始注意力计算复杂度随文本长度呈平方级增长，直接扩展窗口会导致计算成本和内存消耗剧增。
主流技术路径包括：更高效的位置编码（如RoPE、ALiBi）、优化注意力计算（如FlashAttention）、压缩KV缓存，以及使用外推或内插法在预训练后扩展窗口。目标是让模型在成本可控下“记住”更多内容。
常见场景
长文档分析与问答：一次性上传数百页的PDF、法律合同或学术论文，让AI进行全文总结、关键信息提取和问答。
超长对话与角色扮演：与AI进行持续数十轮甚至上百轮的深度对话，AI能记住所有历史设定和情节，保持一致性。
长代码生成与调试：处理整个代码库或大型项目文件，理解项目结构，进行跨文件代码补全、重构或错误排查。
容易混淆的点
上下文窗口 ≠ 知识库：扩展的上下文是模型的“工作记忆”或“短期记忆”，用于处理当前输入。它不同于存储海量事实的“长期记忆”或外部知识库。信息一旦超出当前窗口，模型便会“遗忘”。
更长不一定更好：盲目追求超长上下文（如128K/1M）可能带来成本飙升和“中间信息丢失”问题（模型对窗口中间部分关注度下降）。实用中需在长度、成本与效果间取得平衡。