智能体上下文工程是一门精准管理AI智能体上下文窗口的艺术,它能显著提升任务执行的效率与可靠性。本教程将为你系统梳理核心概念、关键挑战以及业界主流的四大策略,帮助你掌握构建高效智能体的实用方法。
1. 核心概念:LLM上下文窗口 ≈ RAM
正如 Andrej Karpathy 所说,大型语言模型(LLM)就像一种新的操作系统。LLM 就像是 CPU,其上下文窗口则类似于 RAM,作为模型的工作内存。与 RAM 一样,LLM 上下文窗口处理各种上下文来源的能力也是有限的。而上下文工程的作用与操作系统筛选进入 CPU 内存的内容类似,正如 Karpathy 所总结的那样:
“上下文工程是为下一步操作精准填充上下文窗口的精细艺术与科学”。在构建 LLM 应用时,我们需要管理以下几种类型的上下文:
- 指令 — 提示、记忆、少量样本示例、工具描述等。
- 知识 — 事实、记忆等。
- 工具 — 工具调用的反馈。
