深入解析AI Agent的核心技术与未来趋势，64张图带你全面了解LLM Agents的工作原理。
核心内容：
1. LLM Agents与传统LLM的区别及其应用场景
2. 增强型LLM的组成要素：外部工具、记忆、检索系统
3. Agents的定义、关键组件及其与环境的交互方式

LLM Agents指南

LLM Agents如今风头正劲，大有取代我们熟悉的对话式LLM之势。不过，Agents本身并不简单，它需要多个组件协同作战，才能发挥真正的威力。

本文将通过60多张定制可视化图，带你深入探索LLM Agents的各个关键领域、主要组件以及多Agent框架的运作方式。

什么是LLM Agents？

要搞懂LLM Agents，得先看看LLM的基本能力。传统上，LLM做的仅仅是下一个token的预测。

通过连续采样多个token，我们可以模拟对话，让LLM为我们的查询给出更全面的答案。

然而，一旦对话持续下去，任何LLM都会暴露它的致命短板：它根本不记得对话内容！

不仅如此，LLM在许多其他任务上也常常翻车，比如基本的乘除法运算：

那是不是说LLM很垃圾？当然不是！LLM没必要什么都会，因为我们可以借助外部工具、记忆和检索系统来弥补它的不足。

通过外部系统的加持，LLM的能力可以得到极大的增强。Anthropic把这种形态称为增强型LLM。

举个例子，面对数学问题时，LLM可能会决定调用一个合适的工具，比如计算器。

那么这种增强型LLM就是Agent吗？不完全是，但确实有几分神似……

不妨先看看Agents的经典定义：

Agent是任何可以被视为通过传感器感知其环境、并通过执行器作用于该环境的事物。

—— Russell & Norvig，《人工智能：现代方法》（2016）

Agents与环境打交道，通常由几个重要组件构成：

• 环境 — Agent交互的世界
• 传感器 — 用于观察环境
• 执行器 — 用于与环境交互的工具
• 效应器 — 决定如何从观察转化为行动的“大脑”或规则

这个框架适用于各种各样的Agents，比如与物理世界交互的机器人，或者与软件系统打交道的AI Agents。

我们可以把这个框架稍微泛化一下，让它更适合增强型LLM的语境。

对于增强型LLM来说，Agent可以通过文本输入来感知环境（因为LLM通常是文本模型），并通过使用工具（比如网络搜索）来执行具体操作。

为了决定下一步该做什么，LLM Agent还有一个关键组件：规划能力。要做到这一点，LLM需要具备“推理”和“思考”的能力，例如通过思维链（Chain-of-Thought）的方法。

借助这种推理行为，LLM Agents就能规划出必要的行动步骤。

规划行为让Agent能够理解上下文（LLM本身）、规划下一步行动（规划）、采取实际行动（工具）并跟踪已完成的步骤（记忆）。

根据具体系统的不同，你可以使用具有不同自主程度的LLM Agents。

一般来说，一个系统越是由LLM来决定自己的行为方式，它的“自主性”就越强。

接下来，我们将沿着LLM Agent的三大核心组件——记忆、工具和规划——来逐一探讨各种自主行为的方法。

记忆

LLM天生就是健忘的系统，更准确地说，在与它们交互时，它们根本就不执行任何记忆行为。

比如，你向LLM提了一个问题，紧接着再追问一个相关的问题，它完全不会记得前面那件事。

通常我们把这种能力称为短期记忆，也叫工作记忆。它相当于一个接近实时上下文的缓冲器，记录LLM Agent近期采取的行动。

然而，LLM Agent还需要跟踪可能跨越数十个步骤的信息，而不仅仅是最近的动作。

这就是长期记忆的用武之地。理论上，LLM Agent可能需要记住几十甚至上百个步骤。

接下来，我们看看有哪些技巧可以给这些模型赋予记忆。

短期记忆

实现短期记忆最直接的办法就是利用模型的上下文窗口，这本质上是LLM能处理的token数量。

上下文窗口通常至少有8192个token，有些甚至能扩展到数十万个token！

大的上下文窗口可以用来跟踪完整的对话历史，作为输入提示的一部分。

只要对话历史适合LLM的上下文窗口，这种方法就很好用，是模拟记忆的妙招。不过要注意，这其实并不是真正“记住”了对话，而是把对话内容重复告诉LLM一遍。

对于上下文窗口较小的模型，或者对话历史太长时，我们可以用另一个LLM来总结迄今为止的对话内容。

通过持续总结对话，我们可以保持会话体积小巧，减少token消耗，同时只保留最重要的信息。

长期记忆

LLM Agents的长期记忆包括那些需要长期保存的Agent过去行动空间的信息。

实现长期记忆的常见做法是，把所有先前的交互、行动和对话都存储到外部的向量数据库中。

要构建这样的数据库，首先得把对话内容转换成数值表示（嵌入），这种表示能捕捉对话的含义。

数据库建好之后，我们可以对任何给定的提示进行嵌入，然后通过比较提示嵌入与数据库中嵌入的相似度，找到最相关的信息。

这种方法通常被称为检索增强生成（RAG）。

长期记忆还可以跨会话保留信息。比如，你可能希望LLM Agent记住它在之前某个会话中做过的所有研究。

不同类型的信息也可以与不同类型的记忆关联起来。心理学中有很多记忆类型需要区分，但《语言Agents认知架构》这篇论文把其中四种类型与LLM Agents联系起来。

这种区分有助于构建主体框架。语义记忆（关于世界的事实）可能存储在不同于工作记忆（当前和最近情况）的数据库中。

工具

工具让LLM能够与外部环境（比如数据库）交互，或者使用外部应用程序（比如自定义代码运行器）。

工具通常有两个用途：获取数据以检索最新信息，以及采取行动，比如安排会议或下单订餐。

要实际使用工具，LLM必须生成与该工具API相匹配的文本。常见做法是把文本格式化成JSON字符串，这样可以方便地交给代码解释器来处理。

注意，这并不限于JSON，我们也可以直接在代码中调用工具！

你还可以生成LLM可以使用的自定义函数，比如一个基础的乘法函数。这通常被称为函数调用。

只要提示词写得正确且全面，大多数LLM都能使用任何工具。工具使用能力已经成为当前LLM的标配。

更稳定的工具使用方法是对LLM进行微调（稍后会详细讲！）。

如果主体框架是固定的，工具可以按特定顺序使用……

……或者LLM可以自主选择用哪种工具、什么时候用。LLM Agents本质上是修改LLM的生成序列——让LLM自主选择行动/工具，再把结果反馈到生成序列中继续处理。

换句话说，中间步骤的输出被反馈回LLM，让它继续往下走。

Toolformer

工具使用是增强LLM能力、弥补其短板的重要技术。正因如此，近几年关于工具使用和工具学习的研究迅速增长。

随着对工具使用的关注增加，LLM预计会变得越来越强大。

这些研究不仅包括通过指令让LLM使用工具，还涉及专门训练它们使用工具。

最早采用这种技术的代表是Toolformer，一种训练用于决定调用哪些API以及如何调用的模型。

它用[和]标记来指示调用工具的开始和结束。当给定一个提示，比如“5乘以3等于多少？”，它会先生成token，直到碰到[标记。

之后，它会继续生成token，直到碰到→标记，表示LLM暂停生成。

然后，工具被调用，输出会被添加到已经生成的token后面。

]符号表示LLM可以继续生成token（如果需要的话）。

Toolformer通过精心构造包含大量工具用例的数据集来创造这种行为，并在这些数据集上训练模型。对于每个工具，它手动创建少样本提示，并通过采样来生成使用这些工具的输出。

输出会基于工具使用的正确性、输出质量和损失下降进行筛选。最终得到的数据集用于训练LLM遵循这种工具使用格式。

自Toolformer发布以来，又涌现出很多让人眼前一亮的技术，比如能用数千种工具的LLM（ToolLLM），或者能轻松检索最相关工具的LLM（Gorilla）。

不过话说回来，目前大多数LLM（2025年初）都已经过训练，可以通过JSON生成轻松调用工具（就像我们之前看到的那样）。

模型上下文协议（MCP）

工具是主体框架的重要组成部分，但当你面对大量不同的API时，启用工具使用就会变得很麻烦。因为任何工具都需要：

• 手动跟踪并提供给LLM
• 手动描述（包括它的JSON模式）
• 当API变动时手动更新

为了让工具在任何主体框架中都能更容易地实现，Anthropic推出了模型上下文协议（MCP）。MCP标准化了对天气应用、GitHub等服务的API访问。

它由三个组件组成：

• MCP Host — 管理连接的LLM应用程序（比如Cursor）
• MCP Client — 与MCP Host保持1:1连接
• MCP Server — 向LLM提供上下文、工具和功能

举个例子，假设你希望LLM应用程序总结你仓库中最近5次提交的内容。

MCP主机（连同客户端）首先会调用MCP服务器，询问有哪些工具可用。

LLM收到信息后，可能决定使用某个工具。它通过主机向MCP服务器发送请求，然后接收结果，其中包含所使用的工具。

最后，LLM拿到结果，并解析成用户能看懂的回答。

这个框架让创建工具变得更加简单，因为只要连接到任何LLM应用程序都能用的MCP服务器就行。也就是说，当你创建了一个与GitHub交互的MCP服务器之后，任何支持MCP的LLM应用程序都可以直接使用它。

规划

工具使用让LLM能力大增，通常通过类似JSON的请求来调用。

但在这个主体系统中，LLM是怎么决定用哪个工具、什么时候用的呢？

这就是规划要解决的问题。LLM Agents中的规划，指的是把给定任务分解成可执行的步骤。

这个规划让模型能迭代反思过去的行为，并在必要时更新当前的计划。

要启用规划能力，我们先得看看它的基础——推理。

推理

规划可执行的步骤需要复杂的推理行为。所以，LLM必须先展示出推理能力，然后才能规划下一步。

“推理型”LLM倾向于在回答问题前先“思考”一番。

这里用的“推理”和“思考”其实范围比较广，因为到底这是人类的思考，还是仅仅把答案拆成了结构化的步骤，大家还有争论。

这种推理行为大致可以通过两种方式实现：对LLM进行微调，或者使用特定的提示工程。

通过提示工程，我们可以给LLM展示推理过程的示例。提供示例（也就是少样本提示）是引导LLM行为的绝佳方法。

这种给出思维过程示例的方法被称为思维链（Chain-of-Thought），它能够实现更复杂的推理行为。

思维链甚至可以在没有示例的情况下启用（零样本提示），只要简单地说一句“让我们一步一步思考”就行了。

在训练LLM时，我们可以给它提供包含大量类似思考例子的数据集，或者让LLM自己发现思考过程。

一个很好的例子是DeepSeek-R1，它使用奖励来引导思考过程的使用。

推理与行动

在LLM中启用推理行为是好事，但光有推理并不足以让它规划可执行的步骤。

我们前面关注的技术，要么只展现推理行为，要么只通过工具与环境交互。

比如，思维链只专注推理。

最早把这两个过程结合起来的技术之一叫ReAct（推理和行动）。

ReAct通过精心设计的提示词工程来实现。ReAct的提示描述了三个步骤：

• 思考 — 对当前情况的推理步骤
• 行动 — 要执行的一组行动（比如工具）
• 观察 — 对行动结果的推理步骤

提示本身相当直截了当。

LLM使用这个提示（可以作为系统提示）来引导自己的行为，使其在思考、行动和观察的循环中运作。

它会继续这个循环，直到某个行动指定要返回结果。通过反复进行思考和观察，LLM可以规划行动、观察输出并相应调整。

因此，相比那些预定义固定步骤的Agents，这个框架让LLM展现出更多自主的行为。

反思

没有人（哪怕是用了ReAct的LLM）能每次都完美执行任务。只要你能对过程进行反思，失败本身就是过程的一部分。

ReAct里缺少的就是这种反思机制，而Reflexion正是为了解决这个问题而生的。Reflexion是一种用语言强化来帮助Agents从先前失败中学习的技术。

这个方法假设了三种LLM角色：

• 执行者 — 根据状态观察选择并执行行动。可以用思维链或ReAct等方法。
• 评估者 — 对执行者产生的输出进行评分。
• 自我反思 — 对执行者采取的行动和评估者生成的分数进行反思。

通过添加记忆模块来跟踪行动（短期）和自我反思（长期），Agent可以不断从错误中学习，并确定改进的行动方案。

还有一个类似但更优雅的方法叫SELF-REFINE，它通过反复执行细化输出和生成反馈的动作来迭代改进。

同一个LLM既负责生成初始输出，也负责细化输出和提供反馈。

有意思的是，这种自我反思行为（Reflexion和SELF-REFINE）与强化学习非常相似，都是根据输出质量给予奖励。

多Agent协作

我们前面讨论的单Agent方案存在几个问题：工具太多会让选择变得复杂，上下文可能过载，任务也可能需要专业化分工。

反过来，我们可以转向多Agent框架。在这里，多个Agents（每个都拥有工具、记忆和规划能力）相互交互，并与它们的环境交互。

这些多Agent系统通常由专业化的Agents组成，每个都配备自己的工具集，并由一个监督者来统筹。监督者负责管理Agents之间的通信，可以把特定任务分配给专门的Agents。

每个Agent可能拥有不同类型的可用工具，也可能会使用不同的记忆系统。

实际上，有几十种多Agent架构，核心都包含两个组件：

• Agent 初始化 — 如何创建单个（专业化的）Agents？
• Agent 编排 — 如何协调所有Agents？

下面我们来看看几种有趣的多Agent框架，并重点关注它们是如何实现这两个组件的。

人类行为的交互模拟

可以说最有影响力、也非常酷的多Agent论文之一，就是《生成式Agents：人类行为的交互模拟》。

在这篇论文中，作者创建了能模拟可信人类行为的计算软件Agents，称为生成式Agents。

每个生成式Agent都拥有独特的档案，这让它们能以独特的方式行动，从而产生更有趣、更动态的行为模式。

每个Agent初始化时都包含三个模块（记忆、规划和反思），这跟我们之前在ReAct和Reflexion中看到的几个核心组件非常相似。

记忆模块是这个框架中最重要的组件之一。它存储了规划和反思行为，同时也记录了迄今发生的所有事件。

对于任何给定的下一步或问题，系统会检索记忆，并根据近期性、重要性和相关性进行评分。得分最高的记忆会与Agent共享。

这些组件共同让Agents能自由地进行活动并相互交互。因此，这里几乎没有Agent编排，因为它们并不需要完成某个特定的目标。

交互式演示的注释图片。

这篇论文里包含太多值得惊叹的信息片段，这里特别想提一下它们的评估指标。

评估以Agent行为的可信度为核心，由人类评估者打分。

结果显示，观察、规划和反思在这些生成式Agents中需要协同工作才能发挥最大作用。正如前面提到的，没有反思行为，规划是不完整的。

模块化框架

无论你选择什么框架来创建多Agent系统，它们通常都由几个组成部分构成，包括档案、环境感知、记忆、规划和可用行动。

目前比较流行的实现框架包括AutoGen、MetaGPT和CAMEL。不过，每个框架处理Agents之间通信的方式略有不同。

以CAMEL为例，用户先创建问题，并定义AI用户和AI助手的角色。AI用户角色代表人类用户，并引导整个过程。

之后，AI用户和AI助手通过相互交互来协作解决查询。

这种角色扮演的方法实现了Agents之间的协作通信。

AutoGen和MetaGPT采用不同的通信方式，但归根结底都是这种协作性质的通信。Agents有机会互相交流，更新当前状态、目标和下一步行动。

在过去一年里，尤其是最近几周，这些框架的发展简直爆炸性增长。

随着这些框架不断成熟和发展，2025年绝对会是一个让人充满期待的年份！

结论

以上就是LLM Agents的探索之旅。希望这篇文章能让你更清楚地理解LLM Agents到底是怎么构建起来的。从基础组件到高级规划，再到多Agent协作，每个环节都在快速演进。值得持续关注。