Key Takeaways

• 从执行痕迹中挖掘数据，其核心价值在于帮助我们发现可推动智能体性能提升的向上信号
• 对开源模型进行微调，并结合复合智能体系统，能够高效处理海量的执行痕迹数据
• 持续学习的本质，是在长时间跨度内，将智能体在执行过程中产生的数据加工并整合回系统自身
• 智能体产生的数据总量将超越人类历史上任何过往的信息集合——我们的工具链必须为此做好准备

先提出几个核心判断：持续学习、系留工程、后训练——这些方向看似不同，但最终都指向同一个底层逻辑——大规模整理数据，并以此进行实验和智能体迭代。今年在AI Engineer World Fair上，我演讲的主题正是这个：从执行痕迹中挖掘数据，是当前公司能够搭建的最高杠杆效应能力之一——它帮助我们理解智能体行为、规模化整理数据，并最终形成改进闭环。

以下是演讲中几张幻灯片的简要解读，并附上现场讨论时的一些（半）辛辣观点。

每个持续学习公司，本质上都是可观测性公司

先提出一个温和而有力的观点：每个持续学习公司本质上都是可观测性公司——反过来也成立。观察那些真正在践行持续学习的团队，你会发现他们第一个可见的动作几乎都是围绕“共享执行痕迹”展开的。

持续学习的核心，就是让智能体在运行环境中执行动作，然后将其行动过程中产生的信息重新消化吸收回系统。这与人类的学习方式非常相似——我们通过与环境互动，触发学习、记忆、存储，最终形成经验。

这也是为什么执行痕迹会成为智能体长期改进的核心资产。它们是智能体在环境中的行为映射，被转化为一种可供我们挖掘和理解的数据格式。

当前的问题在于，如何将这些信息有效地重新整合回去，答案尚不完全明确。但大概率会采用混合方案：

• 收集训练数据，通过SFT、RL等方式将经验注入模型权重
• 通过系留工程来增强指令、工具、技能和编排策略
• 将信息整合到记忆存储中，供后续上下文检索使用

规模幻想这个术语，用来形容在大数据量、长时间跨度下进行此类操作，颇为贴切。

一套实用的智能体改进配方

本次演讲的核心思路，是为团队提供一套可以立即上手实施智能体改进的实用方案。

启动数据收集飞轮，是团队能做的最具价值的事情之一。这意味着先打造一个勉强可用的智能体版本，并将其推向生产环境。改进方向分为三步：

• 挖掘数据，明确需要改进哪些方面
• 整理评估集（即训练数据），确定拟合目标
• 运行实验，沿关心的维度持续改进智能体

通过规模化执行痕迹来理解智能体

智能体的行为远比传统代码难以理解。仅仅看智能体的定义，你根本无法预测它的具体行为。我们实际上是用确定性换取自主性，然后借助执行痕迹来填补理解上的空白。

通过规模化运行评估并阅读执行痕迹，我们能够逐步建立起对智能体行为的量化指标和直觉——了解它在特定任务上大致会如何表现。

执行痕迹帮助我们理解并进而改进智能体行为。然而，现代智能体日益复杂，承担的任务越来越多，产生的数据量也前所未有地庞大。要阅读数百万条、每条长达数百万token的执行痕迹，我们面临两个硬性约束：

• 成本问题——处理如此多的token需要多少投入
• 上下文问题——如何在大量痕迹中提取真正重要的信号

正因为如此，我们才需要专门构建智能体和模型，用于高效理解和整理规模化痕迹数据。

构建系统来理解执行痕迹

开源模型已经跨越了一个智能门槛，如今成为处理大规模痕迹数据的成本效益之选。不同公司从执行痕迹中寻找的信号各不相同——涉及用户交互的细微差别、领域特定数据，以及对数据子段重要性的判断能力。我们微调了一个痕迹评判模型，用于在项目中跨领域挖掘信号。结果发现，在窄任务上，开源的小模型不仅超越了闭源前沿模型，而且运行成本低了整整一个数量级。

自己拥有并部署模型智能的另一个好处是：在大规模推理场景下，可以用基础设施成本来替换token成本。当推理量足够高时，这种置换对很多团队来说非常划算。

挖掘执行痕迹至关重要，因此我们直接开发了一个产品。LangSmith Engine利用专门构建的智能体读取每一条痕迹，寻找团队关注的特定信号，发现并定位问题、生成代码修复、创建评估、将关键信息存入记忆与上下文存储，然后持续迭代优化每个智能体。这里有一篇关于如何构建和评估Engine的深入讨论。

模型-任务-系留拟合、评估与如何适配智能体

执行痕迹挖掘的输出，将成为改进循环实验的输入。通过挖掘出“好的”执行痕迹，我们可以提取信号用于蒸馏小模型——从而获得更高的成本效率。生产环境中每一次智能体失败，都变成了我们可以创建评估和对应环境的靶标。

评估就是智能体的训练数据。

做评估的目的，就是让它们通过——也就是说，我们在执行痕迹中测量的行为，会通过向上攀登的方式，被传递到智能体本身。

总体而言，我们做的事情只有两件：找到好数据，找到好的拟合函数。

数据到手之后，我们的任务就是将学习系统拟合到这些数据上。就像“经典机器学习”中有scikit-learn的fit函数一样，现代智能体也有自己的拟合策略——例如微调（SFT、RL、DPO），或者利用系留工程，以评估分数作为攀登指标进行自动研究。

这里想表达的是：以模型作为智能来源，反向寻找对模型和系留的最优调整，以优化在一组任务上的表现。系留本质上是对模型原生智能的放大与扩展——而随着模型越来越聪明，许多系留组件会逐渐消融，让模型能自由运用其智能本身。

举个例子，我们曾发现“循环+自动研究”是改进智能体的通用策略——其核心在于让它扎根于环境和评估中。在Terminal Bench 2.0上，仅仅通过调整系留（基于正确性指标和执行痕迹来理解行为并向上攀登），我们就获得了比基础系留提升13.7%的显著效果。

执行痕迹的作用是让反馈信号变得密集——它为智能体提供了丰富的行为反馈空间，而不仅仅是单一的标量奖励。

我们经常被问到：“什么时候该做系留工程，什么时候该做微调？” 与机器学习中大多数问题的答案一样——视情况而定。但有一个非常成功的通用策略，我们称之为系留工程→微调→系留工程的漏斗（或三明治）结构。

对大多数团队而言，系留工程往往已经足够。它能提供快速反馈，并让团队在高带宽的界面上，将自己的观察和错误理解直接传递给智能体。每一代模型都在变得更聪明，上下文学习能力也在不断增强。如果团队能够认真准备好良好的上下文、工具面和提示词，通常就能在很多任务上获得足够好的性能。

不过，系留工程最终会遇到一个智能天花板——单纯修改提示词再也无法带来更多收益。到了这个阶段，或者当你面临高推理负载、需要将知识蒸馏到小模型时，微调就变得合理了。它更复杂——需要整理数据、在更长的反馈循环中运行实验。但重塑模型智能以适配你的特定任务，确实是提升性能的有效途径。

最后，当你对微调后的模型感到满意时，再回头做一轮系留工程，是检验新智能边界能否迁移到相关问题的好方法——因为你打算将这个模型用于更多任务。如果要给出一个推荐配方，这就是那个在快速迭代与逐步暴露于更复杂拟合函数之间取得最优平衡的方案。

Takeaways

要将智能体改进、持续学习、环境与评估等如此庞大的图景浓缩到一场演讲和几张幻灯片中，难度确实不小。但这场演讲和这篇总结的目标是明确的：为团队提供一个可以立即上手的起点，并强调数据将在未来几年成为驱动智能体改进的核心引擎。

简短总结如下：

• 挖掘执行痕迹，帮助你找到可以向上攀登的性能信号
• 开源模型微调与复合智能体系统，助你处理大规模痕迹数据
• 持续学习，是在长时间跨度下将智能体数据加工并整合回系统
• 智能体将产生人类历史上从未有过的数据规模——我们的工具链必须为此更新