提到持续学习，不少人认为它是当前大语言模型系统里最欠缺的一块能力。这个判断，我们认为很有道理。它的发展，无论对AI智能体的能力边界，还是对其安全性，都会产生深远影响。不过，围绕这个话题，有几个关键问题其实还没有被充分讨论：

• 持续学习到底指什么？LLM智能体可能通过哪些路径获得这一能力？有效弥补持续学习的缺失，又能解决当前智能体的哪些局限？
• 持续学习会如何影响安全和对齐？哪些威胁模型值得我们警惕？在当前的安全技术中，哪些会随着智能体变成更强的持续学习者而逐渐失效？这些风险最可能在什么部署场景里暴露？
• 鉴于我们对持续学习智能体的最终形态还存在很大不确定性，当前我们有哪些可行的思路，能让它们变得更安全一些？

这个系列要逐一回应这些问题，甚至更多。本文是六篇序列文章的第一篇。

内容大纲

第一篇：引言

本篇文章是整个序列的详细概要；下面描述的是其余五篇的内容。

第二篇：什么是持续学习，以及我们为什么有理由期待它在高级LLM智能体中间出现？

之所以有理由期待高效持续学习的出现，最根本的原因在于：它很可能让AI智能体在那些AI公司正在努力提升的重要任务上表现得更好——AI研究本身，就是最典型的例子。那么，持续学习具体如何把智能体变成更强的端到端AI研究员？可以看看人类AI研究员是怎么进步的：他们会走完研究流程的每一步，大量阅读和撰写研究提案、代码、批评意见、总结和论文，从自己和他人的成功与失败中学习，提炼出关于每一个步骤的可迁移洞察，然后一步步变得更好。LLM智能体已经相当厉害了——它们被广泛用于AI研究的各个环节，能够被提示去反思自己的成功与失败，也已经有各种尝试在对它们的权重、上下文、记忆库、框架和工具进行更新以提升表现。其中一些方法也确实起了一定作用。但到现在为止，还没有任何方法能让LLM智能体达到人类在多年练习之后才具备的那种端到端研究能力。要知道，LLM智能体群体积累的研究经验，可是比单个人类快得多的。

AI研究虽然是个特别重要的例子，但这个逻辑其实适用于大部分开放式的远程脑力工作。

那么，持续学习到底是什么？我们的定义是：如果一个智能体在部署期间能够持续进行更新，那它就是持续学习者。这是一个二元判断，但“擅长持续学习”这件事，则包含更多连续的维度。一个智能体成为高效持续学习者的程度，取决于它：

1. 在部署期间持续进行更新；
2. 通过更新高效地学到新的、有用的知识和能力；
3. 在这个过程中不会（灾难性地）遗忘已有能力。

我们认为，这个非正式定义是符合直觉的，也契合关于持续学习的常见讨论。举个例子，这个定义可以说明：拥有超长上下文的高效上下文学习，也算是持续学习的一种形式，但它不如那些可以永久保持的权重更新来得强大。同时，这个定义也精准捕捉了那种经常在Dwarkesh播客中被讨论的、但在LLM智能体中似乎还很薄弱甚至缺失的能力——在工作中学习、高效地从经验中学习，比如从少量经历中反思，提炼出可复用的普遍性洞察。

此外，这个定义还能让我们更准确、更细致地看待持续学习及其重要性。我们一方面相信持续学习很重要，另一方面也相信：

• 一个智能体进行持续学习的效率是一个频谱，而不是非黑即白的属性；
• AI能力的重大飞跃，不一定需要持续学习取得突破；
• LLM智能体中已经存在持续学习的早期形态，比如像CLAUDE.md和SKILL.md这类文件，用来为编程智能体维护关键洞察。

接下来，我们把目光投向LLM智能体在部署期间可以持续更新的主要组件：

1. 模型权重，
2. 上下文窗口（包括那些用自然语言或神经激活记忆构建的记忆库），
3. 智能体框架，
4. 工具。

这些基本涵盖了当前LLM智能体可能进行的更新方式，但未来架构的重大改动也可能会引入新的可更新组件，而这些组件或许会成为持续学习的核心。

目前我们还不确定：哪些更新机制最有前景？推动持续学习进步的难度有多大？以及实现远程劳动自动化的时间线有多长？不过，有一个观点有很强的论据支撑：要实现部分高效持续学习，权重更新可能是必需的。LLM在处理上下文窗口中大量相互关联的复杂信息时表现得很吃力，这限制了它们在不借助权重更新的情况下能生成和利用多少新的洞察。要知道，从过去的成功和失败中提炼出能用到新任务上的东西，本来就是一件极具挑战性的事。

第三篇：持续学习如何影响安全与对齐？

这一篇首先区分了几个影响风险画像的持续学习智能体属性：有界更新 vs. 无界更新、可解释更新 vs. 不可解释更新[1]，以及个体记忆 vs. 共享记忆。然后，具体讨论了持续学习智能体可能引发的安全问题。我们认为持续学习带来了两大安全隐忧，而每个隐忧又可以分解为三个子问题。下面的图总结了这些风险，以及持续学习可能带来的三个对齐优势：

我们指出了目标和价值观发生改变的三个路径：

开发者端对泛化的控制力减弱。在AI公司进行后训练时，他们可以精心设计训练环境，将不良泛化的风险降到最低。而强大的持续学习智能体则不然，它们的大部分训练可能发生在部署环境里，默认情况下这些训练数据的筛选并不会以对齐为目的。并不是所有部署环境都会催生不良行为，但确实有不少存在这种可能。我们的建议是：开发“性格训练”方法，让智能体在面对这类任务时对不良泛化更有抵抗力，同时加深我们对LLM泛化机制的理解。

价值观系统化。对一个追求开放式目标的智能体来说，反思子目标是非常重要的认知动作。我们预计，持续学习智能体会越来越多地使用这种反思，因为反思的结果会在它们的记忆里持久保存，而且它们会面对各种诱因去反思自己的更高层级动机。这些诱因包括冲突的目标、开发者驱动的反思、遇到分布外情况以及本体论层面的转变。对高层动机的反思常常会引发“价值观系统化”——也就是把过去的价值观整理成更简单、适用范围更广的价值观的范例或特例。能够做出哲学进步的通用智能体必然会经历价值观系统化，但我们应该努力引导它朝着更有利的方向收敛。可监控的推理、可解释的持续学习更新，以及性格训练，是目前看来能让这个过程更可控的一些工具。

模因效应。持续学习可能会开辟新的渠道——比如共享记忆库和权重更新——让模因在个体之间直接传播。这很值得警惕，因为一旦某个个体产生了追求影响力的价值观，它就比其他驱动力更有效地扩散到其他个体中，而共享渠道的开放，正是为这种扩散铺了一条更直接的路。

这三种机制还可能相互叠加：一个智能体可能因为部署时训练的不良泛化而习得带有上下文激活的不良目标，然后通过反思把它们提炼成跨场景的长期目标，最后通过模因效应传播出去。

此外，我们还识别了“后发优势丧失”可能带来的三个负面后果：

行为审计变得更困难。一旦AI拥有了包含多个主观月的部署记忆，部署前的评估者可能无法足够真实地模拟部署环境。审计结果将不再能可靠反映模型在真实环境中的表现。频繁的部署期审计可以缓解这个问题，但成本可能高得难以承受。另一个缓解方案是只使用纯文本更新机制的持续学习智能体，但这样的智能体可能在竞争中处于劣势。

预训练数据过滤的效果下降。如果LLM能在部署期学到那些在预训练中被过滤掉的数据，那数据过滤的边际效用就会大幅降低。过滤仍然有助于在训练早期塑造模型的倾向，但它很可能不再是应对滥用的可靠策略。

AI控制协议可能退化。我们分析了持续学习对AI控制的影响，结论是：影响程度很大程度上取决于持续学习智能体的架构，但至少有一部分协议很可能会退化。

讨论完风险之后，我们也分析了这些风险在内部部署与外部部署、开源开发与闭源开发场景下成真的可能性。最后，我们谈了谈持续学习的对齐潜力：自然语言记忆能提供额外的监控面、持续学习可以加速对齐训练中的反馈循环、而情景记忆能让模型生成更好的自我报告。

第四篇：让持续学习更安全，当前有哪些可行的切入点？

当前模型在持续学习方面实在太弱，这给寻找可行的安全切入点增加了难度。我们谨提出三个大的方向：澄清概念（厘清持续学习的本质及其安全含义）、有差别地推动更安全的持续学习实现，以及创建能作用于持续学习智能体的评估体系，或激励更安全持续学习智能体的研发。

首先，我们在安全影响那篇文章中已经提出了一些比较有把握的宏观建议：确保持续学习架构是可解释、易控制的——可以通过开发新方法，也可以靠影响力推动——同时加强性格训练的鲁棒性。

然后是一些具体的“概念澄清”项目：

• 实证研究现实中可能出现的目标偏移，比如训练那些拥有冲突上下文激活目标的“模型生物”；
• 探索关于价值观系统化的各种概念性问题；
• 研究什么类型的“宪章”在反思过程中更稳定；
• 训练能够模拟本体论转变的“模型生物”；
• 预测不同安全效应的可能性，比如持续学习智能体反思高层动机的概率有多大，以及行业最终会偏向文本更新还是权重更新的机制。

在“有差别地推动更安全的持续学习实现”方面，我们提出三个思路：

• 把提示优化作为一种工具来开发，让持续学习智能体能够在文本空间（而不是权重空间）中执行对安全至关重要的更新；
• 开发新型AI控制技术，专门用于提升持续学习的安全性，并设计适配这些方法的持续学习智能体；
• 确保持续学习智能体的记忆是可解释的，哪怕更新机制本身不可解释。

最后，在推进持续学习评估方面，我们建议：

• 参考Pacchiardi等（2026）的工作，创建评估框架和机制，用于评估行为轨迹；
• 创建能衡量持续学习智能体可解释性的评估方法。

第五篇：一次关于持续学习的小型调查结果

我们基于这个序列的早期草稿，向几位业内人士发放了一份调查问卷并收集了反馈。这些反馈非常有价值，也有趣，所以我们决定把它们公开。

第六篇：关于持续学习的文献综述

这是一篇配套文章，梳理了过去的持续学习方法、相关基准与评估，以及关于人类持续学习的神经科学研究。我们会更侧重于高层次的概览和分析，而非深入的技术细节。

致谢

感谢Anson Ho、Erik Jenner、Rubi Hudson、Joey Yudelson、Dennis Akar、Vladimir Ivanov、Shubhorup Biswas、Ryan Faulkner、Tim Hua、Atharva Nihalani和Angelo Huang对本文草稿的反馈意见。也感谢Chad DeChant、Evgenii Opryshko、Jake Mendel、Caleb Biddulph和Andrei Muresanu在序列各个部分中提供的富有启发的讨论。

1. ^

   这里一个重要的子区分是基于权重的更新与基于文本的更新。

2. ^

   这包括那些在相关时刻会被召回上下文或激活空间中的、包含自然语言或神经激活记忆的记忆库。