近期，AI 领域一个显著的趋势值得深入探讨：Anthropic 发布的技术报告《When AI Builds Itself》披露了令人瞩目的内部数据。截至 2026 年 5 月，其超过 80% 的代码合并工作已由 Claude 自主完成，工程师的日常代码产出效率直接提升了 8 倍。然而，更具突破性的进展在于——AI 智能体已具备自主提出假设，并独立执行长达数百小时强化安全实验的能力。

这意味着什么？人工智能已开始展现出主动参与下一代模型设计与训练的潜力。这种“自我提升”（Self-Improvement）的能力，正在成为驱动下一代 AI 发展的核心引擎。

图 1：大语言模型自我提升的构想：人类只需启动系统，模型便能够持续改进自身能力。

过去，讨论大语言模型的未来发展路径，焦点往往集中在更大的参数规模、海量数据以及极限算力等传统方向。但传统的、完全依赖人类监督的训练模式，正面临日益严峻的瓶颈：高质量人工标注成本高昂且难以规模化，专家反馈机制无法有效拓展；更核心的挑战是，随着模型能力不断增强，在高等数学、复杂代码生成、前沿科研推理等任务中，人类的自身认知边界反而成为模型进化难以逾越的天花板。与此同时，智能体技术的日益成熟，使得模型已能自主生成数据、调用工具并执行代码，自动化能力显著提升。

因此，当前的大语言模型实际上已经具备了主动参与自身迭代过程的能力，不再需要全程依赖人类的手把手指导。这一趋势背后，是一场深刻的范式转移：大语言模型正从被动接受人类微调与修正的阶段，转向主动探索与持续进化的新阶段。

为了彻底解析大语言模型自我提升的底层逻辑，填补该领域系统性的研究空白，纽约州立大学石溪分校 Zesearch NLP Lab 的 Haoyan Yang、Jiawei Zhou 等研究人员历经近一年的深入研究，最近发布了一篇长达 113 页、涵盖 500 多篇前沿文献的综合综述：

论文链接: https://arxiv.org/pdf/2603.25681
GitHub Repo: https://github.com/Zesearch/self-improvement-llm
项目 : https://zesearch.github.io/self-improvement-llm-website/

图 2：LLM 自我提升系统的闭环框架：数据获取、数据筛选、模型优化、推理细化与贯穿全程的自动评估。

这篇论文提出了一个关键概念：LLM 自我提升系统。与之前研究自我演化智能体的工作不同，它更聚焦于模型自身的内在能力——关注模型如何凭借自身能力驱动系统持续演化，并将过去分散在数据、训练、推理和评估中的各类方法，整合成一个由模型能力驱动的系统级闭环生命周期。

在这个框架中，自我提升不再是一个单一的算法，而是一套能够持续运转的智能系统。整篇论文围绕一个核心问题展开：在不同阶段，如何利用模型自身的能力，推动它持续且自主地改进？

论文将自我提升系统概括为四个核心环节：数据获取 → 数据筛选 → 模型优化 → 推理细化，而自动评估则作为贯穿全程的控制层。每个环节都以模型的自动化能力为核心，使模型能够主动获取数据、筛选样本、优化自身，并在推理过程中进行反思与改进。

数据获取（Data Acquisition）

图 3：数据获取的三种主要路径：静态筛选、环境交互与合成生成。

自我提升的第一步，是获得源源不断的学习数据。论文将数据获取分为三类：静态筛选、环境交互和合成生成。静态筛选是从已有语料中挖掘可学习的样本；环境交互是让模型与外部环境互动，主动获取数据；合成生成则更进一步，让模型自主构造新的训练数据。随着这三类方式递进，模型从“使用已有数据”走向“主动探索”，甚至“自主创造数据”。

数据筛选（Data Selection）

图 4：数据筛选的两类核心机制：模型引导评分与自适应选择。

数据获取之后，关键问题变为：哪些数据才是真正有价值的？低质量、重复甚至错误的数据，可能放大偏差，严重时甚至导致模型坍塌。因此，系统必须有效筛选出更有价值的数据，才能送入后续训练环节。

论文将数据筛选方法分为两类。第一类是模型引导评分，即利用模型自身产生的信号（如置信度、困惑度、梯度等）来给数据打分和过滤。第二类是自适应选择，将数据筛选本身变成一个可学习的策略，根据模型当前的能力状态和反馈动态更新，选出当下最有价值的那些数据。

模型优化（Model Optimization）

图 5：模型优化的 GRO 框架，通过生成、奖励与优化循环推动模型能力持续提升。

数据和筛选工作就绪后，模型优化阶段需要将这些数据真正转化为模型的能力。作者将其总结为 GRO 框架：生成—奖励—优化。模型首先基于现有数据生成反映当前能力的输出，然后利用奖励信号判断质量，最后通过训练更新自身参数，在循环迭代中持续提升。

在这个 GRO 循环中，生成是起点：模型基于当前能力产生答案、推理链等。论文将生成方式分为三类：自我探索生成，让模型尝试多种可能的解法；精炼生成，让模型在初始输出上进行反思和修改；交互式生成，通过工具、环境或外部反馈不断调整生成过程。

接下来是奖励阶段：系统对生成结果进行自动评估，判断哪些输出值得学习。奖励信号主要有三类：启发式奖励，依赖规则或简单指标；模型奖励，由模型自身或专门的奖励模型打分；可验证奖励，通过代码执行、答案匹配等方式提供更可靠的反馈。

最后是优化阶段：模型利用这些反馈更新自身参数。优化方法也可分为三类：监督微调，将高质量输出作为训练数据；强化学习，根据奖励信号直接优化模型行为；混合优化，将前两种方法结合——先用高质量数据进行监督学习，再用奖励信号强化表现。

此外，作者还总结了三种常见的模型优化范式，它们可视为 GRO 框架在具体方法中的不同实例：迭代拒绝采样、自我验证与精炼、自我对弈。迭代拒绝采样是模型先生成多个候选答案，挑出高质量的，再用这些样本进行监督微调。自我验证与精炼则是先生成初始答案，然后自我检查、修改，最后用改进后的答案进行监督微调，或将修改前后的答案构造成偏好对进行偏好优化。自我对弈则通过模型自身或多个模型之间的竞争与协作，生成更具挑战性的样本，借助胜负、偏好或验证信号来更新模型。

推理细化（Inference Refinement）

图 6：推理细化的四类方法：解码策略、推理式增强、智能体系统增强与测试时训练。

模型优化完成后，自我提升系统还需考虑另一个问题：模型的能力在实际推理过程中如何进一步提升？模型优化关注的是通过训练更新参数，而推理细化关注的则是：在参数不一定永久改变的情况下，如何让模型在回答问题时更好地搜索、反思、调用工具并修正自身输出。

论文将推理细化归纳为四类。第一类是解码策略，通过采样、树搜索、logit 调整等方式引导模型生成更可靠的答案。第二类是推理式增强，让模型在生成过程中加入执行、反馈、反思和协作推理，不断修正中间步骤。第三类是智能体系统增强，通过提示词、工具、记忆模块和工作流，将模型置于更完整的任务系统中以提升表现。第四类是测试时训练，模型在面对具体问题时，利用当前任务产生的反馈进行临时更新，再生成最终答案。

这部分的核心意义在于，它将自我提升扩展到了推理过程，使系统不仅依赖训练后的参数更新，也能在具体任务中实现动态改进。这也是当前“自我演化智能体”研究最关注的方向之一：智能体如何在运行时通过规划、反思、工具调用和环境交互，不断调整自身行为并提升任务完成能力。

自动评估（Autonomous Evaluation）

图 7：自动评估通过动态基准和交互环境评估，持续监控自我提升系统的真实进步。

除了上述四个环节，自我提升系统还需要一个贯穿全程的控制层：自动评估。缺乏评估，系统就无法判断自身的改进是否有效。作者认为，评估过程不应仅依赖人工检查或固定的测试集，而应能随着模型迭代自动更新并提供反馈。

为此，论文重点提出了两类方法：动态基准，可以持续生成或更新测试任务，避免静态基准逐渐失效；交互环境评估，让模型在真实或模拟环境中完成任务，根据环境反馈自动判断表现。这样，评估就不再是闭环末端的一次性打分，而是持续指导系统改进的反馈机制。

风险、应用与未来

图 8：自我提升系统的六大挑战：数据自噬、反馈信号缺陷、优化驱动失败、无效自我精炼、评估瓶颈和监督瓶颈。

自我提升系统潜力巨大，但挑战同样不容忽视。作者总结出六个关键问题：模型反复学习自身生成的数据，可能导致数据自噬；错误或有偏的反馈会造成反馈信号缺陷；训练和优化过程中可能出现优化驱动失败；推理阶段的自我精炼有时仅是表面修改，沦为无效自我精炼；此外，评估瓶颈和监督瓶颈也会限制系统的可靠发展。

图 9：自我提升系统的六大应用场景：代码、数学、医疗、金融、算法发现和科学研究。

与此同时，作者也总结了自我提升系统的六大应用场景，涵盖代码、数学、医疗、金融、算法发现和科学研究。这些领域已涌现出不少自我提升的成功案例，充分展现了这一方向的巨大价值。

面向未来，作者提出了四大研究方向：第一，从模型级优化走向端到端自我提升系统；第二，发展面向应用的专用自我提升模型；第三，建立统一基准与自主评估，以衡量模型是否真正实现持续进步；第四，在自动化与人类监督之间取得平衡，确保系统既能自主进化，又能保持安全与可控。

纵观整篇论文，它将自我提升从一组分散的技术方法，提升为一个以模型为主体的系统级闭环框架。通过数据、训练、推理和评估等环节的协同，大模型正逐步从一次性训练的产物，转变为一个能够持续成长的闭环智能系统。

当人类不再总能教导模型时，谁来推动模型的进步？答案或许是模型自身。

作者介绍

第一作者： Haoyan Yang，纽约州立大学石溪分校计算机科学博士生。
个人主页：https://joyyang158.github.io/haoyan-yang/

其他作者：Mario Xerri、Solha Park、Huajian Zhang、Yiyang Feng、Sai Akhil Kogilathota，来自纽约州立大学石溪分校计算机科学系以及数据科学项目

通讯作者： Jiawei Zhou，纽约州立大学石溪分校计算机科学系、数据科学项目、应用数学与统计系助理教授。
个人主页：https://joezhouai.com