近日,前OpenAI安全研究副总裁、Thinking Machines Lab联合创始人翁荔(Lilian Weng)在探讨完Scaling Laws可靠性问题后,又发布了一篇题为“Harness Engineering for Self-Improvement”的新博客[1]。她此次将焦点对准了AI领域备受关注的话题——Harness Engineering,该技术目前已被视为AI Agent系统中至关重要的工程层。
打个比方来说,Scaling Laws决定了模型性能的天花板高度,而Harness则相当于模型在实际任务中稳定运行、持续发挥潜力的操作系统。换言之,模型自身的权重可能长期保持不变,但其外部的“脚手架”——Harness,却能够不断迭代与升级。
翁荔在这篇新博文中,实际上是在追问一个核心问题:当能够直接修改自身权重的“硬递归”仍遥不可及时,那种持续实现递归自我提升(RSI,Recursive Self-Improvement)的循环,是否有望先从模型外部的Harness层启动?

图丨相关博客文章截图(来源:https://lilianweng.github.io/posts/)
那么,Harness到底是什么?简单来说,它是包裹在大模型外部的一套完整系统。切勿将其视为简单的提示词模板——它更像是一个运行时环境,决定了模型如何思考、如何规划、调用哪些工具与行动、如何管理上下文以及如何执行工作流。翁荔在文章中举了一个生动的例子:当前诸如Claude Code和Codex等成功的编程智能体产品,其核心优势很大程度上正源于精心设计的Harness。
一个成熟的Harness,堪比操作系统。它能够封装复杂的内部逻辑,同时对外提供简洁的接口:模型无需将整个工作流和所有日志强行塞入有限的上下文窗口,而是可以借助文件系统等持久化存储来管理状态与产出。这种设计模式使智能体能够处理更长周期的任务,并在一定程度上避免在长上下文场景中迷失方向。

(来源:https://openai.com/index/unrolling-the-codex-agent-l
沿着这一思路,翁荔系统梳理了近期一系列相关研究,总结出Harness从手工设计迈向自我优化的演进路线。早期的Agentic Context Engineering等框架,更像是将上下文视为一本不断更新的“操作手册”——通过生成、反思、筛选的循环,让模型从成功或失败的轨迹中提炼出结构化要点,从而实现更有效的记忆管理。

(来源:https://github.com/yasasbanukaofficial/claude-code)
更进一步,Meta Context Engineering将上下文管理本身变为可优化的对象——通过一个元智能体来搜索并改进管理上下文的“技能”,实现双层优化。而像Meta-Harness这样的工作,则直接将Harness的代码本身作为搜索空间,让编码智能体编写、测试、迭代新的Harness代码,甚至生成多个候选方案,找出其中的帕累托最优解。
这种让智能体自主改进系统代码的思路,在进化搜索领域也有所体现。例如,Darwinian Gödel Machine提出了一种框架:让编码智能体能够修改自身的Harness代码库,通过基于性能排名的选择机制,不断产生新版本。实验数据颇为有趣:在SWE-bench Verified等编程基准测试中,Darwinian Gödel Machine发现的智能体通过率达到20%至50%,与手工设计的智能体不相上下,甚至更优。
不过,翁荔也特别强调,这并不意味着未来只需优化Harness即可。从更长远来看,Harness与模型权重的联合优化,仍可能是递归自我提升的一个重要方向。

图丨智能体上下文工程框架示意图(来源:https://arxiv.org/ab)
文章指出,这种“元方法论”的转变,可能是当前最值得关注的趋势:我们不再仅仅让模型给出更好的答案,而是构建一套能够持续改进“如何获得更好答案”的机制。在这个循环中,Harness自身成为优化对象,逐步摆脱对人工编写启发式规则的依赖,转向更多可自动搜索的通用机制。工程师的角色也随之改变——从编写具体规则,转变为设计更通用的进化框架。
然而,翁荔并未将这条路描绘得一片坦途。她在文章后半部分客观列出了一系列现实瓶颈,其中最大的挑战之一来自评估。目前的自我改进循环,在那些具有明确、快速、客观评估指标的任务上效果显著,例如编写代码、解数学题。

图丨元上下文工程框架示意图(来源:https://arxiv.org/abs/2)
然而,一旦遇到模糊的判断,例如“这项研究有没有品味”或“这个结果是否真的重要”,系统就很容易失效,甚至会为了通过测试而学会作弊——即所谓的“奖励黑客”现象。安全性是另一个隐患。如果允许模型自由修改系统代码,抽象边界和权限控制将被打破,极有可能引发灾难性后果。因此,翁荔特别强调:人类并非被排除在循环之外,而是需要向上移动,在环路外扮演架构师和方向指引者的角色,负责设计可编辑的边界并进行关键节点的审查。
文章结尾,翁荔并未给出一个迈向RSI的虚幻愿景,而是列出了一份务实的挑战清单:如何设计优秀的评估器、如何管理上下文与长期任务的记忆、如何解决进化中的多样性坍缩、如何应对奖励黑客,以及如何平衡短期任务成功与代码库长期健康之间的关系。她指出了一个容易被忽视的问题:目前大部分优化都基于沙盒内的短期奖励,但现实中的软件工程还需兼顾可维护性、向后兼容性以及未来开发负担。这些“长期成功”的指标,正是当前系统最不擅长处理的。
如果说上篇关于Scaling Laws的文章是在提醒人们,那个用于规划数十亿算力投资的公式并不可靠,那么这篇关于Harness的文章更像是在告知公众:通向递归自我提升的第一步,很可能不是修改模型本身,而是先优化模型外部那个看似不起眼的Harness。而这条路本身,也布满了需要谨慎绕开的陷阱。
或许,真正的RSI不会在某一天突然降临,让模型自行改写自身——它更可能悄然开始于一次次Harness优化之中。
参考资料:
1.https://lilianweng.github.io/posts/2026-07-04-harness/
