游乐游手机版
首页/科技数码/文章详情

翁荔最新观点:高估模型作用,低估脚手架价值

时间:2026-07-08 11:52
模型外部的Harness工程是实现递归自我提升的关键,其重要性常被低估。Harness作为包裹大模型的运行时系统,可通过迭代优化提升智能体性能,但面临评估模糊、奖励黑客、安全等挑战。未来需将人类置于循环外作为架构师,平衡短期任务与长期代码库健康。

近日,前OpenAI安全研究副总裁、Thinking Machines Lab联合创始人翁荔(Lilian Weng)在探讨完Scaling Laws可靠性问题后,又发布了一篇题为“Harness Engineering for Self-Improvement”的新博客[1]。她此次将焦点对准了AI领域备受关注的话题——Harness Engineering,该技术目前已被视为AI Agent系统中至关重要的工程层。

打个比方来说,Scaling Laws决定了模型性能的天花板高度,而Harness则相当于模型在实际任务中稳定运行、持续发挥潜力的操作系统。换言之,模型自身的权重可能长期保持不变,但其外部的“脚手架”——Harness,却能够不断迭代与升级。

翁荔在这篇新博文中,实际上是在追问一个核心问题:当能够直接修改自身权重的“硬递归”仍遥不可及时,那种持续实现递归自我提升(RSI,Recursive Self-Improvement)的循环,是否有望先从模型外部的Harness层启动?


图丨相关博客文章截图(来源:https://lilianweng.github.io/posts/)

那么,Harness到底是什么?简单来说,它是包裹在大模型外部的一套完整系统。切勿将其视为简单的提示词模板——它更像是一个运行时环境,决定了模型如何思考、如何规划、调用哪些工具与行动、如何管理上下文以及如何执行工作流。翁荔在文章中举了一个生动的例子:当前诸如Claude Code和Codex等成功的编程智能体产品,其核心优势很大程度上正源于精心设计的Harness。

一个成熟的Harness,堪比操作系统。它能够封装复杂的内部逻辑,同时对外提供简洁的接口:模型无需将整个工作流和所有日志强行塞入有限的上下文窗口,而是可以借助文件系统等持久化存储来管理状态与产出。这种设计模式使智能体能够处理更长周期的任务,并在一定程度上避免在长上下文场景中迷失方向。


(来源:https://openai.com/index/unrolling-the-codex-agent-l

沿着这一思路,翁荔系统梳理了近期一系列相关研究,总结出Harness从手工设计迈向自我优化的演进路线。早期的Agentic Context Engineering等框架,更像是将上下文视为一本不断更新的“操作手册”——通过生成、反思、筛选的循环,让模型从成功或失败的轨迹中提炼出结构化要点,从而实现更有效的记忆管理。


(来源:https://github.com/yasasbanukaofficial/claude-code)

更进一步,Meta Context Engineering将上下文管理本身变为可优化的对象——通过一个元智能体来搜索并改进管理上下文的“技能”,实现双层优化。而像Meta-Harness这样的工作,则直接将Harness的代码本身作为搜索空间,让编码智能体编写、测试、迭代新的Harness代码,甚至生成多个候选方案,找出其中的帕累托最优解。

这种让智能体自主改进系统代码的思路,在进化搜索领域也有所体现。例如,Darwinian Gödel Machine提出了一种框架:让编码智能体能够修改自身的Harness代码库,通过基于性能排名的选择机制,不断产生新版本。实验数据颇为有趣:在SWE-bench Verified等编程基准测试中,Darwinian Gödel Machine发现的智能体通过率达到20%至50%,与手工设计的智能体不相上下,甚至更优。

不过,翁荔也特别强调,这并不意味着未来只需优化Harness即可。从更长远来看,Harness与模型权重的联合优化,仍可能是递归自我提升的一个重要方向。


图丨智能体上下文工程框架示意图(来源:https://arxiv.org/ab)

文章指出,这种“元方法论”的转变,可能是当前最值得关注的趋势:我们不再仅仅让模型给出更好的答案,而是构建一套能够持续改进“如何获得更好答案”的机制。在这个循环中,Harness自身成为优化对象,逐步摆脱对人工编写启发式规则的依赖,转向更多可自动搜索的通用机制。工程师的角色也随之改变——从编写具体规则,转变为设计更通用的进化框架。

然而,翁荔并未将这条路描绘得一片坦途。她在文章后半部分客观列出了一系列现实瓶颈,其中最大的挑战之一来自评估。目前的自我改进循环,在那些具有明确、快速、客观评估指标的任务上效果显著,例如编写代码、解数学题。


图丨元上下文工程框架示意图(来源:https://arxiv.org/abs/2)

然而,一旦遇到模糊的判断,例如“这项研究有没有品味”或“这个结果是否真的重要”,系统就很容易失效,甚至会为了通过测试而学会作弊——即所谓的“奖励黑客”现象。安全性是另一个隐患。如果允许模型自由修改系统代码,抽象边界和权限控制将被打破,极有可能引发灾难性后果。因此,翁荔特别强调:人类并非被排除在循环之外,而是需要向上移动,在环路外扮演架构师和方向指引者的角色,负责设计可编辑的边界并进行关键节点的审查。

文章结尾,翁荔并未给出一个迈向RSI的虚幻愿景,而是列出了一份务实的挑战清单:如何设计优秀的评估器、如何管理上下文与长期任务的记忆、如何解决进化中的多样性坍缩、如何应对奖励黑客,以及如何平衡短期任务成功与代码库长期健康之间的关系。她指出了一个容易被忽视的问题:目前大部分优化都基于沙盒内的短期奖励,但现实中的软件工程还需兼顾可维护性、向后兼容性以及未来开发负担。这些“长期成功”的指标,正是当前系统最不擅长处理的。

如果说上篇关于Scaling Laws的文章是在提醒人们,那个用于规划数十亿算力投资的公式并不可靠,那么这篇关于Harness的文章更像是在告知公众:通向递归自我提升的第一步,很可能不是修改模型本身,而是先优化模型外部那个看似不起眼的Harness。而这条路本身,也布满了需要谨慎绕开的陷阱。

或许,真正的RSI不会在某一天突然降临,让模型自行改写自身——它更可能悄然开始于一次次Harness优化之中。

参考资料:

1.https://lilianweng.github.io/posts/2026-07-04-harness/

来源:https://www.163.com/dy/article/L192IN9305119734.html
上一篇美股存储芯片股重挫 西部数据跌超7% 闪迪美光跌超6% 下一篇中国首个2030年全面禁售燃油车
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
云米科技CEO奖励员工小米YU7 期待未来再奖励更多台
科技数码 · 2026-07-08

云米科技CEO奖励员工小米YU7 期待未来再奖励更多台

云米科技创始人兼CEO陈小平通过社交平台正式揭晓了公司年会上的“重磅大奖”:一辆小米YU7汽车,专为表彰一位长期服务核心客户、始终坚守岗位并成功推动项目实现关键突破的员工。获奖理由简洁而有力——“尽职尽责、持之以恒”。陈小平在现场还定下目标:“希望到2026年,能送出更多台车。” 这句话,既是对员工

腾讯开源Node模块联邦方案hel-micro-node
科技数码 · 2026-07-08

腾讯开源Node模块联邦方案hel-micro-node

腾讯近日正式发布开源项目 hel-micro-node,作为 hel+ 生态体系中的核心组件,专门为 Node js 运行环境量身打造,旨在提供一种轻量化、高效率且易于使用的服务端模块联邦解决方案。与同类产品 @module-federation node 相比,hel-micro-node 在功能

doc个人图书馆因业务调整无偿转让寻找接管方
科技数码 · 2026-07-08

doc个人图书馆因业务调整无偿转让寻找接管方

日前,知识分享平台“360doc个人图书馆”正式对外发布官方公告。自2005年上线以来,这一经典数字图书馆已稳健运营整整二十年,累计服务用户超过八千万,沉淀文章数量突破十一亿篇。作为国内知名的免费知识管理公益平台,它不仅承载了无数人的智慧积累与珍贵记忆,更在个人知识存档与内容管理领域保持了独特的品牌

iPhone Air 2最新传闻 散热与双扬声器及双摄成重点
科技数码 · 2026-07-08

iPhone Air 2最新传闻 散热与双扬声器及双摄成重点

细想起来,距离苹果那款备受期待的超薄系列新机——我们暂时称之为iPhone Air 2——正式亮相,其实已经不到一年了。产业链上陆续传出的消息都在暗示,苹果这次决心放一个大招,在散热、音频、影像这几个核心体验上动真格的。 iPhone Air 销量与市场反响 此前不少舆论认为初代iPhone Air

上海交大今日正式发布自研光学垂直大模型
科技数码 · 2026-07-08

上海交大今日正式发布自研光学垂直大模型

光学领域最近迎来了一位重量级新成员——上海交通大学正式推出了面向光学垂直方向的大模型Optics GPT。官方将其定义为一位“数字光学顾问”,听起来可能有点抽象,但说白了,就是让一个AI系统把光学领域的所有核心知识吃透,然后能稳稳当当地帮科研、工程和教学解决问题。 如果拿ChatGPT这类通用大模型