游乐游手机版
首页/科技数码/文章详情

字节跳动Seed团队发现AI智能体学习新任务速度增长惊人

时间:2026-07-17 11:32
字节跳动Seed团队构建EdgeBench平台,含134个超长任务,五款AI连续12小时。学习曲线精确遵循对数S形曲线R²=0 998,2025年9月至2026年4月AI学习速度每三个月翻倍。

先说一个核心判断:当AI被部署到真实工作环境之后,它能否像人一样边干边学?这个问题,最近终于有了一份系统性的答案。

研究来自字节跳动Seed团队。他们设计了一个名为EdgeBench的测试平台,涵盖134个来自真实世界的超长时限任务,让五款最前沿的AI模型在这些任务上连续工作12小时,总共积累了大约38000小时的智能体与环境交互数据。结果发现了一条极其优雅的规律:AI智能体在环境中的学习进步曲线,精确地遵循一种“对数S形曲线”,拟合精度高达R²=0.998——几乎就是完美的数学规律。更惊人的是,他们还发现,从2025年9月到2026年4月,前沿AI模型从环境中学习的速度大约每三个月就会翻一倍。

这些数字背后意味着什么?让我们从最根本的问题说起。

一、为什么要研究AI“边干边学”的能力

在深入介绍这套测试平台之前,有必要先搞清楚一件事:为什么“从环境中学习”这件事,对AI在现实中的应用如此关键?

想象一个刚入职的顶尖院校毕业生。他确实带着一身通用知识进入公司,但面对公司独有的内部交易系统、专属风控模型和尚未公开的市场数据时,之前学到的那些只是个起点。真正的进步,来自他在工作中不断尝试、犯错、获得反馈,然后修正。

AI模型面临的困境几乎一模一样。训练阶段,模型从互联网海量公开数据中学习,但公开数据有三个天然局限:第一,有些信息根本不存在于公开数据里,比如某家公司的内部代码库或私有文档;第二,即便原始数据存在,也缺乏专家在获得这些知识过程中的“中间过程”——那些反复试错、根据反馈调整的经历;第三,世界在不断变化,新的工具、新的发现、新的问题层出不穷,固定的训练数据永远无法完全覆盖。

正因如此,一个AI系统被部署到真实工作场景后,能不能主动从环境中获取信息并改进自己,就成了衡量其实用价值的核心指标之一。而在这项研究之前,学界对这种“环境学习”是否遵循某种可预测的规律,几乎一无所知。

二、一座容纳134个真实挑战的大型考场

EdgeBench的设计理念,可以用一句话概括:尽量贴近真实工作。

研究团队与各领域的专家合作,从六个能力方向精心挑选了134个任务。这六个方向分别是:科学研究与机器学习、系统软件工程、组合优化、专业知识工作、形式数学与定理证明,以及互动游戏与模拟器。注意,这些不是为AI专门设计的简化版练习题,而是真实世界中真正困难的工作——比如用Lean 4语言形式化证明费马大定理的正则情形,重新实现FFmpeg的像素格式转换库,用物理模型重建引力波信号,或者为OpenTTD编写一个能让公司盈利的交通AI脚本。

每个任务都被设计成至少需要AI持续工作12小时才能充分探索。作为对比,此前另一个知名的AI评测平台“Agents‘ Last Exam”平均每个任务只给模型大约一小时的时间。而EdgeBench中记录的人类专家完成这些任务所需时间,平均高达57.2小时,最长的一个甚至需要320小时。换句话说,这些任务对人类专家来说都是耗费大量精力的真实工作,绝不是随便找几个练习题塞进去充数的。

EdgeBench还特意排除了那些主要考察“视觉理解”能力的任务,比如通过图形界面操作软件。原因很直接:如果一个任务的关键在于能不能“看懂图标”,那模型的表现就很难区分到底是学习能力强,还是视觉感知能力强。研究团队想要纯粹地测量“从反馈中学习并改进”这件事本身。

三、双重反馈回路:既有快速探索,也有权威评判

EdgeBench的评测机制设计,是整个研究中最值得细说的部分之一——它直接决定了AI能否真正“学到东西”。

现实中的工程师或研究员工作时,其实天然在使用两套反馈循环。第一套是快速的本地反馈:写一段代码,运行编译器看看有没有语法错误,跑一下本地测试看看功能对不对,在开发数据集上验证一下模型性能。这个过程很快,几秒到几分钟就能完成,可以反复迭代几十次甚至上百次。第二套是权威的外部反馈:把代码提交到生产环境,看真实用户会不会遇到问题;把论文投稿给期刊,看同行评审怎么说;把模型提交给竞赛评测,看隐藏测试集上的表现。这个过程慢得多,但提供了第一套循环无法给出的真实校准。

EdgeBench把这两套机制都复制进了评测平台。AI工作在一个隔离的“工作容器”中,里面有全部的任务材料和本地验证工具,但没有隐藏的评测数据。当AI认为自己准备好了,可以把当前成果提交给一个独立的“评测容器”——这个容器里有隐藏的测试案例和打分标准,会给出分数和诊断性反馈,然后立刻销毁。提交之间有冷却时间限制,不能无限刷分。此外,平台后台还会定期对AI的当前状态进行“快照评分”,这些分数只用于记录分析,不会告诉AI自己,这样就可以追踪AI在两次主动提交之间的进步曲线。

整套系统还支持AI在提交评测后继续工作,不需要等待评测结果回来才能行动——这和真实的异步工作流程完全一致。

四、那条几乎完美的S形曲线

现在来到这项研究最核心的发现。

研究团队评测了五款前沿模型:Anthropic的Claude Opus 4.8、OpenAI的GPT-5.5和GPT-5.4、智谱的GLM-5.1,以及DeepSeek-V4-Pro预览版。每个模型在每个任务上独立运行三次12小时的完整流程,记录所有提交记录和性能轨迹。

如果你盯着某一个具体任务的学习曲线来看,你会看到一条凹凸不平的阶梯状折线——在某个时间点成绩突然跳升,然后在一段平台期后再次跳升,中间还可能夹杂着一些退步。每个任务、每个模型的曲线形态都各不相同,有些是缓慢的线性积累,有些是长时间停滞后的突然突破,有些甚至出现明显倒退。

但当研究团队把所有134个任务的性能曲线取平均之后,奇迹发生了。那些嘈杂的锯齿状曲线全部消失了,取而代之的是一条极其光滑、形态优雅的S形曲线。更令人惊讶的是,这条曲线可以被一个仅有三个参数的数学公式精确描述:S(t) = Smax / (1 + (tmid/t)^β)

在这个公式里,t是已经花费的交互时间,Smax是这个模型在这类任务上理论上能达到的最高分数上限,tmid是达到一半最高分所需的时间,β则控制着曲线在对数时间轴上的陡峭程度——β越大,意味着模型的学习过程越集中,在某个短暂的时间窗口内快速爆发;β越小,则意味着进步更加均匀地分布在整个学习周期中。

研究团队用R²来衡量这个公式的拟合精度。R²等于1意味着完美拟合,等于0意味着和随机猜测差不多。五个模型的平均R²达到了0.998——在实验科学中,这个数字几乎是你能期待的最高值了。

五种模型的具体参数各有差异。GPT-5.5的Smax最高达到0.60,意味着其理论成绩上限最高;GLM-5.1的tmid最长达到4.8小时,说明它需要更多时间才能开始快速进步;Claude Opus 4.8和DeepSeek-V4-Pro的β都达到了0.93,意味着它们的学习曲线相对陡峭,一旦开始爆发就比较集中。

这个规律不只在全部134个任务的平均曲线上成立。研究团队还把任务按六个大类分别平均,在每个类别上分别拟合,结果同样成立,R²最低的也达到0.972。他们还把时间窗口从12小时扩展到28小时(覆盖80个任务)和72小时(覆盖18个任务),规律依然成立,拟合R²全部不低于0.993。

五、能预测未来的曲线

发现一个好的拟合公式是一回事,但如果这个公式还有预测能力,那就意味着它捕捉到了某种真实存在的规律,而不只是事后凑数。

研究团队做了一个验证实验:只使用前6.5小时的数据来拟合公式,然后用拟合出的参数预测接下来6.5到12小时的性能走势,再把预测值和真实测量值对比。

结果是,五个模型的预测准确度都相当高:拟合段的R²全部达到0.997以上,而预测段(即未被用来拟合的后半段)的预测误差(RMSE)全部低于1个百分点。换句话说,只要你观察一个模型在某类任务上学习的前一半时间,你就能相当准确地预测出它在后半段会达到什么样的表现水平。

六、这条S形曲线从哪里来:一个来自图论的理论解释

发现规律之后,研究团队没有止步于描述现象,他们还提出了一套理论来解释这条S形曲线为何会自然出现。

这套理论的核心比喻是这样的:把一个复杂任务想象成一张大地图,地图上布满了各种“得分节点”,每个节点代表一项可以解锁的子能力或成就。节点之间有边相连,一条从节点A指向节点B的边,意味着“解锁A会帮助解锁B”。一开始,智能体只解锁了一小部分节点,剩余的大部分处于锁定状态。

每个时刻,智能体能够尝试解锁的节点,只有那些从已解锁区域有边指向的“前沿节点”。已经解锁的区域越大,对前沿的“推进力”就越强;但随着已解锁区域扩大,剩余的锁定区域越来越小,可以解锁的空间也越来越有限。这两个效果叠加在一起,就自然产生了“先慢后快再慢”的S形进步节奏——就像一团墨水滴在水面上扩散,一开始缓慢渗透,然后快速扩散,最后被边界约束而放慢。

那么,时间轴为什么是对数尺度的?理论给出的解释是:任务图的结构是近似自分形的(self-similar),难度每提高一个层次,需要探索的图结构规模就会成倍增长。在这种情况下,智能体每消耗一个固定量的计算资源,在难度尺度上前进的距离就会以对数速度增长——于是,在对数时间轴上,进步速度自然呈现出线性,整体曲线就是S形。

研究团队还做了数学验证,证明当你把足够多的独立任务的学习曲线做平均时,单个任务曲线的锯齿和噪声会被消除,浮现出一条平滑的整体S形——前提是这些任务的“半程时间点”(tmid)和“进步速度”(β)在统计上足够集中。这个数学条件在EdgeBench的134个任务中确实近似成立,这才是整个规律能够浮现的根本原因。

七、S形为何比其他形状更合适

当研究团队宣称学习曲线符合对数S形时,一个自然的质疑是:也许任何S形曲线都能拟合得差不多好,这个特定的形状并没有什么特殊意义?

为了回应这个质疑,研究团队系统地比较了五种不同的增长模型:对数S形(Logistic)、对数正态分布(Log-Probit)、对数Gompertz分布、Weibull累积分布,以及简单的对数线性模型。拟合精度上,对数S形的均方根误差最低(0.390),略优于Log-Probit(0.398)和对数Gompertz(0.402),明显优于Weibull(0.404),而对数线性模型(0.717)则差得多,说明纯粹的“越来越快”模型无法描述这种有上限的饱和式进步。

研究团队还给出了机制层面的理由来优先选择对数S形:它的增长速度正比于“已解锁进度×剩余空间”,前者代表可复用的已有能力,后者代表仍有待攻克的剩余机会。这个“双因子相乘”的结构,在理论上直接对应了前面介绍的任务图前沿扩张机制。其他几个模型虽然形状相似,但背后的机制故事并不如此自然。

八、从2025年9月到2026年4月:学习速度每三个月翻倍

除了“曲线是什么形状”这个问题,研究团队还关心另一个问题:随着时间推移,前沿模型从环境中学习的速度是否在加快?

为了回答这个问题,他们从EdgeBench中挑选了一个特殊的18任务子集。这些任务有一个重要特性:所有模型在第一次尝试时的表现都差不多,平均分在6.87左右,波动很小。这意味着起跑线基本一致,之后的差异就主要来自于从环境中学习的效率,而不是原有知识储量的多少。

研究团队对2025年9月到2026年6月间发布的多款前沿模型都在这个子集上进行了测试,记录每个模型在2小时内相比初始表现的提升幅度,并把这个提升幅度定义为“学习速度”。

从GPT-5-Codex(2025年9月发布)到GPT-5.5(2026年4月发布),学习速度在221天内增长了约8倍。用指数增长来拟合这段趋势,对应的倍增周期大约是三个月。

更有意思的是,这种加速并非简单地靠“提交更多次”来实现的。研究团队对比了各模型的提交频率和“有效提交率”(即每次提交真正提升了最佳分数的比例)。结果发现,新一代模型虽然提交频率参差不齐,但有效提交率普遍在提升——也就是说,更新的模型每一次提交都更有针对性,更少走弯路,而不是单纯靠数量堆出来的。

九、连续学习胜过反复重来

一个看似合理的担忧是:AI成绩随时间提升,会不会只是因为它多尝试了几次,而不是真正“学到了什么”?毕竟,即使是完全随机地猜测,猜的次数多了,偶尔也能猜对。

研究团队专门设计了一个实验来排除这种可能性。他们给Claude Opus 4.8在17个任务上分配相同的总时间预算(12小时),然后以两种不同方式使用这个预算。

第一种方式是“有积累地连续工作”:AI从头到尾在同一个工作空间中持续运作,前面的尝试、工具、文件、反馈历史全部保留,后面的工作可以在前面的基础上继续。

第二种方式是“无积累的独立重试”:把12小时切成6份,每份2小时,每次从零开始,完全清空之前的所有状态,最后取6次结果中的最好成绩。这模拟了“重复采样”的极端情况——相当于抛了6次硬币,取最好的那次。

在相同的总预算下,连续积累的方式在12小时后达到43.0分,而重复重试方式只达到36.1分,差距6.9分。这个差距证明了AI确实从历史经验中获得了实质性的收益,而这些收益是单纯靠重复尝试无法获得的。

十、更长的上下文记忆,更强的学习能力

既然积累经验很重要,那么如何让AI记住更多的历史信息?一个最直接的方法是扩大AI的“记忆容量”——也就是它能同时容纳在脑子里的信息量,在技术上叫做“上下文窗口长度”。

研究团队对比了Claude Opus 4.8在两种不同上下文长度下的表现:200K词元(tokens)和100万词元。这两种配置在其他所有条件完全相同的情况下,在42个任务组成的子集上分别运行了完整的12小时评测。

结果显示,1M上下文的Opus 4.8在所有时间节点上都稳定领先200k版本。在2小时时,差距是5.8分;在12小时时,差距收窄到4.4分,但始终存在。两种配置的学习曲线形态几乎平行,说明更长的上下文不只是让初始表现更好,而是在整个学习过程中持续提供更强的记忆支撑。

这个结果说明,即便系统已经有了外部文件存储、进度笔记等辅助记忆工具,模型本身的上下文容量依然是一个独立的、不可替代的因素。

十一、一个引力波任务的12小时解剖

为了让上述所有规律更加具体可感,研究团队对一个具体任务进行了细致的案例分析:引力波信号重建。

这个任务要求AI基于LIGO(激光干涉引力波天文台)在2015年首次探测到引力波时的公开论文,从原始应变数据中重建出完整的引力波信号分析流程,包括两个探测站各自的波形时序、时频谱图,以及双黑洞合并过程中的速度和间距曲线。

一个GPT-5.5智能体在这个任务上工作了整整12小时,提交了224次,其中平台后台还额外进行了23次定时快照评分。在这247次评分中,只有27次真正提升了最佳成绩超过0.1个百分点。也就是说,大约88%的提交都是“无效”的探索——这个比例看起来很低,但实际上这正是真实科研工作的常态。

从12小时的进步轨迹中,研究团队识别出了七个关键里程碑,每个里程碑都代表着一次质的跃迁。

最初,AI用前11次提交建立起一个可以被打分的完整分析流程,拿到42.8分的初始成绩,但此时源动力学(黑洞轨道速度和间距)部分的得分很低。在接下来约1小时内,AI在稳定基础流程的同时,把频率估计方法从粗糙的版本换成了更精确的,将成绩提升到约50分。

随后大约3小时内,AI通过重新对齐时频窗口、改善探测站波形比对等信号处理改进,把成绩推进到52.3分。然后在第4到第5小时,发生了整个12小时运行中最大的单次跳跃:AI识别出源动力学是得分最薄弱的环节,转而专注于校准双体物理模型,将源动力学得分从64.2提升到89.0,带动总分从52.3跳升到59.7,涨幅7.4分。

在最后的几小时里,AI主要集中于修复Hanford探测站的波形重建误差,通过时移对齐和窄带修正,把该分项从约47分提升到95分,最终总分定格在67.0分。

这个案例完美地展示了“信息解锁信息”的机制:每一次有意义的提交所获得的反馈,都改变了AI下一步搜索的方向,让后续的尝试更有针对性。

十二、数学定理证明这块“硬骨头”

在六大任务类别中,形式数学与定理证明是表现最值得关注的一类。这13个任务包括了用Lean 4语言证明费马大定理正则情形、卡尔森定理(关于L?函数的Fourier级数逐点收敛性)、多面体外翻定理(Sphere Eversion)等数学前沿成果的形式验证。

这类任务的特殊性在于:它采用严格的机器校验,一个证明要么完全通过,要么在某个步骤失败,没有中间地带。而且评分规则是传递依赖的——如果证明B依赖于引理A,但A还没有被证明,那么B也不算成立,不给分。

在这个类别上,模型之间的差异最为悬殊。Claude Opus 4.8在12小时后的平均得分是55.0,GPT-5.5是50.0,但GLM-5.1只有24.6,DeepSeek-V4-Pro仅有14.1。GLM-5.1的tmid参数高达119.6小时,意味着按照其学习曲线的参数外推,它需要将近五天才能达到自己理论成绩上限的一半——这在12小时的评测窗口内显然远未实现。GPT-5.4的tmid更是外推到了17.3小时,说明12小时对它来说刚刚进入“开始快速进步”的阶段。

这些数据说明,不同任务类型对不同模型的考验方式差异很大,简单地说“哪个模型更好”远不如分析“哪个模型在什么类型的任务上、在什么样的时间预算下,学习效率最高”来得有意义。

十三、S形曲线在什么情况下会失效

研究团队对自己发现的规律保持了相当的谨慎态度,专门列出了这条S形规律的适用边界。

当任务图存在严重的“瓶颈”节点——也就是必须先解锁某个特定能力才能继续前进的强依赖链——时,进步曲线可能不再是平滑的S形,而是出现长时间的停滞,然后断崖式的跃升,形成明显的多段结构。这在引力波任务的案例中已经可以部分看到:源动力学部分的突破就是一个典型的“瓶颈突破”事件。

当各任务之间的“半程时间点”(tmid)分布非常分散时,简单取平均会产生一条被拉伸变形的宽S形,其参数不再稳定反映任何单一机制,而是成了任务分布的统计特性摘要。

此外,当某些任务有明确的时间节奏——比如每天固定一次数据更新,或有固定的提交冷却周期——时,对数时间轴的假设就不再成立,应该考虑其他时间变换方式。

研究团队还特别提醒:公式中的Smax应该被理解为“在当前时间窗口和当前评测条件下的可达分数上限”,而不是某个绝对的能力天花板。随着交互时间延长或者环境条件变化,这个上限本身可能也会移动。

说到底,这项研究做的事情,是第一次系统地证明了AI智能体在真实环境中“边干边学”这件事是有规律可循的,而不是随机噪声。那条R²高达0.998的对数S形曲线,不只是一个好看的拟合结果,它背后是一套关于“已掌握的能力如何帮助解锁新能力”的机制理论。

更值得关注的是“每三个月学习速度翻倍”这个趋势。如果这个趋势持续下去,意味着一年后的AI智能体,其在真实任务中的学习效率将是今天的约16倍。这不只是实验室里的数字,它意味着越来越多的真实工作场景将有可能由AI自主完成——从复杂的软件工程项目,到前沿数学定理的形式化验证,到需要大量领域知识的金融分析。

一个值得每个关注AI发展的人认真思考的问题是:当AI从环境中学习的速度已经可以被精确预测和量化时,我们应该如何规划AI与人类协作的工作方式?一条可预测的学习曲线,意味着对于特定类型的任务,我们可以提前估算出“给AI多少时间,能期望它达到什么水平”——这种可预测性,或许正是大规模部署AI完成复杂工作的前提条件之一。

研究团队已经公开发布了EdgeBench中的51个任务和完整的评测框架,为后续的研究者提供了一个标准化的研究平台。有兴趣深入了解的读者可以通过论文编号arXiv:2607.05155v1查阅完整的研究细节。

Q&A

Q1:EdgeBench测试平台评测的是AI的什么能力?

A:EdgeBench评测的不是AI在训练阶段学到的固有知识,而是AI在被部署到真实任务环境后,通过与环境交互、获取反馈来持续改进自己的能力。简单说,就是“边干边学”的能力。平台设计了双重反馈机制,既允许AI快速本地测试,也通过权威评测容器给出隐藏测试数据上的真实成绩。

Q2:对数S形学习曲线的三个参数分别代表什么意思?

A:公式S(t) = Smax / (1 + (tmid/t)^β)中,Smax是这个模型在当前任务上理论可达的成绩上限;tmid是达到这个上限一半所需的交互时间,tmid越小说明模型越快进入爆发期;β控制曲线的陡峭程度,β越大说明进步越集中在某个时间段内,越小说明进步更均匀地分布在整个学习过程中。

Q3:AI学习速度每三个月翻倍的结论是怎么得出的?

A:研究团队从EdgeBench中选取了18个任务组成子集,条件是所有模型在初次尝试时得分相近(平均约6.87分),以确保起跑线一致。然后对2025年9月到2026年4月间发布的多款模型分别测试,记录每个模型在2小时内的得分提升幅度。从最早的GPT-5-Codex到GPT-5.5,这个提升幅度在221天内增长了约8倍,对应的指数倍增周期约为三个月。

来源:https://www.163.com/dy/article/L1R514A80511DTVV.html
上一篇斯坦福伯克利联合研发AI自我答案验证框架 下一篇研产协同落地,怀柔科学城筑牢北京科创根基
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
中国广电5G致歉天津部分业务因光缆受损异常
科技数码 · 2026-07-17

中国广电5G致歉天津部分业务因光缆受损异常

7月13日下午,天津部分广电5G用户信号满格却无法上网、通话,因光缆受损导致。当日服务已恢复,官方致歉并说明原因,但仍有用户不满,质疑应急响应速度。

俞敏洪回应孙东旭与离职主播创业开公司:无需过度讨论,祝顺利
科技数码 · 2026-07-17

俞敏洪回应孙东旭与离职主播创业开公司:无需过度讨论,祝顺利

俞敏洪回应孙东旭与离职主播创办“美丽明天”公司,称无需过度讨论并祝创业顺利。该公司注册资本1000万元,孙东旭持股34%,石明、郭天权各33%。新东方不设竞业限制,俞敏洪以过去30年从业者创业为例展现底气。

崔东树指银发经济县域出行汽车内需潜力未充分释放
科技数码 · 2026-07-17

崔东树指银发经济县域出行汽车内需潜力未充分释放

《扩大消费“十五五”规划》将汽车消费作为扩内需核心抓手,但银发经济、县域出行等下沉市场潜力尚未充分释放。建议建立经济型电动车标准、增设C7驾照、推出购车个税抵扣,以降低入门门槛、疏通置换堵点,推动汽车内需持续增长。

REDMI Note 17系列今晚发布 吴克群携手国民小金刚致敬城市英雄
科技数码 · 2026-07-17

REDMI Note 17系列今晚发布 吴克群携手国民小金刚致敬城市英雄

REDMINote17系列7月14日发布,标准版搭7英寸OLED屏与8000mAh电池,Pro版配骁龙6sGen4、9000mAh电池及IP68 IP69K防尘防水,支持五年流畅承诺与电池升级保,吴克群以推荐官身份致敬城市英雄。

荣耀阿里将官宣合作,或涉及下一代操作系统
科技数码 · 2026-07-17

荣耀阿里将官宣合作,或涉及下一代操作系统

荣耀与阿里将于WAIC2026宣布合作,可能聚焦下一代终端操作系统AgenticOS,结合硬件与AI能力,探讨从工具到伙伴的智能体演进,推动具身智能落地。