MIT研究揭示：算法近十年进步程度被高估
机器之心报道
机器之心编辑部
过去十年，AI领域的飞跃主要依赖于两种相辅相成的驱动力：迅猛增长的计算预算，以及持续的算法创新。
相比之下，计算量的增长相对容易衡量，但我们仍然难以对算法进步的贡献进行精确量化。究竟是哪些技术革新带来了效率提升？这些提升的幅度有多大？在不同计算规模下，它们是否依然有效？这些问题依然没有清晰的答案。
2024年，一项研究通过分析数百个语言模型发现，在过去的十年里，算法进步在所谓的“有效计算量”（effective compute）方面贡献了超过4个数量级的提升。而根据对历史AI文献的分析，计算规模本身则增长了7个数量级。
具体来说，所有算法创新的累积效应，使得模型的整体效率提升了约22，000倍。这意味着，理论上可以用少得多的浮点运算次数（FLOPs）达到相同的性能水平。
然而，我们仍然缺乏对这类进步进行精确分解的方法，关于算法进步来源的许多关键问题尚未得到充分研究。例如：各种算法改进之间是如何相互作用的？算法进步是由一系列微小改良迭代累积而成，还是由少数几次重大突破推动的？算法改进是像摩尔定律那样平滑持续地发展，还是呈现间断平衡（即长时间停滞 + 突然跳跃）的模式？
为了回答这些问题，来自MIT等机构的研究人员采用了三种互补的方法：
对语言模型中的重要算法改进进行消融实验；开展规模扩展（scaling）实验，以测量不同架构在最优扩展行为上的差异；对数据与参数的规模转换（scaling）进行理论分析。
论文地址：https://arxiv.org/pdf/2511.21622
论文标题：On the Origin of Algorithmic Progress in AI
最终得到三条核心结论：
1. 经过实验评估，大多数算法创新只带来了小幅的、与规模无关的效率提升，总体计算效率提升不到10倍。即使将模型推算至2025年的计算能力极限（2 × 10²³ FLOPs），这些提升也仅占总改进的不到10%。这表明，与规模无关的算法进步在整体效率提升中所占的份额很小。
2. 本文发现有两项强烈依赖规模（scale-dependent）的算法创新：从LSTM到Transformer架构的转变，以及从Kaplan到Chinchilla的最优缩放定律。当将其外推至2025年的计算前沿时，这两项创新合计占据了全部效率提升的91%。这意味着：对于小规模模型而言，算法进步的幅度比此前认为的要小几个数量级。
3. 在依赖规模的创新型创新的情况下，效率提升不仅需要持续的计算投入，而且算法进步的速度还强烈依赖于你所选择的参考基线算法。换句话说，相对于某个基线算法，连续模型之间的进步率看起来可能是指数级的；但相对于另一个基线算法，它却可能完全为零。
总体来看，这些发现表明：算法进步可能本质上就是依赖规模的，要真正体现其效益需要不断扩大计算规模。同时，这也意味着算法进步对于大型模型开发者的益处远大于对小规模参与者的益处。
规模不变型算法创新与规模依赖型算法创新的对比
相关攻略
近日，Anthropic发布了一项关于Claude模型内部“情绪机制”的新研究，却因未引用关键的前期工作而引发学术争议。原作者直接指出这一疏漏，促使Anthropic迅速回应并更新了论文引用。 发现这一问题的研究者是来自MBZUAI的研究生Chenxi Wang。她在阅读论文后敏锐地察觉到，这项研究
中国航天员科研训练中心招募卧床实验志愿者，需卧床最长60天以模拟失重环境，研究生理变化。参与者需符合健康及心理标准，实验过程伴随不适但受严密监控。数据对航天医学与老年病学有重要价值，志愿者可获得补助及交通报销。
“我能再说几句吗？” 在复旦大学相辉堂举行的“浦江科学大师讲坛”互动环节结束后，2024年诺贝尔物理学奖得主安妮·吕利耶教授主动提出了这个请求。她分享了一个温暖的观察：“我曾受邀在各种场合做过演讲，很多时候提问的都是男性，但这次几乎都是女性在提问题，请大家坚持下去。”作为第五位获得诺贝尔物理学奖的女
你还在一个人做科研吗？ 科研路上最磨人的，往往不是问题本身，而是那种彻头彻尾的“孤军奋战”感。一个想法，从文献调研到实验设计，再到落笔成文，每一步都只能靠自己摸索着前行。 方向偏了，没人及时提醒；遇到歧义，找不到人讨论；结果不对，就只能陷入反复试错的循环。市面上不少所谓的“自动化科研”工具，其实只是
Claw AI Lab团队量子位 | 公众号 QbitAI你还在一个人做科研吗？科研最难的，从来不是问题本身，而是一个想法从文献到实验再到写作，只能靠自己一点点往前推。一个人方向偏了没人提醒，遇到歧
热门专题
热门推荐
摘要由实在Agent通过智能技术生成。此内容由AI根据文章内容自动生成，并已由人工审核。 随着企业数字化转型进入智能体（Agent）驱动的新阶段，如何平衡AI创新与安全合规成为关键挑战。尤其在《网络安全等级保护基本要求》（等保2 0）的严格框架下，企业级智能体的部署必须同时满足效率提升与合规保障的双
使用情景 对于外贸从业者来说，年终总结绝非简单的例行汇报。它是一次至关重要的年度复盘与战略规划，既要系统梳理过去一年的业绩成果与经验得失，也要为来年的市场开拓与业务增长指明清晰路径。在全球贸易竞争白热化的今天，一份逻辑严谨、数据详实、洞察深刻的总结报告，不仅是个人专业能力的集中体现，更是赢得管理层支
使用情景 又到年末了，年度安全工作总结是每个团队都绕不开的环节。这份总结的价值，远不止于一份简单的回顾。它更像是一份“体检报告”，清晰地告诉你过去一年安全工作的“健康状况”——哪里做得好，哪里还有隐患，从而为来年的精准施策打下坚实的基础。 不过，说起写总结、做PPT，不少人就开始头疼了：内容怎么组织
Zcash (ZEC) 月度暴涨520%：深度解析后市行情与关键点位 近期，隐私币龙头Zcash (ZEC) 上演了一场令人瞩目的行情，月度涨幅高达520%，价格一度逼近300美元，创下自2021年12月以来的新高。在加密市场整体承压的背景下，ZEC的逆势狂飙吸引了全球投资者的目光。本文将结合技术分
在存量竞争的时代，电商售后数据早已超越了“成本中心”的单一角色，它正成为洞察产品质量、优化物流链路、提升用户忠诚度的核心战略资产。然而，现实往往骨感：多平台、多店铺、多套ERP系统并存，数据散落一地。靠人工手动汇总？不仅耗时费力，更关键的是，你永远无法实现真正的实时预警与敏捷响应。那么，电商售后数据