MIT研究揭示：算法近十年进步程度被高估
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
机器之心报道
机器之心编辑部
过去十年，AI领域的飞跃主要依赖于两种相辅相成的驱动力：迅猛增长的计算预算，以及持续的算法创新。
相比之下，计算量的增长相对容易衡量，但我们仍然难以对算法进步的贡献进行精确量化。究竟是哪些技术革新带来了效率提升？这些提升的幅度有多大？在不同计算规模下，它们是否依然有效？这些问题依然没有清晰的答案。
2024年，一项研究通过分析数百个语言模型发现，在过去的十年里，算法进步在所谓的“有效计算量”（effective compute）方面贡献了超过4个数量级的提升。而根据对历史AI文献的分析，计算规模本身则增长了7个数量级。
具体来说，所有算法创新的累积效应，使得模型的整体效率提升了约22，000倍。这意味着，理论上可以用少得多的浮点运算次数（FLOPs）达到相同的性能水平。
然而，我们仍然缺乏对这类进步进行精确分解的方法，关于算法进步来源的许多关键问题尚未得到充分研究。例如：各种算法改进之间是如何相互作用的？算法进步是由一系列微小改良迭代累积而成，还是由少数几次重大突破推动的？算法改进是像摩尔定律那样平滑持续地发展，还是呈现间断平衡（即长时间停滞 + 突然跳跃）的模式？
为了回答这些问题，来自MIT等机构的研究人员采用了三种互补的方法：
对语言模型中的重要算法改进进行消融实验；开展规模扩展（scaling）实验，以测量不同架构在最优扩展行为上的差异；对数据与参数的规模转换（scaling）进行理论分析。
论文地址：https://arxiv.org/pdf/2511.21622
论文标题：On the Origin of Algorithmic Progress in AI
最终得到三条核心结论：
1. 经过实验评估，大多数算法创新只带来了小幅的、与规模无关的效率提升，总体计算效率提升不到10倍。即使将模型推算至2025年的计算能力极限（2 × 10²³ FLOPs），这些提升也仅占总改进的不到10%。这表明，与规模无关的算法进步在整体效率提升中所占的份额很小。
2. 本文发现有两项强烈依赖规模（scale-dependent）的算法创新：从LSTM到Transformer架构的转变，以及从Kaplan到Chinchilla的最优缩放定律。当将其外推至2025年的计算前沿时，这两项创新合计占据了全部效率提升的91%。这意味着：对于小规模模型而言，算法进步的幅度比此前认为的要小几个数量级。
3. 在依赖规模的创新型创新的情况下，效率提升不仅需要持续的计算投入，而且算法进步的速度还强烈依赖于你所选择的参考基线算法。换句话说，相对于某个基线算法，连续模型之间的进步率看起来可能是指数级的；但相对于另一个基线算法，它却可能完全为零。
总体来看，这些发现表明：算法进步可能本质上就是依赖规模的，要真正体现其效益需要不断扩大计算规模。同时，这也意味着算法进步对于大型模型开发者的益处远大于对小规模参与者的益处。
规模不变型算法创新与规模依赖型算法创新的对比
相关攻略
来源：科技日报科技日报记者 张佳欣据英国《自然》 30日消息，来自美国和法国的两项最新研究利用真实材料进行实验，将实验结果与量子计算机模拟数据进行对比。最终显示，模拟数据与传统实验结果高度一致，验证
这项由香港科技大学、京东探索研究院和香港大学联合开展的研究发表于2026年3月，论文编号为arXiv:2603 17051v1。有兴趣深入了解的读者可以通过该编号在学术数据库中查询完整论文。制作一段
当我们开车在高速公路上行驶时，最怕遇到的就是车子突然失控，方向盘变得异常敏感，稍微一动就可能冲出车道。这种情况在人工智能的训练过程中也经常发生，特别是在训练那些能够进行推理和对话的大型语言模型时。来
这项由Stony Brook大学研究团队开展的前沿研究发表于2026年3月，论文编号为arXiv:2603 19209v1，为我们重新审视视觉语言模型的设计理念提供了全新视角。当我们谈到让计算机同时
面对火星制氧催化剂研发中高达376万种的潜在配方组合，以人工方式一一试验2000年也难以穷尽筛选。“小来”通过自主阅读分析5万篇论文，融合实验与理论计算数据，用6周便找到了最优解 应通过政策引
热门专题
热门推荐
《逸剑风云决》叶飞支线任务全攻略：触发条件与莲心湖位置详解 不少《逸剑风云决》玩家在推进支线任务时，常会困惑于叶飞角色的触发条件。尤其是在到达莲心湖地图后，许多玩家反复探索却无法找到叶飞，“莲心湖找不到叶飞”已成为常见问题。实际上，这并非游戏BUG，而是一系列精密的剧情前置要求未被满足。本指南将系统
《永恒树之歌：创世》世界种子攻略：获取方法、选址布局与高效家园建设指南 初次来到《永恒树之歌：创世》的阿莱瑞亚大陆，面对这片等待复苏的丰饶世界，你需要掌握的第一个核心机制就是“世界种子”。这款以自然共生与家园重建为主题的治愈系模拟经营游戏中，世界种子不仅是开启建设的钥匙，更是决定未来发展潜力的基石。
《纪念碑谷3》全章节图文攻略：从灯塔解密到莲花祭坛的完整流程解析 备受期待的视觉解谜游戏《纪念碑谷3》延续了系列标志性的极简美学与沉浸式空间叙事。游戏关卡设计由浅入深，即便是新手也能快速掌握核心机制，逐步建立对空间变换与机关互动的直觉。近期，“纪念碑谷3怎么通关”、“第三章攻略”、“莲花机关怎么过”
速览 你是否正在寻找《红色沙漠》中最强装备升级的关键材料——动力核心？本指南将为你精准揭秘动力核心的唯一高效获取途径：击败强大的阿比斯生命体。我们将详解如何根据不同核心定位特定目标怪物，传授运用法则之力的实战击杀技巧，并分享一个关键的核心掉落「S L小技巧」，助你系统性地提升收集效率，快速武装你的角
速览 在《红色沙漠》中，影子森林遗迹以其复杂的内部结构，成为许多玩家挑战的难点区域。解谜的关键路径其实并不复杂：首先我们需要前往阿方索领地，在此区域仔细探索，找到并触发一个被称为“可疑气息”的交互点，这即是通往遗迹内部的入口。进入遗迹后，最引人注目的便是那个被大量古老树藤严密包裹的核心机关。此时，玩