田渊栋：2025年终总结核心方法与思考（一）
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
新智元报道
编辑：桃子
【新智元导读】从救火Llama 4反被裁，再到如今下场自创业，AI大佬田渊栋回顾了2025年一些重要时刻。
最近太忙，只能把年终总结放到1月1日之后再写了，不管怎样，能开始动笔就是好事。
关于被裁
在2025年1月底被要求加入Llama4救火的时候，作为一直以来做强化学习的人，我事先画了一个2x2的回报矩阵（reward matrix），计算了一下以下四种可能（虽然在那时，因为来自上面的巨大压力，不同意是几乎不可能的）：
当时想的是我们去帮忙的话，即便最后项目未能成功，也至少尽力而为，问心无愧。不过遗憾的是，最后发生的是没在计算之内的第五种可能，这也让我对这社会的复杂性有了更为深刻的认识。
尽管如此，在这几个月的努力过程中，我们还是在强化学习训练的核心问题上有一些探索，比如说训练稳定性，训推互动，模型架构设计，和预训练/中期训练的互动，长思维链的算法，数据生成的方式，后训练框架的设计等等。
这个经验本身是很重要的，对我的研究思路也带来了不小的转变。
另外其实我也想过在公司十年多了，总有一天要离开，总不见得老死在公司里吧，但总是因为各种经济上和家庭上的原因还是要待下去。
最近一两年的说话和做事方式，都是抱着一种「公司快把我开了吧」的心态，反而越来越放开。
2024年年末我休第一个长假的时候，其实几乎差点要走了，但最后没签字还是选择待在公司继续，所以说真要做出离开的决定也不容易。现在Meta帮我做了也挺好。
这次波折和今年一年的起起落落，也为接下来的小说创作提供了非常多的新素材。
所谓「仕途不幸诗家幸，赋到沧桑句便工」，生活太平淡，人生就不一定有乐趣了。还记得2024年年头上的时候，因为在年末工作总结里面写了几句关于「为啥paper都没中」的反思，喜提Meet Most，有一种突然不及格的懵逼感。
但想了想与其到处抱怨世道不公，不如就在大家面前装成自己刚刚升职吧，结果半年后果然升了职，而那篇21年头上无人问津的工作，在21年7月份中了ICML Best paper honorable mention，成为一篇表征学习中还比较有名的文章。
10月22号之后的一段时间，基本上我的各种通信方式都处于挤爆的状态，每天无数的消息和邮件，还有各种远程会议或者见面的邀请，实在是忙不过来了。
一直到几周之后才渐渐恢复正常。这两个月非常感谢大家的关心和热情。如果那时有什么消息我没有及时回复，请见谅。
虽然最后有不少offer，大家能想到的知名公司也都联系过我，但最后还是决定乘自己还年轻，去当一家新初创公司的联合创始人，细节暂时不公开，先安静地忙活一阵吧。
一些研究的方向
2025年的主要方向，一个是大模型推理，另一个是打开模型的黑箱。
自从2024年末我们的连续隐空间推理（coconut，COLM’25）工作公开之后，25年在这个研究方向上掀起了一股热潮。大家探索如何在强化学习和预训练中使用这个想法，如何提高它的训练和计算的效率，等等。
虽然我们组随后就被拉去llama干活，没能再继续花很大力气往下挖，但这个让我觉得非常欣慰。
尽管如此，我们还是在上半年发了一篇理论分析（Reasoning by Superposition，NeurIPS‘25）的文章，展示连续隐空间推理有优势的地方究竟在哪里，获得了不少关注。
另外是如何提高大模型的推理效率。我们的Token Assorted（ICLR’25）的工作，先通过VQVAE学出隐空间的离散token，再将所得的离散token和text token混在一起进行后训练，减少了推理代价的同时提高了性能。
我们的DeepConf通过检测每个生成token的自信程度，来决定某条推理路径是否要被提前终止，这样推理所用的token减少了很多，但在majority vote的场景下性能反而更好。
ThreadWeaver则是通过制造并行推理的思维链，并在其上做后训练，来加快推理速度。另外我们也在dLLM上用RL训练推理模型（Sandwiched Policy Gradient），也有在小模型上学习推理的尝试（MobileLLM-R1）。
在可解释性方面，Grokking（顿悟）这个方向我大概两年前就在关注了。因为之前我做表征学习（representation learning）的分析，虽然能分析出学习的动力学过程，看到模型出现表征塌缩的原因，但究竟学出什么样的表征，它们和输入数据的结构有什么关系，能达到什么样的泛化能力，还是个谜团，而通过分析Grokking这个特征涌现的现象，从记忆到泛化的突变过程，正好能解开这个谜团。
一开始确实非常难做没有头绪，2024年先做了一篇COGS（NeurIPS‘25，见求道之人，不问寒暑（十）），但只能在特例上进行分析，我不是很满意。
在一年多的迷茫之后，在和GPT5大量互动之后，最近的这篇Provable Scaling Laws的文章应该说有比较大的突破，能分析出之前的线性结构（NTK）看不到的东西，并把特征涌现的训练动力学大概讲清楚了。虽然说分析的样例还是比较特殊，但至少打开了一扇新的窗口。详细解释请看田渊栋 的想法。
年末的这篇The path not taken我很喜欢，对于RL和SFT的行为为何会如此不一致，在权重的层面给出了一个初步的答案。
SFT造成过拟合和灾难性遗忘（catastrophic forgetting），其表层原因是训练数据不够on-policy，而深层原因是权重的主分量直接被外来数据大幅修改，导致「根基」不稳，模型效果大降。
而RL则因为用on-policy的数据进行训练，权重的主分量不变，改变的只是次要分量，反而能避免灾难性遗忘的问题，而改变的权重其分布也会较为稀疏（特别在bf16的量化下）。
关于可解释性的信念
很多人觉得可解释性，或者「AI如何工作得那么好」这个问题不重要，但我却觉得很重要。试想之后的两种场景：
场景一：如果我们仅仅通过Scaling就达到了AGI乃至ASI，全体人类的劳动价值都降为零，AI作为一个巨大的黑盒子帮我们解决了所有问题，那如何让AI作为一个超级智能，一直行善，不欺骗不以隐秘的方式作恶，就是当务之急，要解决这个问题就要做可解释性。
场景二：如果Scaling这条路最终失效，人类在指数增长的资源需求面前败下阵来，必须得要寻求其它的方案，那我们就不得不去思考「模型为什么有效，什么东西会让它失效」，在这样的思考链条之下，我们就必须回归研究，可解释性就是目所能及的另一条路了。
在这两种情况下，最终都需要可解释性来救场。就算最终AI是个全知全能全善的神，以人类好奇和探索的天性，必然还是会去研究AI为什么能做得好。
毕竟「黑盒」就意味着猜疑链的诞生，在大模型技术爆炸，开始达到甚至超过人类平均水平的今天，《三体》中「黑暗森林」的规则，也许会以另一种方式呈现出来。
目前打开训练好模型的黑箱，去找到电路（circuit），还是处于比较初步的阶段。
可解释性真正的难点，在于从第一性原理，即从模型架构、梯度下降及数据本身的固有结构出发，解释为什么模型会收敛出这些解耦、稀疏、低秩、模块化、可组合的特征与回路，为什么会有大量不同的解释，这些涌现出来的结构和模型训练的哪些超参数相关，如何相关，等等。
等到我们能从梯度下降的方程里，直接推导出大模型特征涌现的必然性，可解释性才算真正从生物式的证据收集走向物理式的原理推导，最终反过来指导实践，为下一代人工智能的模型设计开辟道路。
对比四百年前的物理学，我们现在有很多AI版的第谷（收集数据），一些AI版的开普勒（提出假说），但还没有AI版的牛顿（发现原理）。
等到那一天来临的时候，我相信，世界一定会天翻地覆。
参考资料：
https://zhuanlan.zhihu.com/p/1990809161458540818
注：本文授权转载，若二次转载请联系原作者。
秒追ASI
⭐点赞、转发、在看一键三连⭐
点亮星标，锁定新智元极速推送！
相关攻略
BCBC币(BCBC)深度解析：技术底色与市场前景 在百花齐放的数字货币领域，总有项目希望以独特的技术路径站稳脚跟。BCBC币（BCBC）正是其中之一，它依托一套组合技术方案来构建其安全与稳定的基石，目标直指高效、低成本的支付新体验，同时也不失为投资者眼中一个潜在的增值选项。 技术架构：不止于共识的
BNB Chain完成第31次季度销毁，近10亿美元BNB永久退出流通 近日，全球顶尖的区块链基础设施BNB Chain正式完成了其第31次季度代币销毁。根据官方公布的数据，本次共计销毁了1,579,207 716枚BNB，按销毁时市场价值计算，总额高达约9 16亿美元。此次大规模销毁再次向市场展现
OpenClaw 核心命令完全指南：从入门到精通 当您开始接触一个新工具时，最常见的障碍是什么？往往是面对复杂的命令列表感到困惑，只能被动地复制粘贴。这不仅影响效率，而且在遇到问题时更难以排查。 本文将为您深入解析 OpenClaw 的关键指令，帮助您从基础操作者转变为理解原理的熟练用户，全面提升配
让AI告别“重视觉效果、轻物理逻辑”的行业短板，近期五一视界（51WORLD）发布全球首款物理直觉世界模型51World Model，实现AI遵循物理规律推演、与真实场景全要素交互的核心突破，彻底破
一台售价8 5万元的人形机器人，拆开来看，成本只有4 16万元，预估毛利率40 7%。但宇树G1的真正壁垒，藏在硬件之外。3月30日，中邮证券电新团队分析师苏千叶、盛炜、杨帅波发布《宇树G1人形机器
热门专题
最新APP
热门推荐
苹果折叠屏手机 iPhone Fold 最新渲染图曝光：摄像头凸起优化，设计更显精致 有关苹果公司首款折叠屏 iPhone 的传闻持续受到关注。4月5日，知名爆料者 Majin Bu 在社交平台X上再度分享了一组据称是 iPhone Fold 的高清渲染图，从多角度揭示了这款备受期待设备可能的外观设
通用性首选：官府无垢队阵容深度解析 在当前版本中，若要挑选一套兼具强度与广泛适用性的阵容，以官府流派【长孙无垢】为核心的搭配方案无疑是热门之选。这套经典组合通常由长孙无垢（官府）、李一桐、李善德、李光弼，以及关羽或平安组成。其核心战斗逻辑清晰且高效：一方面，依靠长孙无垢与李光弼的技能联动，通过对目标
洛克王国全精灵隐藏进化条件完整攻略大全 在《洛克王国》丰富多彩的冒险世界中，除了常规的等级进化，众多精灵还埋藏着独特的“隐藏进化”路径。这些特殊的进化条件，往往是解锁精灵终极形态、完成图鉴收集的关键所在。与普通进化方式不同，隐藏进化需要触发特定的环境、时间、道具或任务条件，充满了探索与解密的乐趣。你
燕云十六声石震关卡怎么过？高效通关技巧与实战攻略详解 掌握核心机制：石震关卡难点全解析 石震关卡的核心挑战在于敌人配置：不仅数量密集，且拥有高额血量和攻击力。这些敌人并非随机分布，而是依据特定区域、巡逻路线及攻击逻辑进行部署。提前掌握不同敌人的攻击前摇、技能范围与仇恨机制，是制定有效战术的前提，真正
英雄联盟手游安妮符文终极指南：爆发流核心配置与实战策略 在英雄联盟手游的对局中，黑暗之女安妮以其强大的瞬间爆发与控制能力，始终是中单位置的热门选择。虽然操作看似简单易懂，但想要真正掌握这位火焰法师的精髓，打出毁天灭地的效果，一套科学高效的符文搭配是不可或缺的基石。正确的符文选择，能让她从温顺的火苗化