AI还需要理论吗？从“登山式”与“铺路式”看机器学习理论的价值

今年GPT的破圈，让人工智能的热度再次攀升。实践中AI的发展稳步前进，但回顾过去十年机器学习理论的进展，不禁让人思考：理论似乎并未给AI带来实质性的帮助。那么，AI到底还需要理论吗？本文将带你梳理理论研究的两种范式，并重新审视理论与工程的关系。

一、争议：过去十年机器学习理论到底贡献了什么？

最近，有好几位朋友以不同的方式表达了同一个观点：“过去十年，机器学习理论没有给AI的发展带来任何帮助，它只是个理论圈自娱自乐的玩具。”

这个说法虽然有些夸张，但背后的含义却让人难以反驳。如果我们将AI顶会过去10年90%以上的机器学习理论论文都删去，恐怕几乎不会影响AI过去10年的发展，也不会影响OpenAI推出ChatGPT。更直白地说，那些AI领域的领军人物可能根本没有时间去阅读机器学习理论论文，因为他们正忙于真正推动AI前进的事情。

二、理论论文的“标准模板”：数学符号与证明的堆砌

姚班的学生常说：“我不想做工程，我想要做偏理论的研究。”那么，什么是理论，什么是工程？

学生往往很淳朴，认为只有包含数学符号的才是理论。但在AI顶会内卷的今天，几乎每篇论文都会加上一些装饰性的数学公式，所以光靠数学符号来分类已经不够了。

进一步地，理论论文中不光要有数学符号，还得有定理和证明。除此之外，最好还有假设、断言、引理、推论。当然，免不了要有一整页以上的推导——优化方面的导数分析，或泛化方面的Rademacher复杂度求界。如果都具备，那就是一盘色香味俱全的“菜”。

做完这些步骤，距离一篇顶会论文只差一步：论文的立意和创新点。数学中可以证明的东西很多，但若没有和机器学习算法建立实际联系，则不能算上乘之作。因此，理论论文的画龙点睛之笔，就是与机器学习现象构建联系。

然而，这看似点睛的联系，恰恰成了理论论文被诟病的根源。因为让理论和实际建立联系后，结论大多是对现象的解释，而很少能对未来有实质性的预测或指引。不能说所有机器学习理论论文都无法导出新算法，但大部分重要AI算法都是由实践派创造的，而非理论学家。

小提示： 这并不是说理论没有价值，而是理论研究的“包袱”太重——既要实验有效，又要有理论证明，相当于“拴着铁球和别人赛跑”，难度增加不少。因此，理论学家追着AI大佬的脚步很辛苦，但AI大佬却往往对理论工作视而不见。

三、两种理论范式：登山式 vs 铺路式

在机器学习理论圈待过几年后，你会发现理论并没有想象中那么神圣。就像Knuth大神写的论文一样，只要愿意，任何人都可以写出非常复杂、令人望而生畏的证明，但这些证明未必有实际价值。因此，单纯从证明和符号的复杂程度，并不能判定论文的价值。

我认为，世界上的理论大体可以分为两种：登山式理论和铺路式理论。

1. 登山式理论（工程式理论）

登山式理论的目标非常清晰，就像登顶珠穆朗玛峰一样。站在山底，目标明确——要想方设法、不惜一切爬到山顶。虽然每一步都是数学推导，但当山峰很高很陡时，需要两类工具：

• 制定规划：将登山之路拆分为几个阶段，化繁为简。
• 加假设：在某些步骤中，不得不使用工具（如绳索、直升机），在机器学习理论圈就是“加假设”——比如假设输入服从高斯分布、目标函数光滑、Lipschitz等。

核心问题：假设的选取是核心艺术。假设太强（如直接传送到山顶）显得索然无味；假设太弱（连绳索都不准用）则爬不到山顶。而问题在于，这些假设在实践中往往不完全成立，即便成立，也可能只覆盖了一个很小的部分，无法真正解释和分析实际AI算法。

举个例子：我们观察到LayerNorm在实际算法中效果很好，于是将LN的分析作为“山顶”。但我们需要假设数据服从高斯分布、损失函数光滑、网络只有两层或三层、优化步长很小……这些假设就像登山包里的工具，组合起来完成登顶很艰难。然而，真实的训练过程与这些假设往往有差距——理论学者攀登的是自己精心设计的“理想山峰”，而非AI科学家日常遇到的实际山峰。

过去十年，理论学家为了理解一个概念或算法，制定了很高的登山目标，但限于工具能力，不得不加入各种假设。最后，很多结论南辕北辙，得不到外部的认可，这正与登山式理论的研究范式有关。

2. 铺路式理论（真实理论）

与登山式理论不同，铺路式理论更加“佛系”，完全是好奇心驱动。“铺路”这个词强调的是：从某个点出发，向四周蔓延，是一种自然而然的过程。看到小池塘就修一条到池塘的路，看到小山坡就修一条绕开的路。修路的目标是忠实地、不加假设或粉饰地去理解世界。这样的路一开始修得慢，但会越来越快——在数学的世界里，一切已有结论都可以成为未来结论的基础；这样的路也修得很扎实，因为每一步都在描述真实。

很多数学大师有过类似的观点：

• 柯西：在纯数学领域，虽然没有实际物理现象印证，但那是数学家遥遥望见的应许之地。
• 格罗滕迪克：人们永远不应该试图证明那些并非几乎显而易见的事情。
• 小平邦彦：有时候感觉自己什么也没做，应当思考的事情却很自然地呈现在眼前。

日本作家夏目漱石在《梦十夜》中描述了雕刻家运庆雕刻金刚手菩萨像的场景：运庆的凿刀所到之处，眉毛、鼻子自然呈现。旁人说：“那可不是凿刻出的眉毛、鼻子，而是眉毛、鼻子本来就埋藏在木头中，他只是用锤子、凿子将其呈现出来。”这种感受正如铺路式科研——没有预设目标，不会为了某个目标强行加假设，而是以平常心忠实地记录真实。

四、工程式理论与理论式工程

理解了这两种范式，就不难察觉其区别。

• 登山式理论是“披着理论外衣的工程”。虽然论文充满数学符号，但目标是预先给定的，过程中发挥了工程师“逢山开路、遇河搭桥”的特长，引入各种假设与工具解决问题。
• 铺路式理论是“真实的理论”，更注重研究目标的真实性质，把解决问题的希望寄托于更深刻的理解。

既然有工程式理论，自然也有理论式工程——它虽然不依赖数学符号，但也没有明确的工程目标，而是以“铺路”的方式推动工程进展，强调问题“应该”如何解决，而非“要”如何解决。

我认为，当前AI领域所采取的研究方式，其实是一种典型的理论式工程。几个支撑点：

• Pytorch/Tensorflow作为AI底层框架，将函数模块化，进行高层次封装，使得使用网络模型越来越简单。这些封装没有直接解决某个具体问题，但长远来看节约了时间，让精力用于更重要的问题——这就像数学中从基本公理得到越来越强大的理论工具。
• 过去十年，各种算法层出不穷，很多靠工程trick一时霸榜，但最终能真正留下来的往往是简洁优雅的少数。“少即是多”已成为AI算法设计的哲学。
• 在预训练模型领域（如SimCLR、GPT、CLIP），设计理念推崇从第一性原理出发、大道至简。借助Pytorch/Tensorflow的高层次封装和高质量数据，这些算法往往只需几百行代码即可实现。它们是哲学意义上的水到渠成，而非工程意义上的翻山越岭。

所以，AI领域的实践之路走得扎实稳健，而机器学习理论圈努力了十年，却没有形成太多真正稳固、令人信服的理论基础。这就是理论式工程和工程式理论的最大区别。

五、常见问题

• Q：既然AI实践已经发展得很好，是不是完全不需要理论了？
  A：不是不需要理论，而是需要改变做理论的方式。当前很多理论是“登山式/工程式理论”，它们预设目标、加各种假设，最后结论与实际情况脱节。AI需要的是“铺路式理论”——不求快速登顶，而是诚实、细致地刻画真实世界的性质，为未来的创新打下扎实基础。
• Q：作为刚入门的研究者，应该如何选择理论方向？
  A：建议先避开那些“为了证明而证明”的课题，多花时间观察实际AI算法中的有趣现象。尝试从“铺路”的角度出发，发现一个规律就记录一个，慢慢积累起对模型和数据真实性质的理解。这样的工作虽然起初不起眼，但长期来看更有价值。
• Q：为什么很多理论论文喜欢加假设？不加假设不行吗？
  A：在登山式范式中，不加假设很难得到闭合的数学结论。但假设过强会使结论失去实际意义。相比之下，铺路式理论更倾向于“承认无法证明，但先忠实地描述现象”，而不是强行用假设包装成完整证明。

结语

回到最初的问题：AI还需要理论吗？我认为它一定需要，但我们需要摒弃“登山式/工程式理论”的研究范式，转向真正能够描绘、刻画人工智能本质的新理论。如同铺路一样，走得慢一点、扎实一点，才能为未来的突破铺平道路。

编辑：黄飞