这确实令人感到意外。

PPO（Proximal Policy Optimization）——这一在 RLHF 与大型语言模型训练中被广泛应用的经典算法，当年竟被 NIPS 2017 会议拒绝接收。

这件事最近由 PPO 算法的作者 John Schulman 本人提及。他仅用简短的语句概括了这段往事：PPO 曾被 NIPS 2017 拒稿。

这篇最早发表于 2017 年 7 月的论文，在当时的背景下，看起来只是一个更简洁、更工程化的策略优化算法。其初衷是在保持 TRPO 稳定性的同时，降低实现复杂度，使强化学习更易于调参、更具实用性。

然而几年之后，真正将 PPO 推向更广阔应用的，并非 Atari 游戏、机器人控制等传统强化学习任务，而是大型语言模型。

从 RLHF 到如今的 RLVR，PPO 已成为大模型后训练中不可或缺的基础算法之一。用 Schulman 自己的话说，PPO 在大语言模型时代迎来了第二次浪潮，其影响力范围甚至超越了原论文当初的预期。

这听起来不像是在抱怨当年的拒稿，更像是一种事后的感慨：一项技术的真正影响力，往往以发明者最初未曾预料的方式释放出来。

那么，PPO 当年为什么会被拒？

Schulman 事后给出的解释十分坦诚：这篇论文当时被认为创新性不足，与已有的基线方法相比，提升幅度也不够显著。

有网友评论，这背后折射出学术评价与真实产业需求之间的错位。学术界通常更看重新颖性，以及在小规模、受控实验环境下对基线的提升。而真实世界更关注的是，一个方法能否扩展到更大规模，在复杂系统中保持稳定，以及——能否真正落地运行。

Schulman 对此显得很平和。他表示，那已经是过去很久的事了，希望这些年过去，学术界已经逐渐理解并接纳了这种“简单但可规模化”的理念。

真正让他感到意外的是，PPO 这篇论文及其目标函数，竟然能持续影响如此之久。一个算法改动，究竟是很快被遗忘、被替代的小修小补，还是会长久留在系统中，成为难以超越的基础组件？这个问题，往往在最初很难判断。

而 PPO 的故事，恰好印证了这一点。

实际上，历史上此类例子不胜枚举。AI 领域中，许多后来被证明影响深远的工作，都曾在最初投稿时被顶级会议拒绝。

LSTM（长短期记忆网络）：1996 年被 NIPS 拒稿，当时的理由是被认为过于复杂、缺乏生物学合理性。但它后来成为语音识别、机器翻译等序列建模任务的核心技术。

SIFT（尺度不变特征变换）：曾被 ICCV 1997、CVPR 1998 拒稿，原因是工程步骤繁琐、不够“优雅”。但它后来主导了前深度学习时代的计算机视觉领域长达十多年。

Dropout（随机失活）：2012 年被 NIPS 拒稿，当时被认为像个工程技巧，理论解释也不够严谨。但它后来成为深度神经网络最重要的正则化方法之一，并最终获得了 NeurIPS 时间检验奖。

有时，时间才是最严格、最公平的评审者。