GPT-5（代号Orion）的研发已持续超过18个月，但这款备受期待的模型至今仍未正式亮相。近日，《华尔街日报》再度披露了相关进展。
据知情人士透露，虽然Orion的性能已超越OpenAI现有模型，但这一进步尚不足以证明持续投入巨额资金的合理性。简单来说，投入产出比并不理想。
知情人士进一步指出，GPT-5已至少完成两轮完整训练，但每轮训练都会暴露新的问题，始终未能达到研究团队的预期。更令人担忧的是，每轮训练耗时长达数月，而单轮计算成本就接近5亿美元。
总体来看，该项目能否成功、何时成功，目前仍是未知数。更棘手的是，全球可用的数据量可能根本无法满足其需求，使其达到理想中的智能水平。
训练之路困难重重
自2023年3月GPT-4发布后，OpenAI便立即启动了GPT-5的研发。同年11月，Altman明确表示2024年不会发布任何名为GPT-5的产品。当时许多人并未在意，现在看来，这或许是项目受阻的早期信号。
通常情况下，AI模型的能力会随着训练数据量的增加而提升。训练过程中，模型需要处理数万亿个tokens，这一过程可能持续数月，并且极度依赖成千上万块昂贵且稀缺的计算芯片。Altman曾透露，仅GPT-4的训练成本就超过1亿美元，而未来AI模型的训练费用突破10亿美元几乎是必然趋势。训练一旦失败，损失将如同火箭发射失败一样惨重。
为降低风险，OpenAI通常会先进行小规模试运行，以验证设计和训练的可行性。这样研究人员可以在大规模正式训练前及时发现并修正问题。
然而，GPT-5的开发从一开始便不顺利。2023年中，OpenAI启动了一项名为“Arrakis”的实验性训练，旨在测试GPT-5的新设计。遗憾的是，该训练进展缓慢，预示着大规模训练不仅耗时极长，成本也将高得惊人。实验结果还表明，GPT-5的开发远比预期复杂和困难。
因此，OpenAI研究团队决定对Orion进行一系列技术调整，同时意识到现有公开互联网数据已无法满足模型需求。要提升GPT-5的性能，必须寻找更多样化、更高质量的数据。
“从零开始创造数据”
据报道，为应对数据不足的难题，OpenAI选择了一条非常规路径——从零开始制造数据。具体而言，他们雇佣软件工程师和数学家来编写新代码或解决数学问题，然后让Orion从这些任务中学习。这些专家还会向Orion详细解释自己的思考过程与工作流程。
许多研究人员认为，代码作为软件的语言，能够帮助大模型处理未曾见过的问题，从而提升其解决复杂任务的能力。
Turing公司首席执行官兼联合创始人Jonathan Siddharth对此评价道：“我们正在将人类智慧从人脑转移到机器脑。”
在AI训练过程中，Turing的一位高管解释道，软件工程师可能被要求编写程序以高效解决复杂逻辑问题；而数学家则可能需要计算由一个百万个篮球堆成的金字塔的最大高度。这些任务的关键不仅在于最终答案，更在于得出答案的思考过程，这些都将被完整纳入AI的训练材料。
此外，OpenAI还与理论物理学等领域的专家合作，请他们解释如何解决各自领域中的棘手难题。这些内容同样有助于提升Orion的智能水平。
但坦白说，雇佣人员从头构建数据显然不是高效的方法。要知道，GPT-4的训练数据约为13万亿个token。假设1000人每天写5000字，要生产10亿个token也需要数月时间。
为加速训练，OpenAI也在尝试“合成数据”，即由AI自身生成的数据。然而，有研究表明，AI生成的数据再用于训练自身，这种“自我循环”有时会导致模型出错，甚至产生毫无意义的输出。
对此，知情人士称，OpenAI科学家认为，使用o1模型生成的数据或许能够避免这些问题。
内外夹击下前行
OpenAI面临的挑战远不止技术层面。公司内部动荡不断，外部竞争对手持续挖角。与此同时，技术与资金的双重压力与日俱增。一次训练耗资5亿美元，最终总训练成本很可能超过10亿美元。另一边，Anthropic、谷歌等公司纷纷推出新一代模型，试图赶超甚至取代OpenAI。
人才流失与内部分歧进一步拖慢了开发进度。去年，OpenAI董事会突然解雇Altman，导致部分研究人员质疑公司能否正常运作。虽然Altman随后很快重返CEO岗位并着手改革治理结构，但裂痕已然存在。
今年以来，超过20位关键高管、研究人员及长期员工离开了OpenAI，包括联合创始人兼首席科学家Ilya Sutskever和技术负责人Mira Murati。不久前，备受尊敬的研究员Alec Radford也宣布离职，他曾在OpenAI工作约八年，主导了多篇重要论文。
随着Orion项目进展停滞，OpenAI开始转向开发其他项目和应用，例如简化版GPT-4和生成AI视频的Sora产品。但报道指出，这导致不同团队之间为争夺有限计算资源而激烈竞争，尤其是新产品开发团队与Orion研究团队之间。
GPT-5的困境或许也揭示了一个更大的行业命题：AI的发展是否已接近“瓶颈期”？业内人士指出，依赖海量数据和更大模型的策略正逐渐失效。正如前OpenAI科学家苏茨克维尔日前在公开场合所言，“我们只有一个互联网”。数据增长正在放缓，而推动AI飞跃的这块“化石燃料”正逐渐枯竭。
至于GPT-5的未来，Altman始终未给出明确时间表。目前，我们仍无法确定OpenAI何时、甚至是否会推出一个值得被称为GPT-5的模型。
