先说几个核心判断：OpenAI在今年的DevDay上，一共公布了五项重大创新——实时API、提示词缓存、模型蒸馏、视觉微调，以及新的广场玩法。这些新能力似乎暗示了一件事：OpenAI的战略重心正在发生转移——它不再一门心思扑在争夺终端用户上，而是加大了基础建设的投入，全力打造自己的「开发者生态」。

与去年声势浩大的发布相比，今年的DevDay显得异常低调。没有令人瞠目的重磅产品，更多的是对现有AI工具和API套件的渐进式改进。展示的重点，也变为了增强开发者的能力、以及分享社区的故事。

简单用一句话来概括这五大更新：

• Realtime API：让开发者能够构建近乎实时的“语音转语音”体验，还可以直接使用OpenAI提供的六种声音。

• 提示词缓存：跟Anthropic几个月前推出的缓存功能类似，允许开发者在API调用之间缓存常用的上下文，从而降低成本、改善延迟。

• 模型蒸馏：开发者可以用大模型（比如o1-preview和GPT-4o）的输出，来微调更小的模型（比如GPT-4o mini）。

• 视觉微调：允许开发者使用“图像+文本”的组合来微调GPT-4o应用，AI“看”的能力被大大加强了。

• 新广场玩法：提示词有了新的框架和用法，结构化输出也有了新突破，这让开发工作变得前所未有地容易。

现场，OpenAI甚至演示了用o1模型在30秒内构建一个iPhone iOS应用——尽管看起来有点炫技，但确实展现了AI工程化能力的飞跃。

最近一段时间，OpenAI可谓是多事之秋：核心高管接连离职、产品兑现的速度也没能满足大众预期。但与此同时，重大的融资进展又在不断传出。这家备受瞩目的独角兽似乎正在努力回到正轨，目标是说服更多的开发者，更充分地利用他们的AI模型来搞创作。

OpenAI首席产品官凯文·韦尔(Kevin Weil)在活动前的记者会上明确表示，首席技术官米拉·穆拉蒂和首席研究官鲍勃·麦格鲁的离职，并不会影响公司的发展节奏。同时，OpenAI指出，过去两年间，他们已将开发者访问其API的成本降低了99%。当然，这背后很大程度上也受到了来自Meta和谷歌等竞争对手不断压低价格的压力。

现场观众对OpenAI的工程化能力普遍表示认可。“用o1模型在30秒内构建一个iOS应用”这件事，让APP开发的门槛进一步降低，甚至展现了一种“人人都是开发者”的可能性。而实时语音对话的效果，更是让很多人感到惊叹，X上也很快涌现出了一批基于纯语音交互的创业想法。相比此前虚拟陪伴式的语音对话，Realtime API能实现更贴近日常的实时交流，比如旅行规划、点餐、教学、电商购物等场景。这也意味着，带有记录属性的各类AI硬件产品，未来的语音交互将变得更加自然流畅。

1. 实时对话API：AI语音应用的时代来了

OpenAI发布的Realtime API，目前仍处于公开测试阶段。这项新产品让开发者能够创建低延迟、多模态的交互体验，尤其是在语音转语音的应用场景中。说白了，它意味着开发者可以将ChatGPT那种级别的“语音控件”，直接嵌入到自己的应用里。

为了展示其潜力，OpenAI现场演示了一个叫Wanderlust的旅行规划应用。借助Realtime API，用户可以直接跟这个应用对话，用最自然的说话方式规划行程，系统甚至能允许在说话过程中被“打断”，模仿人类日常交流中的停顿等场景。虽然旅行计划只是一个例子，但实时API为各个行业的语音应用打开了巨大的想象空间——从客户服务到教育，再到辅助功能工具，开发者现在都拥有了一个强大的新资源。

用OpenAI产品负责人Olivier Godement的话说：“每当我们设计产品时，我们基本上会同时考虑初创公司和企业。所以在内测阶段，我们已经有很多企业和新产品在使用这个API了。” Realtime API的本质，是简化了构建语音助手和其他对话式AI工具的过程。从此以后，开发者再也不需要把多个模型拼凑在一起，分别处理转录、推理和文本到语音的转换了。

一些早期应用者，比如营养健身指导应用Healthify、语言学习平台Speak，已经将Realtime API集成到产品中。这些案例展示了该API在医疗、教育等领域创造更自然、更具吸引力用户体验的潜力。虽然它的定价不算便宜（每分钟音频输入0.06美元，输出0.24美元），但对于想创建语音应用的人来说，依然是一个很重要的价值主张。

2. 提示词缓存：为开发者大幅节省预算

“提示词缓存”功能，目标很明确：降低开发者的成本和延迟。系统会自动对模型最近处理过的输入令牌应用50%的折扣，对于那些频繁重复使用上下文的应用程序来说，这笔节省相当可观。

Olivier Godement在现场算了一笔账：“我们一直在高负荷运转。就在两年前，GPT-3还大获成功。现在，我们把成本降低了近1000倍。我试着去找一个在两年内成本降低近1000倍的技术例子——但我找不到。” 成本的大幅降低，为初创企业和大型企业探索全新的应用场景提供了重大机遇——很多以前因为太贵而无法做的事，现在敢想了。

这当然也跟结构化提示词有关。只有当提示中的前缀完全匹配时，才有可能实现缓存命中。要想享受到缓存的好处，需要把静态内容（比如指令和示例）放在提示的开头，而把可变内容（比如用户特定信息）放在结尾。这也适用于图像和工具——它们在不同请求之间必须保持一致。

3. 模型蒸馏：让AI模型训练更紧凑

也许整场DevDay最具变革性的变化，就是引入了“模型蒸馏”。这个集成的工作流，允许开发者利用o1-preview和GPT-4o这类高级模型的输出来提高GPT-4o mini等更高效模型的性能。换句话说，训练时，完全可以用更大的模型来“教”小模型，让小模型汲取大模型的“经验”。

这种方法让小公司也能“攀上”先进模型的能力，却不用承担同样的计算成本。它解决了人工智能行业一个长期存在的矛盾：尖端、资源密集型系统与更易于访问但功能较弱的系统之间的差距。

举个例子，假设有一家小型医疗技术初创公司，正在为农村诊所开发一款AI诊断工具。通过模型蒸馏，他们可以训练出一个在标准笔记本电脑或平板电脑上就能运行的紧凑型模型，而这个模型却能捕捉到大型模型的大部分诊断能力。这相当于把复杂的人工智能能力带入了资源受限的环境，有可能显著改善医疗资源匮乏地区的现状。

4. 视觉微调：视觉AI的新前沿

另一项重大更新，是为OpenAI的GPT-4o引入了视觉微调。这个功能允许开发者使用图像和文本来自定义模型的视觉理解能力。它的影响是深远的，未来可能会影响自动驾驶、医学成像和视觉搜索等众多领域。

据OpenAI透露，东南亚一家食品配送和拼车公司Grab已经利用这项技术改进了地图服务。报道称，仅用了100个样本，Grab就把车道计数的准确率提高了20%，限速标志定位的准确率提高了13%。这个现实世界的应用，充分展示了视觉微调的潜力——只需一点点视觉训练数据，就能显著增强AI服务的质量。

可以说是，以“看”的形式实现“纯视觉”的信息采集和输入，将极大延展未来的应用场景。如果再把这一点跟“实时语音交互”结合起来，OpenAI在信息处理和交互方式上的进展，就为新一轮的应用爆发创造了可能。比如帮助视听残障人士，或者通过视觉识别紧急情况和危险，然后自动拨打求救电话等等，这些想象已经在变成现实。

5. 新广场功能：构建可持续的AI生态系统

这部分更多是对提示词的结构框架以及其他用法做了更多说明。在大会前一天，部分内容疑似泄漏，「系统提示词」也被人扒了出来。核心要点包括：

• 了解任务：要掌握主要目标、目标、要求、约束和预期输出。

• 最小更改：如果已有一个现有提示，只在简单时才对其进行优化。对于复杂提示，则要在不改变原始结构的前提下，提高清晰度并补充缺失的元素。

• 结论前推理：鼓励在得出任何结论之前先进行推理。注意！如果用户提供了先有推理后出结论的示例，则要反转顺序！永远不要以结论开头作为例子！

• 推理顺序：要理清提示和结论部分中各推理环节的具体字段。确定每个字段的执行顺序，以及是否需要反转。

• 结论、分类或结果：应该始终放在最后。

6. OpenAI作地基：AI应用可能迎来新爆发

OpenAI的2024 DevDay，标志着这家公司的一个战略转折点——优先考虑生态系统开发，而不是发布像Sora那种令人眼球一亮的新产品。对公众而言，这种方式可能不够刺激，但它却体现了对AI行业当前挑战和机遇的一种成熟理解。

今年的低调活动，与2023年DevDay那种“iPhone时刻”的兴奋形成了鲜明对比。去年，通过推出GPT Store和自定义GPT创建工具，全场沸腾。但自那之后，AI领域已经发生了迅速而深刻的变化：竞争对手大步赶上，对训练数据可用性的担忧也日益高涨。

OpenAI选择专注于改进现有工具并赋能开发者，这看起来正是对日益激烈的AI行业竞争的精心应对。通过提高模型的效率和成本效益，OpenAI希望在保持竞争优势的同时，也解决资源强度和环境影响的焦虑。

随着OpenAI从“碘伏者”转型为“平台提供商”，它的成功将在很大程度上取决于其能否培育出一个蓬勃发展的开发者生态系统。通过提供更完善的工具、降低成本、增加开发相关的支持，OpenAI为AI领域的长期增长和稳定打下了地基，也为新一轮多模态、视听结合的AI应用爆发创造了可能。

AI实时语音应用已经露出了曙光，结合视觉的、更加可靠的产品也已经在路上了。很多人可能依然会把OpenAI的这次发布看作是“挤牙膏”，但不可否认，随着成本的降低和工程化落地的改善，新的应用、新的创新、新的更全能的开发者，也许会像细水长流般绵绵不绝……

戏台已经搭好，下一幕，谁是新的主角呢？