OpenAI 的直播发布会已进入第九天。前八场内容各有侧重，而今晚——Day9——明确为开发者专场，即 DevDay。其实昨天的发布中就已透露这一方向，果然，今晚的直播将焦点完全放在了开发者的工具箱中。

发布会现场还悄然上线了一款新模型：“gpt-4o-realtime-preview-2024-12-17”。该模型属于 Realtime API 测试版的一部分，主要改进体现在语音质量、输入可靠性（尤其是口述数字的场景），以及更低的成本。

先看一组概要信息——本次发布的核心内容可浓缩为三个方向：

• o1 API 全面开放：开发者期待已久的功能集终于完整上线，包括函数调用、结构化输出、开发者消息、图像理解等。
• Realtime API with WebRTC：实时 API 现已支持 WebRTC 协议，用于构建实时语音体验将更加便捷。其优势在于网络适应性更强、自动处理回声消除、代码实现也更简洁。此外，GPT-4o 的音频价格降低了 60%，同时 GPT-4o mini 的音频速率也降至原来的十分之一。
• 新微调方法：偏好微调：一种基于直接偏好优化的新微调方式，旨在让模型更贴合用户偏好。

值得一提的是，o1-2024-12-17 模型在多个基准测试中均取得了新的最优成绩，同时在成本效益与性能之间实现了更好的平衡。OpenAI 官方数据显示，它在函数调用和结构化输出测试中，表现明显优于早期的 o1-preview。

01 这些更新有什么用

先说 o1 API 中的函数调用。这为开发者提供了一种全新的交互方式，可将 AI 能力与自身应用进行更深度整合。例如，你可以定义具体的函数，让 AI 在合适时机自动调用它们——这样便能实现更复杂的业务逻辑。举个例子，当用户需要查询信息、预订行程或获取个性化建议时，函数调用能让 AI 更准确地理解意图，给出有用的回复，而非泛泛的文本。

然后是新的实时 API with WebRTC。这套接口为开发者提供了一套简单但强大的工具，在自建应用中实现实时音视频通信的同时，还能结合 AI 能力进行创新。比如，在远程会议中，借助 WebRTC 实现低延迟视频通话，再加上实时翻译、语音转文字等 AI 辅助功能，跨语言、跨地域的沟通将不再是难题。

至于新的微调方式，它赋予了开发者更大的灵活性和定制空间。你可以根据业务需求和数据特点，对模型进行针对性调整，使其更好地适配特定场景。这样做的好处是，模型在专业任务上的准确性和性能将显著提升，开发成本也能有效降低。例如，在医疗健康领域，经过微调的模型可给出更精准的诊断建议；在教育领域，则可为学生提供更贴合个人进度的学习辅导。

02 o1 模型在 API 中新增了哪些能力

相比 o1 预览版，本次正式开放的 o1 模型在 API 中新增了以下功能：

1. 函数调用：允许开发者将外部 API 和数据库连接到 o1 模型。
2. 结构化输出：确保模型输出遵循开发者定义的 JSON 模式，解析和使用更加方便。
3. 开发者消息：作为指令层次结构的一部分，提供了一种新的方式来指引模型行为。
4. 推理努力：新增参数，允许开发者控制模型在思考问题上花费的时间——简单问题上可节省时间和成本。
5. 视觉输入：开发者可将图像作为模型输入，这在制造、科研等领域将打开新的可能性。

03 函数调用详解

功能概述

函数调用让开发者能在与 AI 模型交互时，定义并调用自定义函数。换句话说，AI 不再仅仅是生成文本，而是可以根据输入执行特定的函数操作，返回对应的结果。

工作原理

从开发者角度看流程如下：你向 AI 模型发送请求时，可同时上传函数定义和用户输入。模型根据输入内容判断是否需要调用某个函数——如果需要，则返回函数名和参数。然后你的应用程序根据此结果执行相应函数，再将结果返回给用户。

举个例子。假设你在开发一个旅游预订应用。用户说“帮我订明天北京到上海的机票”，你可以定义一个名为“bookFlight”的函数，接收出发地、目的地、日期等参数。AI 模型收到请求后，识别出需要调用此函数，返回参数值为（出发地：北京，目的地：上海，日期：明天）。你的应用获取这些信息后，调用机票预订系统接口完成操作，并将结果反馈给用户——整个过程自动且精准。

04 新 Realtime API with WebRTC 详解

借助 WebRTC，现在只需几行 JavaScript 代码，就能在应用中添加实时功能。

async function createRealtimeSession(localStream, remoteAudioEl, token) {
    const pc = new RTCPeerConnection();
    pc.ontrack = e => remoteAudioEl.srcObject = e.streams[0];
    pc.addTrack(localStream.getTracks()[0]);
    const offer = await pc.createOffer();
    await pc.setLocalDescription(offer);
    const headers = { Authorization: `Bearer ${token}`, 'Content-Type': 'application/sdp' };
    const opts = { method: 'POST', body: offer.sdp, headers };
    const resp = await fetch('https://api.openai.com/v1/realtime', opts);
    await pc.setRemoteDescription({ type: 'answer', sdp: await resp.text() });
    return pc;
}

WebRTC 支持为实时 API 带来的优势

1. 简化的代码：相比之前的 WebSockets 集成方式，用 WebRTC 构建实时语音应用所需编写的代码量显著减少。
2. 更好的网络适应性：WebRTC 从设计上即能应对互联网的波动——带宽变化、网络延迟均可自动调整。
3. 内置回声消除：这对于构建高质量的语音体验几乎是必备能力。

功能概述

新的 Realtime API with WebRTC 本质上基于 WebRTC 标准的实时通信技术，它为开发者提供了一种在浏览器和移动应用中实现实时音视频通信的简便方法，同时还集成了 OpenAI 的模型能力。

技术特点

1. 低延迟：WebRTC 本身就是为低延迟实时通信而设计的，通过优化网络传输和数据处理流程，确保音视频数据能够快速、稳定地在客户端之间传输。视频会议、在线直播等对流畅度要求极高的场景，WebRTC 的表现非常可靠。
2. 高质量音视频：支持高清传输，能自动适应不同网络环境和设备条件。开发者可根据应用需要调整参数，找到质量与效率的平衡点。例如，在线教育场景中，教师和学生可通过高清画面和清晰语音进行互动，显著提升学习体验。
3. 跨平台兼容性：WebRTC 可在多种浏览器和操作系统上运行——桌面端、移动端均支持。这意味着开发者可以构建跨平台的实时通信应用，覆盖更广泛的用户群体。无论用户使用 Windows、Mac、Linux，还是 iOS、Android，都能通过同一应用进行实时通信。
4. AI 集成：与 OpenAI 模型能力的结合，为实时通信场景带来了更多创新可能。例如，在视频通话中实时进行语音识别和翻译，实现不同语言间的无障碍交流；或利用 AI 进行视频内容分析，实时检测人物动作、表情等信息，并根据这些信息提供智能提示或反馈。

05 新微调方法详解

偏好微调是什么

偏好微调允许开发者通过提供成对的响应来训练模型——其中一条响应比另一条更受用户欢迎。与监督微调（提供确切的输入和输出对）不同，偏好微调的重点是优化模型，使其能捕捉用户偏好中那些微妙但重要的差异。

功能概述

这套新微调方法为开发者提供了一种更灵活、高效的途径来定制 OpenAI 的语言模型，使其更好地适配特定任务和领域。通过微调，开发者可以利用自己的数据集对模型进行训练，从而提升其在特定场景下的性能和准确性。

技术原理

1. 数据准备：开发者需先准备好与目标任务或领域相关的数据集。该数据集应具有代表性，能覆盖模型在实际应用中可能遇到的各种情况。例如，如果要开发医疗诊断辅助模型，数据集需包含病历、诊断报告、医学影像描述等真实材料。
2. 模型选择与初始化：选择合适的 OpenAI 基础模型作为起点。OpenAI 提供了多种预训练模型，开发者可根据具体任务需求和模型特点进行选择。初始化时，通常使用预训练模型的参数作为初始值，这能加快训练速度，同时保留模型在通用语言理解方面的优势。
3. 微调训练：使用准备好的数据集对选定模型进行训练。训练过程中，模型参数会根据数据集的特点进行调整，学习到特定任务或领域的知识和模式。微调的目标是在保持通用性的基础上，让模型在特定任务上表现更出色——例如，在情感分析任务中，经过微调的模型能更准确地识别文本中的正面或负面情绪。
4. 评估与优化：微调完成后，需对模型进行评估，查看性能是否达到预期。评估指标可根据任务性质选择，如准确率、召回率、F1 值等。若效果不理想，开发者可通过调整数据集、训练参数或模型结构来优化，然后重新训练和评估，直至满意为止。

如何开始偏好微调

1. 在 OpenAI 平台界面中选择“微调”选项卡。
2. 从“方法”下拉菜单中选择“直接偏好优化”。
3. 选择要微调的基础模型，例如 GPT-4o。
4. 上传训练数据——数据需包含成对的响应，其中一条比另一条更优。
5. 调整超参数，或直接使用默认设置。
6. 点击“创建”开始微调过程。

此外，OpenAI 还同步发布了 Go 语言和 Java SDK 的测试版本。虽然目前仍为测试阶段，但对开发者生态而言，这算是一个值得关注的进展。