OpenAI 最新发布的 o3 和 o4-mini 模型，在工具使用、推理能力和多模态视觉方面实现了重大突破。本教程将带你全面了解这两款模型的核心特性、性能亮点、图像推理创新以及实际使用方式，帮助开发者、研究人员和普通用户快速掌握关键信息。

1. 全面工具访问与推理能力

o3 和 o4-mini 最显著的特点是首次实现了对 ChatGPT 内所有工具的智能组合使用。它们可以同时调用搜索、文件分析、视觉输入和图像生成等工具，并自主判断何时以及如何使用这些工具来解决问题。模型经过专门训练，能够在大约一分钟内提供详细且经过深思熟虑的答案，以适当的输出格式解决多方面的问题。

关键特性：

• 连续调用超过 600 次工具来完成一项复杂任务。
• 在理解和导航大型代码库方面超越人类工程师。
• 支持搜索网络、分析上传文件、处理视觉输入、生成图像。

2. o3 与 o4-mini 性能详解

o3：最强推理模型

OpenAI o3 是目前最强大的推理模型，在编程、数学、科学、视觉感知等领域推动了技术边界。它在 Codeforces、SWE-bench 和 MMMU 等多个基准测试中创下新记录。外部专家评估显示，相比 o1，o3 在解决困难现实任务时 减少了 20% 的重大错误，尤其在编程、商业咨询和创意构思方面表现突出。

o4-mini：高效推理小型模型

o4-mini 针对快速、高效推理进行了优化。尽管规模较小，但在数学、编码和视觉任务方面表现出色。在 2025 年 AIME 数学竞赛中，当获得 Python 解释器访问权限时，o4-mini 得分高达 99.5%，实际上已使该基准测试饱和。专家评估显示，它在非 STEM 任务和数据科学等领域超越了前身 o3-mini。o4-mini 支持比 o3 更高的使用限制，适合高吞吐量应用。

3. 图像推理能力：“Thinking with Images” 突破

o3 和 o4-mini 首次能够将图像直接整合到思维链中——它们不仅能“看到”图像，还能通过图像进行思考。这使得融合视觉和文本推理的新型问题解决方式成为可能，在多模态基准测试中表现卓越。

实际应用场景：

• 上传白板照片、教科书图表或手绘草图，模型可以解释它们，即使图像模糊、颠倒或质量低下。
• 借助工具使用能力，模型可以实时操作图像（旋转、缩放、转换）作为推理过程的一部分。

负责图像推理的华裔研究员 Jiahui Yu 解释图像推理的重要性：“自最初的 o 系列发布以来，‘图像思考’一直是我们在感知领域的核心战略之一。如今，o3 和 o4-mini 的问世则将其变为现实。多模态技术对于 OpenAI 实现 AGI 的愿景至关重要。”

4. 主动式工具使用与多步推理

o3 和 o4-mini 可以完全访问 ChatGPT 内的工具，并通过 API 函数调用访问用户自定义工具。它们经过训练，能够推理如何解决问题，选择何时以及如何使用工具，快速产生详细答案。

示例： 用户提问：“今年夏季加利福尼亚的能源使用情况与去年相比如何？” 模型可以搜索网络获取公用事业数据，编写 Python 代码建立预测模型，生成图表或图像，并解释预测背后的关键因素——将多个工具调用链接在一起。

5. 开源 Codex CLI

发布会最后还带来惊喜：OpenAI 推出了 Codex CLI——一个连接模型与用户本地计算机环境的轻量级命令行接口。它直接在用户的计算机上工作，旨在最大限度地发挥像 o3 和 o4-mini 这样的模型的推理能力，未来还将支持 GPT-4.1 等其他 API 模型。

用户可以通过向模型传递屏幕截图或低保真草图，结合本地代码访问，从命令行获得多模态推理的好处。发布现场演示了利用 Codex CLI 读取实时摄像头画面生成 ASCII 动态画面的酷炫效果。

开源地址： https://github.com/openai/codex

6. 使用与访问方式

ChatGPT 用户

• Plus、Pro 和 Team 用户：模型选择器中已提供 o3、o4-mini 和 o4-mini-high，取代 o1、o3-mini 和 o3-mini-high。
• Enterprise 和 Edu 用户：将在 1 周内获得访问权限。
• 免费用户：可以在提交查询前选择 “Think” 来尝试 o4-mini。
• 所有计划的速率限制与先前的模型集保持不变。

开发者（API）

o3 和 o4-mini 当前通过 Chat Completions API 和 Responses API 提供。Responses API 支持推理摘要，能够在函数调用周围保留推理标记以获得更好的性能，并很快支持内置工具（如网络搜索、文件搜索和代码解释器）。

成本与未来更新

OpenAI 预计在几周内发布具有完整工具支持的 o3-pro。目前 Pro 用户仍可访问 o1-pro。具体价格信息请参考 OpenAI 官方定价页面。

7. 常见问题与提示

Q1：如何访问 o3 和 o4-mini 模型？

A： ChatGPT Plus、Pro 和 Team 用户可直接在模型选择器中看到新模型。免费用户可通过 “Think” 按钮尝试 o4-mini。开发者可通过 Chat Completions API 或 Responses API 调用。

Q2：o4-mini 相比 o3-mini 有哪些提升？

A： o4-mini 在数学、编码和视觉任务上表现更出色，AIME 数学竞赛得分 99.5%，并在非 STEM 任务和数据科学领域超越 o3-mini。同时支持更高的使用限制，适合高频推理场景。

Q3：图像推理（Thinking with Images）具体能做什么？

A： 模型可以分析模糊、颠倒或低质量的图像，解释白板照片、教科书图表、手绘草图，并能在推理过程中实时操作图像（旋转、缩放、转换）。用户可将视觉和文本信息结合，解决复杂问题。

Q4：Codex CLI 是什么？如何获取？

A： Codex CLI 是 OpenAI 开源的轻量级命令行工具，允许模型访问你本地计算机的环境，进行代码编写、文件操作等。可在 GitHub 上克隆：https://github.com/openai/codex。支持 o3、o4-mini 等模型。

Q5：免费用户能使用哪些功能？

A： 免费用户可以选择 “Think” 来尝试 o4-mini，但可能受到速率限制。如需访问 o3 和完整工具集，建议升级到 Plus 或 Pro 计划。

小提示：

• 使用复杂多步任务时，尽量将问题描述清晰，并附上必要文件或图像，以发挥 o3/o4-mini 的主动工具调用能力。
• 如果你需要高吞吐量且对延迟敏感，优先选择 o4-mini；如果追求极致的推理质量和全面工具使用，选择 o3。
• Codex CLI 适合开发者在本地快速原型验证，配合多模态输入（截图、草图）可以大幅提升编码效率。

8. 总结

本次更新反映了 OpenAI 模型的发展方向：将 o 系列的专业推理能力与 GPT 系列的自然对话和工具使用能力深度融合。o3 和 o4-mini 通过统一的架构，支持无缝、自然的对话，同时提供主动工具使用和高级问题解决能力。无论是开发者、研究者还是普通用户，都能从这一代模型中获益。