当地时间5月13日，OpenAI在春季发布会上正式推出了桌面版ChatGPT，同时发布了全新旗舰AI模型——GPT-4o。这个命名里的“o”代表Omni，也就是“全能”的意思。从官方公布的信息来看，GPT-4o在文本、推理、编码能力上达到了GPT-4 Turbo的水平，但速度直接翻倍，成本却只有后者的一半。视频和音频功能也做了大幅升级。

GPT-4o速度更快，且能感知用户情绪

这次GPT-4o在语音交互上的机制跟之前完全不一样。过去GPT-3.5和GPT-4处理语音对话，需要先把音频转成文本，然后模型处理文本，再转回音频。整个过程绕了三道弯，中间的情感表达、语气变化基本都折损了。而GPT-4o是跨文本、视觉和音频的端到端模型，这是OpenAI第一次把多个维度整合到一起，对话体验自然流畅得多。

OpenAI技术负责人Mira Murati说了一句很实在的话：“这是我们第一次在易用性方面真正迈出的一大步。”研究员Mark Chen进一步补充，新模型具备“感知情绪”的能力，不仅能输出笑声、歌唱，还能表达情感，甚至能处理用户中途打断它的情况。

发布会上，Mark Chen和OpenAI后训练团队负责人Barret Zoph的现场演示相当直观。比如有一幕，Mark Chen表现得有点紧张，呼吸急促。GPT-4o听到他那过度的呼气声后，直接提醒他：“别紧张，你喘得像个吸尘器，深呼吸，再吐气。”然后就开始指导他如何深吸慢呼平复心情——这已经不是简单的问答，而是带有情绪感知的互动了。

另一个演示中，Chen让GPT给Zoph讲个睡前故事哄他入睡。他反复打断GPT的讲述，要求讲得更刺激点，最后GPT干脆用迪士尼式的唱腔把故事唱了出来。这种灵活应变的能力，在之前的模型身上很难看到。

GPT-4o还能通过视觉识别检测人的情绪。Zoph把手机举到面前，要求ChatGPT告诉他长什么样。GPT-4o注意到他脸上的微笑，说：“看起来你感觉非常快乐，喜笑颜开。”实时翻译也不在话下，Mira Murati现场用意大利语跟ChatGPT交流，GPT直接翻译成英语。

OpenAI首席执行官Sam Altman对这次升级评价很高，他说新的语音和视频模式是他用过的最好的电脑界面，感觉就像电影里的AI。他坦言：“对我来说，与电脑交谈从来都不是一件很自然的事，现在它做到了。随着我们增加个性化、访问你的信息、代表你采取行动的能力，我真的可以看到一个令人兴奋的未来，我们能够使用计算机做比以往任何时候都多的事情。”

GPT-4o功能未来将会进一步发展

从发布当天起，GPT-4o就在ChatGPT的免费版本中上线了，同时也提供给ChatGPT Plus和Team计划的订户，后者享有“5倍更高”的消息限制。不过OpenAI也提醒，当用户达到速率限制时，ChatGPT会自动切换到GPT-3.5。

基于GPT-4o的ChatGPT文本和图像输入功能已经在周一上线，语音和视频选项会在未来几周内推出。另外，未来1个月左右，Plus用户就能用上基于GPT-4o改进的语音体验。目前GPT-4o的API并不包含语音功能，但OpenAI已经在规划了。

在API使用成本上，相比去年11月发布的GPT-4-turbo，GPT-4o价格降低了一半。成本下降对于大模型规模化调用至关重要，这标志着OpenAI开始把重心从技术突破转向市场推广。

据Murati介绍，GPT-4o的能力还会继续拓展。比如目前它已经能查看不同语言的菜单照片并进行翻译，未来还可能会让ChatGPT观看直播的体育比赛，并实时解释规则。她说：“我们知道这些模型变得越来越复杂，但我们希望交互体验实际上变得更加自然、简单，您不需要关注UI，而只需专注于与ChatGPT的合作。”

安全性方面，OpenAI也做了重点说明。通过过滤训练数据和训练后改进模型行为，GPT-4o在设计中内置了跨模式的安全性，并创建了新的安全系统为语音输出提供护栏。他们还与来自社会心理学、偏见和公平、错误信息等领域的70多名外部专家合作，识别新模式引入或放大的风险。OpenAI表示，会继续减少新发现的风险。目前公开的只是文本和图像输入以及文本输出，音频输出暂时只限于选定的预设声音，并在以后几个月逐步开放更多模式，同时遵守现有安全政策。

写在最后

大模型技术正在以肉眼可见的速度进化，而GPT-4o无疑又把技术和应用推向了一个新高度。全球科技厂商都在积极布局，微软、谷歌密集召开发布会推出产品，苹果也传言已与OpenAI达成协议，要在iPhone上使用其技术。可以预见，接下来大模型无论在技术升级还是应用落地上，都会呈现一番新景象。