一夜之间,刚被封神的GPT-4o,就被超越了。
6月21日,Anthropic悄然推出了新一代大模型Claude 3.5 Sonnet。这款模型几乎在所有权威测评中,都压了OpenAI的GPT-4o一头。

Claude 3.5 Sonnet的表现不仅超过了自家此前最强的Claude 3 Opus,在研究生级推理(GPQA)、本科生级知识(MMLU)和编码能力(HumanEval)上,也都刷新了行业基准。速度方面更是亮点——运行速度是Opus的两倍,成本却只有五分之一。对于编程、流程联动这类复杂任务,这个性价比确实诱人。
目前,用户可以通过Claude网页端和iOS应用免费试用,付费用户则享有更高的访问优先级。同时,企业客户可以通过Anthropic API、Amazon Bedrock和Google Cloud获取模型。API收费标准为3美元/每百万输入tokens,15美元/每百万输出tokens,支持200k tokens上下文窗口。

模型发布后,AI圈立刻炸开了锅。有网友反馈,用Claude 3.5 Sonnet编程比GPT-4o效率高出10倍。

更有网友在3分钟内完成了马里奥游戏的克隆版,而且借助最新的Artifacts预览功能,能在窗口里直接看到应用效果。

Anthropic被视为OpenAI最有力的竞争对手之一,这次的动作无疑是精准狙击。Claude 3.5 Sonnet只是Claude 3.5系列的中杯型号,后续的Haiku和Opus预计在今年晚些时候登场。
值得注意的是,Anthropic演示视频中的示例用户名叫“Sam”——巧合还是致敬?这显然是在问候OpenAI的CEO Sam Altman。

官方地址:https://claude.ai/
01.生成2倍速,多项能力赶超GPT-4o
Claude 3.5 Sonnet在其公布的GPQA、MMLU、HumanEval等所有测评中,都超越了OpenAI的GPT-4o,仅数学能力得分略低于GPT-4o。

在AI搜索引擎创企Perplexity的试用评估中,Claude 3.5同样获得了优于GPT-4o的表现。Perplexity Pro已经集成了这个新模型。

在X平台,不少第三方测评团队也给出了试用结论。综合来看,Claude 3.5 Sonnet在推理、语言、编程、数据分析、数学和指令遵循方面,几乎成了“六边形战士”。

Claude 3.5 Sonnet不仅超过其已发最强模型Claude 3 Opus,在速度和成本方面,也与Anthropic的中端型号Claude 3 Sonnet旗鼓相当——运行速度是Claude 3 Opus的两倍,成本仅1/5。
在内部袋里编码评估中,Claude 3.5 Sonnet成功解决了64%的问题,而Claude 3 Opus仅为38%。拿到指导和相关工具后,它还能独立编写、编辑和执行代码,具备复杂的推理和故障排除能力。
有网友在X平台分享体验:仅仅25秒,Claude 3.5 Sonnet就帮他编写了一个功能完整的游戏程序。

02.最强视觉模型,多测评超GPT-4o,图表识别能力炸场
Claude 3.5 Sonnet也是Anthropic目前最强大的视觉模型。它在标准视觉基准测试中超越了Claude 3 Opus,尤其在解释图表和图形方面提升显著。此外,它还能准确从质量不高的图像中转录文本。
如下图所示,多项权威测评显示,Claude 3.5 Sonnet超过了GPT-4o和Gemini 1.5 Pro。

例如,它能快速识别PDF内容并输出折线图。

紧接着,如果被要求生成网页演示内容,Claude 3.5 Sonnet也能轻松胜任。

03.碘伏对话式协作,交互升级,四步编程并渲染游戏
Anthropic在Claude.ai上推出了Artifacts功能,这是一个预览窗口,让用户与Claude的互动更加直观。过去,AI对话是黑箱操作,现在用户提交需求后,生成的内容会实时出现在专用窗口中,用户可以查看、编辑、构建,并将AI成果融入自己的项目。
四步走就能搭建并预览一款游戏:
首先,输入文本让Claude 3.5 Sonnet生成特定大小和风格的角色。

然后,为类似风格的视觉要素编程。

紧接着,整个游戏页面搭建起来,代码生成过程一览无余。

最后,通过Artifacts模式,连游戏运行效果都能实时预览。
在X平台,有网友感叹:“这太疯狂了!工件+渲染窗口是最佳的编码方式。”

作为安全承诺的一部分,Anthropic已将Claude 3.5 Sonnet提供给英国人工智能安全研究所(UK AISI)进行部署前评估,并与美国人工智能安全研究所(US AISI)分享了结果。
Anthropic表示,保护隐私是模型开发的核心原则。除非用户明确允许,否则不会使用用户数据训练生成模型——到目前为止,他们确实没有用任何用户数据训练过模型。
04.结语:OpenAI劲敌出手,追击GPT-4o
Anthropic被视为OpenAI最强的竞争对手之一。Claude 3.5 Sonnet是Claude 3.5系列的首发产品,后续的Haiku和Opus预计今年晚些时候推出,等待狙击OpenAI的后招。
除了下一代模型系列,Anthropic还在开发支持企业应用的功能,包括与应用程序集成,以及探索“记忆”功能,让Claude记住用户偏好和交互历史,提供更个性化的体验。
