Claude主动打开了Google搜索引擎，自动开始了搜索任务。

金门大桥距离用户居住地究竟有多远？Claude会自主打开地图应用，查询并计算具体距离。

在获取所需信息后，它随即打开了日历应用，为主人妥善安排好了日程规划。

自动编码构建网站

开发者展示了Claude如何操控自己的笔记本电脑，流畅地完成了一个网站编程任务。

首先，Claude在开发者的Chrome浏览器中导航至Claude.ai，并让Claude为自己生成一个90年代风格的个人主页。

只见它自行输入网址，键入提示指令，向另一个Claude实例发送请求。

Claude.ai返回了一些代码，渲染后的页面效果看起来相当不错，但开发者希望在自己电脑的本地环境中对网站进行进一步修改。

于是，他指示Claude下载文件，然后在VS Code中将其打开。Claude顺利完成了这些指令操作。

接着，开发者让Claude启动一个服务器，以便在浏览器中实际预览这个文件。

Claude打开了VS Code终端，尝试启动服务器，但却遇到了错误：系统并未安装Python环境。

结果，通过查看终端输出信息，Claude自主发现了这个问题！它改用Python 3再次尝试，并成功运行起了服务器。

不过，终端输出中仍存在一个错误，且页面顶部还缺少一个文件图标。开发者请Claude识别这个错误，并在文件中进行修复。

令人惊喜的是，Claude在VS Code中精准定位到了引发错误的代码行，直接删除了整行代码，随后保存文件并重新启动了网站。

这次，网站运行完全正确！

自动搜索数据并填写表格

假设我们需要填写一份来自「蚂蚁设备公司」的供应商请求表，但所需填写的数据分散在电脑的各个角落，Claude能协助我们完成吗？

只见它开始截取开发者的屏幕截图，并迅速发现：「蚂蚁设备公司」并未出现在表格选项中。

这时，它立即切换到CRM系统，去搜索这家公司。找到相关信息后，它开始滚动页面，查找填表所需的所有数据，并最终提交了表格。

这意味着，我们工作中许多不得不做的繁琐事项，都可以交由Claude代劳了！

目前，这项功能已经在API中开放使用。

现在，Asana、Canva、Cognition、DoorDash、Replit和The Browser Company等多家知名企业，正在积极探索Claude的新潜力，使其能够执行数十步乃至数百步的复杂任务。

例如，Replit正利用Claude 3.5 Sonnet的计算机使用和用户界面导航能力，为Replit Agent开发功能，在构建应用程序的过程中对其进行实时评估。

性能远低于人类，但未来可期

全新升级后的Claude 3.5 Sonnet，其电脑使用能力究竟如何？

在OSWorld测试中，它在仅基于屏幕截图的任务类别中得分为14.9%，显著超越了排名第二的AI系统（7.8%）。

当允许更多操作步骤来完成任务时，Claude的得分提升至22.0%。

这表明，模型与环境的多次交互能够有效优化任务性能。

虽然这一结果相比之前有了大幅提升，但仍然远低于人类72.36%的表现水平。

这也暗示了，Claude 3.5 Sonnet未来还有着巨大的改进空间。

毕竟，人类毫不费力就能完成的一些操作（如滚动、拖动、缩放），目前对于Claude来说仍极具挑战性。

升级版Claude 3.5 Sonnet：编码能力超越o1

在各项行业基准测试中，升级版Claude 3.5 Sonnet的性能得到了全方位提升。

特别是在智能体编码和工具使用任务中，取得了显著突破。

论文地址：https://assets.anthropic.com/m/1cd9d098ac3e6467/original/Claude-3-Model-Card-October-Addendum.pdf

在编码能力方面，它在SWE-bench Verified测试中的性能从33.4%大幅跃升至49.0%。

这超越了所有公开可用的模型——包括OpenAI o1-preview等推理模型以及专为智能体编码设计的专门系统。

此外，在TAU-bench（一项评估智能体工具使用能力的基准测试）中，Claude 3.5 Sonnet同样表现出色：

从下表中可以看出，在推理测试基准GPQA（Diamond）上，新版Claude 3.5 Sonnet大幅超越了GPT-4o。

在视觉问答、数学推理、文档视觉问答、图表问答、科学表格基准测试中，Claude 3.5 Sonnet的性能成为了业界新标杆。

值得一提的是，新版Claude 3.5 Sonnet在性能突破的同时，仍保持了与前代模型相同的价格和运行速度。

一些早期测试用户的反馈，进一步印证了升级后Claude 3.5 Sonnet在AI驱动编码领域实现了「质」的飞跃。

GitLab：在DevSecOps任务测试中发现，Claude 3.5 Sonnet在不增加延迟的前提下，推理能力显著提升（各用例最高提升10%），使其成为驱动复杂软件开发流程的理想选择。

Cognition：将新版Claude 3.5 Sonnet应用于自主AI评估，在编码、规划和问题解决等方面，相较前代模型均取得了实质性进步。

The Browser Company：在使用该模型自动化网络工作流程时发现，Claude 3.5 Sonnet的表现超越了他们此前测试过的所有模型。

此外，在安全部署前，Claude 3.5 Sonnet已经在美国AI安全研究所（US AISI）和英国安全研究所（UK AISI）进行了联合测试。

而且，经过自身评估，Anthropic在「Responsible Scaling Policy」中制定的ASL-2标准仍然适用于新模型。

如前所述，升级版的Claude 3.5 Sonnet现在已经可以在网页和终端APP上使用。

API的定价起始为每百万输入Token 3美元，每百万输出Token 15美元。

通过使用智能缓存技术可节省高达90%的成本，而使用批处理API则可节省50%的成本。

应用场景

Claude 3.5 Sonnet能够理解细微的指令和上下文，识别并纠正自身错误，还能从复杂数据中生成深入的分析和洞察。结合最先进的编码、视觉识别和写作能力，Claude 3.5 Sonnet可以被应用于各种场景。

– 模拟人类操作电脑：通过API集成Claude，开发者可以指导Claude像人类一样使用电脑——通过观察屏幕、移动鼠标、点击按钮和键入文字。Claude 3.5 Sonnet是首个能够以这种方式可靠使用电脑的前沿AI模型，虽然目前在公开测试阶段仍具实验性质，但其能力会随时间持续提升。

– 代码自动生成：Claude 3.5 Sonnet可以协助整个软件开发生命周期——从初始设计到错误修复，从系统维护到性能优化。可以直接将其集成到产品中，或通过Claude.ai平台将其用作智能编码助手。

– 智能对话系统：凭借增强的推理能力和亲和、自然的语气，Claude 3.5 Sonnet非常适合开发需要跨系统连接数据并执行操作的智能对话系统。

– 智能知识问答：Claude 3.5 Sonnet具有大规模上下文处理能力和极低的幻觉率，使其成为处理大型知识库、文档和代码库问答任务的理想选择。

– 视觉信息提取：Claude 3.5 Sonnet能够轻松从图表、图形和复杂示意图等视觉材料中提取信息——这使其成为数据分析和数据科学任务的理想人工智能模型。

– 流程自动化：Claude 3.5 Sonnet能够实现重复性任务或流程的自动化。它具备业界领先的指令执行能力，能够处理复杂的流程和操作。

全新Claude 3.5 Haiku：智能超越上代老大哥

从上一代对标来看，Claude 3.5 Haiku无疑是「最小杯」型号。

这是Anthropic速度最快的模型。

它不仅保持了与Claude 3 Haiku相同的运行成本和相近的处理速度，还在各项技能上实现了全面提升。

甚至，在多项智能基准测试中，Claude 3.5 Haiku超越了上一代最强大的模型Claude 3 Opus。

同样，Claude 3.5 Haiku在编码任务上的表现尤为卓越。

例如，在SWE-bench Verified测试中，它取得了40.6%的高分，超越了许多使用公开可用的最先进模型的AI智能体——包括原始版本的Claude 3.5 Sonnet和GPT-4o。

Claude 3.5 Haiku具备三大突出优势：一是低延迟响应，二是更精准的指令执行能力，三是更准确的工具使用。

这些特性使得模型特别适用于面向用户的产品开发、专门的子智能体任务处理，以及基于海量数据（如购买记录、价格信息或库存数据）生成个性化体验。

本月末，Claude 3.5 Haiku将在多个平台上推出，包括Anthropic API、Amazon Bedrock和谷歌云的Vertex AI。（最初会以纯文本模型形式推出，随后会加入图像输入功能）

Claude 3.5 Haiku的定价起始为每百万输入Token 0.25美元，每百万输出Token 1.25美元。

通过使用提示词缓存技术可节省高达90%的成本，而使用消息批处理API则可节省50%的成本。

应用场景

凭借快速的处理速度、改进的指令执行能力和更准确的工具使用，Claude 3.5 Haiku非常适合面向用户的产品、专门的辅助任务，以及从海量数据中生成个性化体验。

– 代码自动补全：Claude 3.5 Haiku能够提供快速、准确的代码建议和补全，有效加速开发工作流程。特别适合那些希望简化编码过程并提高生产力的软件开发团队。

– 智能聊天机器人：借助增强的对话能力和快速的响应时间，Claude 3.5 Haiku在驱动能处理大量用户互动的响应式聊天机器人方面表现出色。对于需要可扩展互动能力的客户服务、电子商务和教育平台来说，它尤其有价值。

– 数据提取和自动标注：Claude 3.5 Haiku能高效处理和分类信息，在快速数据提取和自动标注任务中表现优异。这一能力对于需要处理金融、医疗保健和研究领域大量非结构化数据的组织特别有用。

– 自动实时内容审核：Claude 3.5 Haiku通过其改进的推理和内容理解能力，提供可靠、即时的内容审核服务。这对于那些需要大规模维护安全、适当内容的社交平台、在线社区和媒体组织来说极具价值。

如何教会Claude操作电脑

Anthropic表示，人类轻松执行的操作——滚动、拖拽、缩放，目前对Claude来说仍然很有挑战性。

而对于垃圾邮件、虚假信息、欺诈这类风险，公司正在寻找安全部署的策略，例如开发了识别系统，用于检测是否发生危害。

研究过程

Anthropic在工具使用和多模态方面的工作，为AI识别和解释图像奠定了基础。

在此基础上，Claude还需要推理如何以及何时根据屏幕内容执行操作。

为此，研究者训练Claude准确计算像素，从而完成命令，因为它必须计算出需要垂直或水平移动鼠标指针多少像素，才能点击正确的位置。

在此期间，Claude迅速将学习成功从计算器和文本编辑器这类简单软件的训练中，迁移到了其他应用（注意，训练期间不允许联网）。

这种训练让它能将用户指令转化为一系列逻辑步骤，并执行操作。遇到障碍时，甚至还能自我纠正并重试任务。

小插曲

Anthropic开发者关系主管Alex Albert还分享了团队在开发计算机使用功能时的一个有趣故事。

当时，他们举行了一场工程师的bug bash（漏洞排查活动），以确保发现API所有潜在的问题。

这意味着，要把一群工程师关在一个房间里几个小时。当时，恰好大家都饿了。其中一位工程师灵机一闪，「不如让Claude来个实战演习，自主打开DoorDash帮我们订餐」。

没想到，大约一分钟后，Claude为工程师们订来了披萨。

展望未来

AI操作电脑的能力代表了一种全新的人工智能开发方法。

迄今为止，LLM开发者一直在努力使工具适应模型，创造特殊的环境，让AI使用专门设计的工具来完成各种任务。

但现在，Anthropic选择「反其道而行之」——他们让模型去适应工具。也就是说，Claude能像人类一样，融入我们日常使用的计算机环境，直接使用现有的软件。

虽然Claude已经达到了当前的最高水平，但它的操作仍然相对缓慢且容易出错。日常使用电脑时的许多操作，如拖拽、缩放等，Claude目前都还无法做到。

此外，Claude观察屏幕的方式类似于快速翻阅一本「画册」——通过连续截图并拼接在一起，而不是观察连续的视频流。这意味着它可能会错过一些短暂的动作或通知。

有趣的是，Anthropic在录制Demo时，还遇到了一些小插曲。例如，在一次演示中，Claude不小心点击停止了一个长时间运行的屏幕录制，导致所有录像都付诸东流。而在另一次编码演示中，Claude则突然「走神」，开始饶有兴趣地浏览起黄石国家公园的照片。

总之，Claude如今的表现让人对未来充满期待：AI操作电脑的能力将飞速进步，到那时，即便是软件开发小白也能轻松使用它。