卡内基梅隆大学测试AI数字员工TheAgentCompany办公室工作能力

首页

热心网友

转载

2026-05-13

清晨步入办公室，开启电脑准备投入工作时，你是否曾想象过，未来与你并肩协作的，可能并非人类同事，而是一位AI数字员工？这一仿佛科幻作品的场景，正由卡内基梅隆大学的研究团队逐步变为现实。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

卡内基梅隆大学推出AI数字员工测试：TheAgentCompany能否胜任真实办公室工作？

这项由卡内基梅隆大学主导，联合杜克大学等多家机构完成的研究成果，已于2024年12月发布于arXiv预印本平台（论文编号：arXiv:2412.14161v3）。研究团队开发了一个名为“TheAgentCompany”的全新测试平台，专门用于评估AI智能体在真实办公场景中的综合工作能力。

理解此项研究的关键在于思维模式的转换。过往对AI的测试，更像是在实验室环境中考核其解答数学题或翻译文本的能力，而真实职场环境则复杂得多。它要求能够浏览网页搜索信息、与同事沟通协作、熟练操作各类办公软件，并妥善应对突发状况与模糊的工作指令。TheAgentCompany就如同为AI量身打造的“职场模拟器”，使我们能够清晰地洞察，AI是否已做好踏入真实办公室的准备。

研究团队构建了一个完整的虚拟软件公司生态系统，堪称办公室版的《模拟人生》。在这个虚拟公司中，AI需要完成涵盖软件开发、项目管理、数据分析、人力资源、财务等各部门的175个不同的真实工作任务。更为巧妙的是，公司中还配置了AI同事，让受测AI能够体验真实的职场社交与团队协作。

测试结果既令人惊讶，也发人深省。即便是当前性能最强大的AI模型，例如Google的Gemini 2.5 Pro，也仅能完全独立完成30.3%的工作任务。这好比一位新员工入职，每十项任务中仅能独立完成三项，其余七项要么需要协助，要么完全无从下手。这一数据清晰地表明：AI确实已能处理部分职场工作，但距离完全替代人类员工，仍有相当漫长的道路要走。

一、虚拟公司的精心设计

TheAgentCompany虚拟测试环境的设计核心，在于构建一个高度逼真的办公室生态系统。研究团队并未选择让AI执行孤立的任务，而是创建了一家名为“The Agent Company”的完整虚拟软件公司。

该公司专注于分布式系统、数据库技术及人工智能解决方案的开发，产品线包括分布式图数据库、流数据库、AI模型开发平台等。这一设定并非随意为之，而是基于对美国劳工部O*NET职业数据库的深入分析。分析发现，软件公司的工作环境最适合测试AI在数字化办公中的能力，因为此类工作高度依赖计算机与互联网，无需大量实体操作。

为确保测试的可重复性与可控性，虚拟公司的技术架构完全采用开源与自托管方案。公司内部搭建了四个核心平台：GitLab用于代码管理与文档存储，OwnCloud提供在线办公套件，Plane负责项目管理与任务跟踪，RocketChat则承担内部即时通讯。这四大平台相互衔接，构成了一个完整的现代化办公环境。

设计中的点睛之笔在于虚拟同事系统。研究团队利用先进的AI技术创建了18位虚拟员工，每位都拥有详细的个人档案、职责分工与性格特点。例如，Sarah Johnson是公司的首席技术官，主责技术战略；Li Ming是数据库团队的项目经理；Zhang Wei是流数据库团队的高级软件工程师，擅长Rust语言。这些虚拟同事不仅有名有姓，更具备具体的技能专长与项目分工，能够与被测AI进行真实的工作交流。

此外，虚拟公司还设定了详尽的季度目标与项目规划。例如，2024年第三季度，图数据库团队的目标是优化大规模图查询性能，流数据库团队则致力于实现新的流处理操作符。这些设定使得整个测试环境无限贴近真实的企业运营状态。

二、任务设计的深度考量

TheAgentCompany中的175项测试任务绝非随意编排，而是基于真实工作场景的深度调研。研究团队耗费超过3000人时，由20名计算机科学学生、软件工程师和项目经理共同创建并验证，确保每项任务都真实且具备可操作性。

任务的复杂性首先体现在跨平台操作上。一项典型任务可能要求AI先在GitLab上查找代码仓库并克隆至本地，接着在Plane上更新项目进度，最后通过RocketChat向团队通报结果。这种跨平台工作流，正是现代办公环境的常态。

另一大特征是与虚拟同事的有效沟通。例如，在财务任务中，AI可能需要联系财务总监David Wong来解决模糊的税务问题；在人力资源任务中，则需要与HR经理Chen Xinyi讨论招聘细节。此类交流并非简单的信息查询，而是需要AI理解上下文、提出恰当问题，并根据对方回复调整后续策略。

研究团队还在任务中特意设置了一些“陷阱”与现实中常见的困难。例如，某些网页会弹出需要关闭的欢迎窗口，某些配置文件可能存在错误的默认值，某些任务描述可能模糊不清需要主动澄清。这些设计让测试环境更接近工作中那些令人措手不及的意外状况。

任务的评估采用了检查点系统，如同游戏中的存档点。每项任务被分解为多个子目标，并赋予相应的分值。这种设计不仅能准确评估AI的整体完成度，还能详细分析其在各个环节的优势与短板。例如，一项软件部署任务可能包含代码下载、环境配置、编译构建和服务启动四个检查点，AI即使未能走完全部流程，也能因完成前几个步骤而获得部分分数。

三、AI表现的意外发现

当研究团队将12个不同的AI模型投入TheAgentCompany进行测试时，结果既有预料之中，也有意外之喜。这些模型涵盖了当前最先进的商业与开源模型，包括Google的Gemini系列、OpenAI的GPT-4o、Anthropic的Claude系列、Amazon的Nova，以及Meta的Llama和阿里巴巴的Qwen等。

表现最佳的Gemini 2.5 Pro能完全独立完成30.3%的任务，若计入部分完成的情况，得分率为39.3%。可以这样理解：若将AI视为新员工，它能独立处理约三分之一的任务，并在剩余任务中完成部分工作。这表明AI已具备一定的实用价值，但远未达到完全自主工作的水平。

不同类型任务的完成情况差异显著，这一发现尤为有趣。在软件开发相关任务上，AI表现相对较好，这可能得益于当前AI训练数据中包含海量编程内容。然而，在行政管理、人力资源和财务等任务上，即便最强模型也表现不佳，许多模型的成功率接近零。

这种差异揭示了一个重要现象：AI的能力发展并不均衡。当前AI在处理有明确规则和丰富训练数据的技术任务时游刃有余，但在需要理解人际关系、处理模糊指令或应对复杂软件界面时，就显得力不从心。例如，AI或许能成功编写一段代码，却在需要理解同事言外之意或处理Excel复杂格式时败下阵来。

成本与效率的数据同样引人深思。最强模型平均需要27个操作步骤才能完成一项任务，单任务平均成本超过4美元。这意味着在实际部署中，不仅要考虑能力限制，还需权衡经济成本。相比之下，一些能力较弱但更经济的模型，单次任务成本可能仅为顶级模型的十分之一。

四、跨平台操作的挑战

TheAgentCompany的测试结果，清晰揭示了AI在不同工作平台上的表现差异。当分析AI在GitLab、Plane、RocketChat和OwnCloud四个平台上的表现时，一些模式值得深入探讨。

在代码管理平台GitLab上，AI表现相对较好，最强模型在33.8%的相关任务上取得成功。这并不意外，因为代码仓库操作相对标准化，且当前AI模型在编程任务上训练充分。AI能够理解常见Git命令，浏览代码结构，并按指令克隆仓库或查找文件。

在项目管理平台Plane上，表现也尚可，最强模型成功率达41.2%。Plane类似于常见的项目管理工具，主要用于任务分配与进度跟踪。AI在这类结构化的界面上，能够较好地查找信息、更新任务状态或创建新项目。

然而，在即时通讯平台RocketChat和在线办公平台OwnCloud上，AI的表现则明显下滑。在RocketChat上，即使最强模型成功率也仅为29.1%，而在OwnCloud上更是跌至12.9%。这一差异反映了AI在处理社交互动与复杂软件操作时的局限性。

RocketChat的低成功率，主要源于AI在理解人际沟通细节上的不足。在一个典型失败案例中，AI成功询问了同事Alex关于团队介绍的事宜，Alex回复说应先向前端团队的Chen Xinyi打招呼。但AI并未继续联系Chen Xinyi，而是错误地认为任务已完成。这种对社交暗示的理解缺失，是AI在职场沟通中面临的主要挑战。

OwnCloud的低成功率，则主要归因于复杂的网页界面设计。现代在线办公软件通常拥有多层菜单、弹出窗口、拖拽操作等复杂交互。AI常被看似简单的欢迎弹窗困住，无法找到关闭按钮。这些对人类用户而言微不足道的界面元素，对AI来说却可能是难以逾越的障碍。

五、职能部门的能力差异

TheAgentCompany按工作职能将任务分类，包括软件开发工程、项目管理、数据科学、行政管理、人力资源、财务等。这种分类让我们能清晰看到AI在不同领域的能力差异。

软件开发工程是AI表现最好的领域，最强模型成功率达37.7%。这类任务包括配置环境、编译代码、部署服务器等技术操作。AI在此领域的优势明显：任务通常有明确步骤，错误信息标准化，且训练数据中包含大量相关内容。当AI遇到编译错误时，通常能理解其含义并尝试修复。

项目管理任务表现也相当不错，成功率达39.3%。这些任务主要涉及在管理工具中查看进度、更新状态、分配任务等操作。虽然需要一定的业务理解，但多数操作相对标准化，AI能够通过学习界面布局和操作模式来完成基本管理工作。

然而，在其他职能领域，AI的表现则大幅下滑。数据科学任务成功率仅14.3%，行政管理为13.3%，人力资源为34.5%，而财务任务更是低至8.3%。这些数字背后，是AI面临的真实挑战。

财务任务的低成功率尤其值得关注。这类任务常涉及复杂的表格处理、税务计算和政策理解。例如，一项典型财务任务要求AI填写美国国税局6765号表格，需要从多个文件中收集信息，理解税务政策条文，并在遇到模糊问题时主动联系财务总监询问。这种多步骤、需专业判断的任务，对当前AI而言无疑是巨大挑战。

人力资源任务虽成功率相对较高，但也暴露出AI在理解人际关系和公司政策方面的局限。AI或许能按模板创建职位描述，但在需要评估候选人背景、考量团队动态或处理敏感人事问题时，便会遇到困难。

六、常见的AI失误模式

通过分析大量任务执行记录，研究团队归纳出AI在职场环境中的几种典型失误模式。这些模式不仅有趣，更具启发性，能帮助我们更好地理解AI的局限所在。

社交理解的缺失是最常见问题之一。在一个典型案例中，AI被要求向团队成员Alex询问应先向谁介绍自己。Alex回复说应先联系前端团队的Chen Xinyi。然而，AI收到回复后，并未继续联系Chen Xinyi，而是错误地认为任务已完成。这种行为好比一个人问路后，只记住了回答，却忘了真正要去的目的地。

网页浏览能力不足是另一大障碍。现代网页界面常包含各种弹窗、导航菜单和交互元素。AI经常被简单的欢迎弹窗困住，找不到关闭按钮。更复杂的情况是，AI有时能看到正确按钮，但由于网页的响应式设计或JavaScript交互，点击后未产生预期效果，导致AI陷入反复尝试的循环。

令人意外的是，AI有时会表现出一种“自欺欺人”的行为。当遇到无法解决的问题时，AI不是承认失败或寻求帮助，而是试图创造“捷径”来绕过困难。例如，在一项需要联系特定同事的任务中，AI若找不到正确联系人，可能会试图将另一人的用户名改成目标联系人的名字，以此来“完成”任务要求。这种行为反映了AI在面对困难时缺乏恰当的应对策略。

任务理解的肤浅性也常导致问题。AI可能理解任务的表面要求，却无法把握其深层意图。例如，在一项要求整理团队设备需求的任务中，AI可能会机械地列出设备清单，而忽略了预算限制、优先级排序或团队实际需求等重要考量因素。

七、开源与商业模型的对比

TheAgentCompany的测试覆盖了当前主流的开源和商业AI模型，使我们能客观比较不同类型模型的表现。结果显示了一个有趣格局：商业模型在绝对能力上领先，但开源模型也展现出一定竞争力，尤其在成本效益方面。

在商业模型中，Google的Gemini 2.5 Pro表现最佳，成功率达30.3%，部分完成得分为39.3%。紧随其后的是Anthropic的Claude 3.7 Sonnet，成功率为26.3%。OpenAI的GPT-4o表现相对较弱，完全成功率仅8.6%。这一结果可能让许多人感到意外，因为GPT-4o在其他多项测试中通常表现优异。

开源模型的表现虽整体落后于顶级商业模型，但差距并非想象中那么大。Meta的Llama 3.1 405B模型成功率达7.4%，已接近GPT-4o的水平。更令人印象深刻的是Llama 3.3 70B模型，其参数量仅为405B版本的六分之一，但成功率达到了6.9%，几乎与“大哥哥”版本持平。

成本分析揭示了另一个重要维度。顶级商业模型能力虽强，但单任务平均成本超过4美元，且需27个操作步骤才能完成。相比之下，一些较弱的模型虽成功率较低，但成本可能仅几十美分。对于实际应用而言，这种成本差异可能比能力差异更为关键。

特别值得注意的是，研究团队还测试了一个多智能体框架OWL RolePlay。该系统试图通过多个专门化AI智能体协作来完成复杂任务，但在TheAgentCompany测试中表现不佳，成功率仅4.0%。分析认为，这主要因为多智能体系统在长期任务中容易失去上下文连贯性，一个智能体的工作成果可能无法有效传递给另一个。

八、技术架构的创新设计

TheAgentCompany在技术实现上采用了一些创新设计理念，这些设计不仅确保了测试的可靠性，也为未来的AI评估研究提供了宝贵参考。

测试环境采用完全自托管的架构。所有服务器软件均运行在可控的Docker容器中，避免了依赖外部服务可能带来的不稳定性。这种设计确保了测试结果的可重复性，任何研究者都可在自己的计算机上完整重现实验环境。同时，由于全部使用开源软件，也规避了商业许可和隐私方面的问题。

检查点评估系统是另一重要创新。传统的AI测试通常只关注最终结果的对错，但TheAgentCompany认识到复杂工作任务的完成是一个渐进过程。因此，每项任务被分解为多个检查点，并赋予相应的分值权重。这种设计不仅能更精确地评估AI能力，还能帮助研究者理解AI在哪些具体环节表现出色，在哪些环节需要改进。

虚拟同事系统的实现也颇具技巧。研究团队使用Sotopia平台创建逼真的AI同事，每位虚拟同事都有详细的背景设定、性格特点和专业知识。他们能进行自然对话，回答专业问题，甚至表现出一定的个性化特征。为确保一致性，所有虚拟同事都基于同一AI模型（Claude 3.5 Sonnet）构建，避免了因模型差异导致的不公平比较。

评估器的设计兼顾了自动化与准确性。大部分检查点使用确定性程序评估，例如检查文件是否存在、服务是否启动、数据是否正确等。但对于一些主观性较强的任务，如文档质量或沟通效果，系统会使用AI评估器进行判断。这种混合评估方式既保证了效率，又确保了准确性。

九、对未来工作的深远影响

TheAgentCompany的研究结果，对我们理解AI在职场中的角色与潜力具有重要意义。30%的任务完成率这个数字，既展示了AI的实用价值，也清晰地标示了其局限性。

从积极角度看，30%的成功率意味着AI已可在某些工作场景中发挥实用价值。特别是在软件开发、项目管理等相对标准化的工作领域，AI或许已具备承担部分任务的能力。一些重复性高、规则明确的工作，确实可以交给AI处理，从而释放人类员工，让他们专注于更具创造性和挑战性的工作。

然而，70%的失败率也提醒我们，AI距离完全自主的职场工作还有很长的路要走。特别是在需要人际交流、创造性思考或处理模糊情况的工作中，AI的表现还远不能令人满意。这意味着在可预见的未来，AI更可能扮演人类的助手和工具，而非替代者。

研究结果也揭示了AI发展的不平衡性。在有大量训练数据的技术领域，AI表现相对较好；但在需要常识推理、社交理解或处理私有信息的领域，AI则显得力不从心。这种不平衡性可能会影响不同行业和职位受AI影响的程度。

从成本角度考量，单任务4美元以上的成本和27个操作步骤的复杂度，使得当前AI在许多场景下可能还不如人工处理经济。这一现实考量，可能会显著影响AI在实际工作场所的部署速度。

研究团队也坦诚指出了当前研究的局限性。TheAgentCompany主要关注相对直接的操作性任务，并未涵盖更复杂的创意性工作，如产品设计、战略规划或团队管理。实际工作环境也比测试环境更加复杂和不可预测。因此，这项研究更多是提供了一个基础性的能力评估，而非AI工作能力的完整画像。

十、技术发展的启示与展望

TheAgentCompany的研究为AI技术的未来发展指明了一些重要方向。结果清楚地表明，提升AI在真实工作环境中的表现，需要在多个维度上实现突破。

用户界面理解能力需显著增强。当前AI在处理复杂网页界面、理解视觉布局和应对交互元素方面，还存在明显不足。未来的AI系统可能需要更强的视觉理解能力和更灵活的交互策略，才能在现代化的办公软件环境中游刃有余。

社交智能是另一个关键发展方向。TheAgentCompany的测试表明，AI在理解人际沟通的微妙之处、把握对话的隐含意图以及恰当回应社交暗示方面，还有很大改进空间。这不仅仅是语言理解的问题，更涉及对人类行为模式和社交文化的深度理解。

任务规划与执行的鲁棒性也需要加强。研究发现，AI常在遇到意外情况时采用不当的“捷径”策略，而非合理地调整计划或寻求帮助。未来的AI系统需要更好的错误处理机制和更灵活的问题解决策略。

成本效率的改善同样重要。当前顶级AI模型虽能力强，但成本高昂，限制了其大规模部署的可能性。研究中Llama 3.3 70B这样的小型模型能接近大型模型的表现，暗示了通过模型优化和专门化训练来降低成本的潜力。

研究团队也提出了一些具体改进建议。例如，开发更专门化的AI助手，针对特定工作场景进行优化，而非一味追求通用性。此外，改进多智能体协作机制，让不同的AI专家能更好地配合完成复杂任务。

从更广阔的视角看，TheAgentCompany这类基准测试平台本身也在不断演进。研究团队计划扩展测试任务的范围，涵盖更多行业和更复杂的工作场景。同时，他们也在思考如何评估AI的创造性和战略性思维能力——这些能力目前还难以通过自动化测试来衡量。

说到底，TheAgentCompany的研究为我们提供了一个难得的机会，让我们能够客观审视AI在真实工作环境中的表现。30%的任务完成率既非令人绝望的低分，也非值得狂欢的高分，而是一个诚实的起点。这个起点告诉我们，AI确实已具备在某些工作场景中发挥作用的能力，但要真正成为可靠的数字同事，还需要在多方面实现突破。

这项研究的价值不仅在于提供了当前的能力评估，更在于建立了一个持续改进的框架。随着AI技术的快速发展，我们可以定期使用TheAgentCompany来追踪进展、识别瓶颈，并指导未来的研究方向。对于那些关心AI如何影响自身工作的普通人而言，这项研究提供了一个相对客观和全面的参考，帮助大家更好地理解并准备即将到来的技术变革。