Anthropic、OpenAI等大厂，正计划每年投入10亿美元，教会AI像人类一样工作。他们不仅为AI提供强化学习环境（RL environment，简称gym），还让AI「偷师」各领域专家。OpenAI高管预言，未来「整个经济」，将在某种程度上变成一台「RL机器」。

AI正在接管白领工作吗？

今年5月，Anthropic CEO Dario Amodei曾表示：AI有可能在未来1—5年内消灭一半的入门级白领职位，并使美国失业率上涨到10—20%。

这场史无前例的岗位大替代，引发了普遍担忧。

有网友认为，白领职业，在未来3年内可能会大规模消失。

还有网友认为，受到AI冲击的，不只是底层或者入门级岗位，也包括管理职位。

Anthropic、OpenAI，以及全球顶尖AI实验室正在加速这场「AI风暴」的到来。

他们把大模型带进办公室，让其学习各种应用，比如：

Salesforce的客户关系管理软件；Zendesk的客户支持软件；Cerner的健康记录应用等。

目标是教会AI处理白领工作中一些繁琐、复杂的任务。

他们为这场AI训练，准备了数十亿美元级别的投入。

一年投入10亿美元，教AI像人类一样工作

据透露，Anthropic、OpenAI等大厂，已经为AI准备了每年10亿美元的「专项资金」，用于教会AI像人类一样工作：

Anthropic领导层计划在未来一年，为克隆版企业应用投入10亿美元，它们被称为强化学习环境（RL环境）。

OpenAI也计划今年在数据相关方面投入10亿美元，包括向人类专家支付的报酬以及RL环境费用，并预测到2030年这一数字将增至80亿美元。

这些AI「教育费用」，还在不断上升。

如果这些方法成功，不久将有望帮助OpenAI、Anthropic突破近期在采用传统训练技术时遇到的一些瓶颈。

而且，还可以为它们开辟新的变现路径，比如销售职场软件，接管人类电脑并代其操作应用的AI智能体（agent），利用AI开发热门企业应用的新版本等。

Anthropic CEO Dario Amodei曾将这类产品称为「虚拟协作伙伴」，称它们可以与人类并肩工作，并使用与人类相同的应用。

但要实现起来，仍然是困难重重。

Turing的前沿数据项目负责人Anshul Bhagi指出了其中的诸多繁杂细节。

比如，要教会AI处理客户关系管理，不仅要教会它在Salesforce上搜索潜在客户，找出最有潜力的线索/客户并发送跟进邮件预约初次会面，还要教会它如何使用LinkedIn、Calendly、Gmail等应用。

为了验证任务完成情况，Turing还会把整体任务拆分为更小的步骤，并创建一套评估标准（rubric），来检查AI模型是否正确地执行了每一步。

以Salesforce应用为例，这套评估标准可能包括的检查点有：

模型是否已按上次联系日期筛选了Salesforce数据库；

是否发送了带有Calendly链接的电子邮件；

是否将潜在客户的线索状态更新为「重新接洽」（re-engaged）等。

虽然以上工作仍处于早期，但各个AI实验室似乎准备为此投入大量资金。

据专业人员分析，目前，Anthropic在后训练阶段（在初始训练之后，用于改进模型的后期微调、优化等）的预算中，用于RL环境的比例不到10%。

有投资人表示，按照目前趋势，最早到明年，在后训练预算中对RL环境的投入可能会提高到更高的比例。

其中一个因素是雇用人类专家的成本越来越高。

为OpenAI等公司提供专家服务的Labelbox，曾在7月份表示，其大约20%的专家合同工时薪超过90美元，近10%的时薪超过120美元。

Labelbox预计，在接下来的一年半时间里，这两类专家的报酬将上升到每小时150—250美元。

「RL环境」，构建让AI学习的「真实世界」

据Turing CEO Jonathan Siddharth称，他们已经构建了超过1,000个RL环境，包括Airbnb、Zendesk和Microsoft Excel的复制版。

Turing计划将这些RL环境出售给客户，并配套提供100—500个示例任务，供AI模型在模拟应用中尝试，以及用于验证模型是否正确完成任务的方法。

近几个月来，在RL环境服务领域，Turing的竞争对手，如Scale、Surge、Mercor和Invisible Technologies都加入了进来，还有一些新创公司专门向大型AI开发者销售RL环境。

Surge创始人兼CEO Edwin Chen认为，OpenAI、Anthropic改进模型的方法「映照了人类的学习方式」。

对于模型来说，RL环境就好比让模型「置身真实世界」。

除了RL环境，AI开发者在强化学习过程中，还会通过让模型学习精心整理的难题答案示例，比如竞赛编程问题或博士级生物学问题，来向模型教授该领域的新技能或知识。

AI训练，正在「偷师」各领域专家

随着AI模型能力的提升，数据标注公司雇佣的人群，已经从攻读硕士和博士的学生，转向在细分领域拥有多年经验的在职专业人士。

看看近期Turing的一份雇佣专家清单：

一名NASA的数据科学家

一名为能源部项目工作的化学家

一名放射科住院医师

一名在私募股权工作的副总裁

他们的职责是使用特定应用完成真实世界任务，以供AI观摩学习。

Bhagi举例说，某家AI公司可能想教模型了解，在一个Excel文件中，税率假设的变化，会如何影响折现现金流（DCF）分析的其余部分。

为了教会AI这一点，首先，Turing会要求其合同工解决这道DCF问题，并得到一个可用于核对准确性的单一答案，例如一个股价。

随后，开发者可让模型对同一DCF任务尝试数十次，筛选出其与人类专家得出相同股价的实例，用作正确示例来训练模型。

这样，模型开发者就能快速拿到更多该任务的正确示例用来训练AI。

如今，OpenAI等顶尖AI公司，都在积极从各行各业收集类似的示例，无论是医学，还是法律，均在此列。

随着AI对于各领域专业知识的学习，OpenAI的一位高级管理人员曾私下表示，他们预计未来「整个经济」，将在某种程度上变成一台「RL机器」。

AI可能会基于这些记录来训练，而这些记录呈现了各领域专业人士如何在其设备上处理日常工作。

当AI学习到了各领域的专业知识以及如何使用职场应用，下一步可能就是逐步接管各行各业的人类工作岗位。

你做好准备了吗？

参考资料：

https://www.theinformation.com/articles/anthropic-openai-developing-ai-co-workers?rc=epv9gi