游乐游手机版
首页/AI热点日报/热点详情

Codex大更新:你的电脑操作正在成为AI训练经验包

类型:热点整理2026-06-22
Codex推出Record&Replay功能,可录制用户在Mac上的操作并生成可复用技能。AI通过观察学习重复性任务,如报销、发视频等,下次可独立执行。该功能需开启ComputerUse,目前仅支持macOS。人正从软件操作者转变为AI能力的训练者。

「学徒」模式上线,Codex 开始复制你的工作流

当你坐在电脑前进行操作时,身边有一位无声的观察者在全程紧盯——你点击哪里它就看哪里,你填写什么它就记录什么。等你完成后,它会说:下次这份工作交给我来处理。

这正是 Codex 最新推出的重磅功能:Record & Replay,中文可称为“录制与复现”。

你只需完整演示一遍操作流程,Codex 便在一旁观察学习,然后将整套步骤打包成一个技能(skill)。下次遇到相同任务时,只需开启新对话,调用该技能,并告知它这次有哪些不同之处——剩下的部分,它会自动处理完成。

图形界面,这个原本为了让人类摆脱命令行而诞生的伟大发明,如今正逐步成为 AI 接管电脑的理想基础设施。

当然,并非所有任务都适合这种方式。Record & Replay 主要针对那些重复性强、依赖个人偏好、难以用语言描述但做一遍就能理解的流程。适用场景包括:报销处理、停车位预订、正确配置的 issue 创建、视频发布、周期性报表拉取等。

这些任务的共同特点在于:要么步骤固定且繁琐,要么隐藏着只有你自己才熟知的隐性规则——比如文件命名规范、某个字段的默认值、遇到分支节点时的选择方向。如果要用文字逐条写清楚交给 AI,成本极高。相比之下,直接演示一遍,让 AI 自己观察学习,效率更高。

操作过程比想象中更省事,主要分为七个步骤。首先在 Codex 应用中打开 Plugins(插件),搜索并添加 Record & Replay 插件。

接着它会请求录制权限,你准备好后点击同意即可。

之后,你只需在 Mac 上正常完成工作流程。在此期间,Codex 会全程观察,学习你在哪些位置点击、操作哪些窗口的内容。

录制会持续进行,直到你主动停止。因此请务必专注于当前任务,不要中途切换到其他操作。完成后,可从菜单栏或悬浮层停止录制,或者直接告诉 Codex 你已经完成。

录制结束后,Codex 会复盘刚刚捕捉到的流程,并自动起草一个 skill。这个 skill 中会清晰说明:何时使用该流程、需要哪些输入、按什么步骤执行、完成后如何验证结果。如果你认为它写得不够好,还可以进一步让它优化打磨。

有几条录制建议值得遵循:演示应尽量简短且完整;录制前先告诉 Codex 目标以及每次会变化的输入内容;使用真实输入,但切勿录制密码和敏感数据;录制完成后补充重要的隐性偏好,例如命名规范、字段默认值、决策点选择方式;流程执行完毕立即停止,不要延伸到无关的收尾操作。

至于后续复现则非常简单。打开新对话,让 Codex 调用该 skill,并将本次的具体数据喂给它——比如要传送哪个文件、创建哪个 issue、报表需要哪段时间范围。

有一个关键设定需要了解:Codex 会将这个 skill 视为可复用的上下文(reusable context)。这意味着,它并非一段写死的脚本,而是一份每次都能参考并结合当前环境灵活执行的说明书。因此,同一个 skill,这次传递 A 文件、下次传递 B 文件,都能适用。在实际执行时,它会调用当前环境中可用的工具,包括 Computer Use、浏览器操作以及已安装的插件,从而完成整个流程。

Codex 究竟如何「使用电脑」

来看一次公开演示。这次 Codex 要学习的是上传 YouTube 视频的完整流程。它的工作方式是:观察用户在 YouTube Studio 中的操作,将点击、选文件、输入文字这一整套动作全部捕捉下来。包括选取视频文件、填写标题和描述、上传缩略图、添加字幕、设置隐私选项等,Codex 全部记录,并随后展示了独立复现的能力。

更有趣的是,它并非机械地照搬步骤,而是尝试理解背后的逻辑与门道。例如,何时该将视频设为 Private、何时设为 Unlisted;如何管理 .mp4 视频文件和 .srt 字幕文件这类成对资源;元数据字段如何填写;字幕如何与视频同步。它甚至现场处理了一次报错:当缺少 Python 环境时,它直接从已安装的 skill 位置读取信息,自行适配。而整段录制内容则被转译成一个随时可调用的 skill。

换句话说,Codex 一旦学会,理论上就能在无人监控的情况下反复执行。对于那些每天需要上传大量视频的内容工作流而言,这确实非常实用。

要理解它为何能复现,需要先了解 Codex 操作电脑的原理。OpenAI 工程师 Jason 此前梳理过 Codex 使用电脑的三条路径,能力有重叠,各有侧重。总体原则是:能用插件或 MCP 就优先使用,视觉控制留给结构化工具无法覆盖的边角场景。

第一种叫做 Computer Use,覆盖范围最广。它能在 macOS 和 Windows 上识别并操作图形界面,通过窗口、菜单、键盘、剪贴板来操作已授权的应用。代价是速度较慢,因为它需要观察界面、判断点击位置、等待响应、再确认状态,每步都要反复确认。但优势也很明显:那些没有 API 的应用它也能应对,例如 Spotify、Xcode、系统设置、iOS 模拟器,甚至能通过 iPhone 镜像操作 iPhone。在 macOS 上,它还能在后台运行,你可以同时处理其他事务。它的信任边界也最宽,涉及金钱、账户、支付、凭据的修改,建议你全程在场监督。这也解释了为什么 Record & Replay 必须与 Computer Use 同时开启——它录制的操作要实现复现,依赖的就是 Computer Use 这套“观察界面、操控鼠标键盘”的底层能力。

第二种是 Chrome 扩展。它接管你已经登录好的 Chrome,适合那些依赖账号、cookie、已认证标签页的任务,比如 Gmail、Salesforce、内部仪表盘。它能管理多个标签页,将同一任务的多个标签页串联成一个完整工作流来理解。代价是它带着你的身份在操作,网站会将其点击和提交视为你本人,因此发送、发布、购买这类步骤通常需要先经过你审核。

第三种是应用内浏览器。它运行在 Codex 对话内部,与你共享同一个渲染页面,特别适合开发调试 Web 应用。其最大特点是隔离——不会触碰你的浏览器配置、cookie、扩展和登录会话。需要时这可能是个限制,不需要时却是一个干净的边界。开发者可以让它修改代码、操作页面、截图、修完后重新运行,形成紧密的反馈循环,还能直接点击页面元素留下设计意见。

另外还有一个名为 Appshot 的机制,它不直接操作电脑,而是负责将 Codex 的注意力引导到你当前关注的内容上。在 Mac 上连按两下 CMD 键,它会抓取最前面的窗口,将图像和文字附加到对话中。你可以针对某个报错、一封邮件、一个看不懂的表单直接提问。用 Jason 的话说,Appshot 负责“指方向”,而浏览器、Chrome 扩展和 Computer Use 负责“动手”。而 Record & Replay 录制的 skill,正可以随时调动上述任意一种或多种方式来复现。

人类操作软件的经验,正在转化为 AI 技能

自今年以来,Codex 的发布节奏持续加快。许多人不知道的是,Codex 应用、CLI 和 SDK 并非只能搭配 OpenAI 自家模型。在 config.toml 中配置 model_providers 后,你可以将 Codex 指向 Ollama、LM Studio 等本地开源模型,也能对接 Mistral、Azure、Amazon Bedrock 等第三方服务。传入 --oss 参数即可运行本地 provider,默认情况下则使用 oss_provider。

? https://developers.openai.com/codex/config-advanced#oss-mode-local-providers

也就是说,Record & Replay 这类能力,其载体本身就是一个对模型开放的客户端。

它也有适用范围。Record & Replay 是从一次演示中快速创建 skill 的捷径,但如果你希望将稳定的包分发给整个团队、捆绑多个 skill、添加应用集成或 MCP 服务器、管理安装元数据,那么不要停留在录制层面,而应将其打包成独立插件。

此外,还有几个上手前需要了解的限制。Record & Replay 目前仅支持 macOS,首发不覆盖欧盟、英国和瑞士,并且必须先开启 Computer Use 功能。如果你身为组织管理员,还需要注意一个坑:如果你们使用 requirements.toml 统一管理 Codex,那么 [features].computer_use 这一项会同时影响 Record & Replay。

? https://developers.openai.com/codex/record-and-replay

如果将来把 computer_use 设为 false,你会发现这两个功能会一起消失。因此,如果你发现“我这里根本看不到 Record & Replay”,请先检查这一项是否被关闭。

「Record & Replay」的上线,看似只是一个录制和复现操作的小功能,但放到更大的背景中,它代表的是 AI 与软件交互方式的一次重要转变。

过去,自动化的基础是 API。软件必须先开放接口,将能力封装成机器可调用的服务,自动化工具和 AI 才能接手流程。没有 API,没有结构化入口,很多任务就无法实现自动化。因此,传统自动化的边界往往取决于软件愿意开放多少能力。

但现在,OpenAI 试图绕开这层限制。它不再要求软件专门为 AI 提供接口,而是让 AI 直接学习人类使用软件的方式。人能看懂按钮、菜单和窗口,它也去理解;人能完成点击、输入和切换页面,它也去执行。

这意味着,AI 的工作对象开始从 API 扩展到整个图形界面。换言之,「Computer Use」负责赋予 AI 操作电脑的能力,而「Record & Replay」则负责将人的操作经验沉淀为可复用的技能。

这背后对应的,其实是操作系统角色的变化。过去,操作系统是所有软件的组织者。我们在 Mac 或 Windows 上安装各种应用,再由人自己在不同软件之间切换、复制、整理和传递信息。人始终是连接各个软件的中间层。

而当 AI 能够跨应用观察、理解并执行任务时,它开始承担这层角色。对于用户来说,关注点逐渐从「如何操作软件」转向「想完成什么事情」。报销软件怎么填、视频后台怎么配置、多个系统之间如何来回切换——这些细节理论上都可以交给 AI 处理。照这样发展下去,未来真正频繁使用软件的,未必是人,而是 AI。

对于 AI 来说,漂亮的界面没有意义,复杂的菜单也没有意义。它更关心的是:这个软件能不能完成任务、能不能被调用、能不能稳定执行流程。

从这个角度看,「Record & Replay」真正有趣的地方,并不是又多了一个自动化功能,而是它透露出一种新趋势:人正在从软件的直接操作者,逐渐转变为软件能力的训练者。今天我们学习如何使用工具,未来或许更重要的一项能力,是教会 AI 使用工具。

来源:https://www.aitntnews.com/newDetail.html?newId=26350

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。