想把自己手头那些零零散散、到处乱跑的业务流程,整理成AI能稳定执行、还能反复用的技能?这个想法听起来很美好,但实际落地的时候,坑还真不少。经过京东健康产研团队多轮业务场景调研和实际验证,我们梳理了一条从录制到优化的完整实践路径,供大家参考。
一、业务流程AI化的真实痛点
现在,很多业务同学开始尝试用 AI 重构自己的日常工作流,但在创建skill的过程中却遇到很多问题:
1. 日常工作流程散在不同地方:系统页面、本地文件,甚至部分流程需要经验判断。很多人不清楚怎么清晰描述流程,导致 AI 一遍遍混淆,最后只好放弃;
2. 即使 AI 搞懂流程,让它亲自执行时也有很多问题:登陆态无法获取、本地环境缺少依赖、浏览器操作点击不准确等等;
3. 好不容易跑通一次,换个对话窗口、换个输入、隔天再执行,又冒出新问题。因为当时聊明白的逻辑,很多没有写进 Skill,只留在那次上下文里。
二、如何把业务流程创建成高质量Skill
- Mac 可以用 Codex Record & Replay 记录操作过程。Windows 可以先录屏,把视频交给 Codex 生成初版 Skill。
- 生成出的
SKILL.md如果是英文,让 Codex 翻译成中文。 - 补充相应业务背景,说明这件事为什么要做,谁会用,输入从哪来,输出给谁看。字段口径、专有名词、异常情况和安全红线,建议人工审查。
- 涉及到浏览器操作的,后续需要转换成API接口版本。
- 涉及到本地应用操作(如Excel操作、文件改名、目录归档等),后续需要让Codex转换成本地脚本。
- 使用真实数据验证Skill,跑不通的地方,直接让 Codex 修改 Skill。
1. 用录制生成 Skill
创建Skill时,可以使用 Codex 的 Record & Replay 插件,把一次手工操作录下来,再让 AI 生成可复用流程。这样创建Skill不仅快速,而且能够迅速让AI实际理解业务流程,后续进行优化时不用人工反复描述。
安装插件Record & Replay
使用
录制
复用
注意:
- 第一次只录低风险读操作,不录自动提交、自动发布、自动改价。
- 录完要让 AI 解释每一步在做什么。
- 页面变更后要重新验证。
目前Record & Replay只在Mac版本的Codex中支持,Windows可基于自己录制的视频制作Skill
提示词&中间过程
最终效果
codex根据视频生成skill,token消耗统计:
工作内容:打开浏览器,跳转部门风险统计页面,查询并下载excel,基于Excel进行聚合统计
视频长度:1分30秒
codex推理等级:中,模型:GPT5.5
codex生成skill时长:6分钟
cc-switch统计-token消耗:$2
2. 页面操作逐步转 API 操作
使用Record & Replay创建的Skill,尽管创建流程简单,但它的本质实际是让 AI 去操作页面,这不但有可能影响我们对电脑的操作,还有可能无法稳定复现。如果流程长期一致,可以逐步升级为 API 操作,效率更高并且更稳定。
升级路径:
2.1. 录制成功路径并同步保留网络请求记录
打开浏览器开发者工具的 Network 面板,执行业务流程,导出 HAR 给 Codex。HAR 会包含请求、响应、Header、Cookie、耗时等信息。
如何获取并下载HAR? 1. 在Chrome浏览器页面按F12,会唤起如下图左的开发者工具。 2. 唤起开发者工具后,正常操作页面。 3. 浏览器全部操作结束后,依次点击网络->Fetch/XHR->下载,下载har文件。
开发者工具
下载
2.2. AI 输出替换升级方案
首先让 Codex 解释页面动作,再分析 Network 请求。一次页面操作会触发很多请求,但是真正需要自动化的通常只有几个业务接口。让 Codex 同时读旧 Skill 和 HAR,让它帮助我们筛选出核心接口,并输出替换方案。
可以让Codex这样做:
请基于我提供的旧 `SKILL.md`以及 HAR 文件输出一份Skill升级替换方案。
先不要修改 Skill,也不要执行接口。请先完成分析并给出替换方案。
要求:
1. 先还原原流程
- 每一步页面操作对应什么业务目的。
- 每一步需要什么输入。
- 每一步产生什么输出。
- 最后怎么判断结果正确。
2. 再分析网络请求
- 从 HAR 中找出核心业务接口。
- 过滤静态资源、埋点、日志上报等无关请求。
- 标出和登录、鉴权、CSRF、任务轮询、文件下载有关的请求。
- 如果一个页面动作触发多个接口,请说明它们的先后关系。
3. 输出替换方案
请按表格输出:
- 原 Skill 步骤
- 当前执行方式
- 建议替换方式:API / 本地脚本 / 继续浏览器操作 / 人工确认
- 对应接口或脚本
- 关键入参
- 关键出参
- 验收方式
- 风险等级
- 是否建议现在替换
4. 登录态处理
- 使用 Python 的 `browser-cookie3` 来获取jd.com的Cookie登录态,用这个登录态访问接口。
- 不要把 Cookie 写进 `SKILL.md`、脚本或日志。
5. API 替换要求
- 查询、筛选、导出、下载这类低风险读操作,可以优先改成 API。
- 提交、审批、发消息、改状态等写操作,必须保留人工确认。
6. 本地脚本替换要求
- Excel 处理、文件改名、目录归档、数据清洗,可以改成本地脚本。
- 请说明脚本入口、输入参数、输出路径、失败日志和验收方式。
7. 信息不足时
如果缺少必要信息,请列出还需要我补充的材料,例如新的 HAR、接口返回样例、字段口径、截图、业务规则说明。
最终只输出升级方案,不要直接改文件。
2.3. 固化到 Skill
修改 Skill 时,把“点页面”和“操作电脑”的描述替换成更稳定的执行方式:
- 浏览器查询步骤 -> 调用查询 API。
- 浏览器导出步骤 -> 调用导出 API,并轮询任务状态。
- 下载后打开 Excel -> 用脚本读取 Excel。
- 手工复制粘贴 -> 用脚本合并、筛选、生成结果。
- 人工看一眼 -> 保留抽样核对和确认点。
可以让Codex这样做:
请基于刚才的替换方案优化这个 Skill。
要求:
1. 保留 Skill 的适用场景、输入项、输出项和业务规则。
2. 把可替换的浏览器点击改成 API 调用步骤。
3. 把可替换的电脑操作改成本地脚本步骤。
4. 不要自动执行写操作;涉及提交、审批、发消息时保留人工确认。
5. 给每个 API 或脚本步骤补充验收方式。
刚开始切换时,很容易遇到接口报错,可以让Codex排查原因进行优化,直到可以稳定执行;也可以增加各种不同筛选条件来重复步骤1,为Codex提供更多可参考的HAR文件。
3. 让 Skill 在多台电脑稳定跑通
Skill 第一次跑通,只能说明它理解了一个样例。要交给日常工作,需要让它在自己的电脑、不同输入、他人电脑上多跑几次。每次失败后,把原因写回 Skill 或脚本,减少下次临场解释。
建议按三轮验证:
3.1. 本机连续验证
先在自己电脑跑三次:一次用录制时同一组输入,一次换新的真实输入,一次故意制造边界情况。
3.2. 跨环境验证
把 Skill 发给一位同事,或者换一台电脑运行。重点看四类问题:是否依赖个人绝对路径;是否写死账号、Cookie、Token;是否缺少浏览器插件、Python 包、Node 包或系统权限;输出目录和文件命名是否能被别人理解。发现环境差异后,把处理方式补到 Skill 的“前置条件”和“常见问题”。
3.3. 业务结果验证
要抽样核对结果是否符合人工口径:筛选条件是否生效,导出数量是否对得上,写操作是否停在人工确认。涉及 API 替换的步骤,还要核对接口返回数量、文件下载状态、最终表格行数。
运行发现接口报错
给出参考请求让AI修改
正常使用
4. 定时自动执行
当Skill能够稳定跑通后,可以通过Codex中的定时任务功能定时自动执行Skill,省略人工操作;也可以考虑交给内部定时任务或正式系统执行。
示例:
每个工作日上午 9 点,执行/XXX-skill这个技能,
汇总关键指标,生成一页摘要存到“汇总”文件夹。
注意:
- 定时任务要有失败提示。
- 电脑休眠、关机、软件没开时,本地任务可能无法执行。(可以用JoyClaw云端或者JoyAgent执行)
- 关键业务结果仍需人工看一眼。
三、一个真实案例:JoyHR 找简历 Skill
原始流程:
- 打开JoyHR 找简历页面。
- 选择所需的筛选范围。
- 点击查询。
- 逐个搜索简历并点击导出。
- 下载 Pdf。
- 人工检查。
API Skill 流程:
- 把招聘需求转换成 JoyHR 搜索参数。
- 调用 JoyHR 人才库搜索接口,分页获取候选人列表,保留候选人的安全摘要和
reviewRank。 - 按候选人逐个调用简历详情接口,提取工作经历、项目经历、教育经历、技能标签等筛选证据。
- 用脚本替代页面逐个点开简历的动作,生成初筛结论和不推荐原因。
- 对推荐候选人做二次排序,分成“优先关注”“备选关注”“复核不通过”。
- 只下载“优先关注”和“备选关注”的简历附件,写入指定目录。
- 输出筛选条件、候选人清单、推荐理由、风险点、简历文件路径和下载状态。
- 人工确认。
Record & Replay 版本
API 版本
升级过程:
四、后续迭代流程
目前在把内部的网站、软件逐步替换成CLI,进一步降低业务流程AI化的成本。
