这项由香港科技大学（广州）与京东联合开展的研究，以预印本形式于2026年7月2日发布在arXiv平台，编号为arXiv:2607.01874v1。详细的技术细节均已收录在论文中，此处不再赘述。
企业AI应用中的核心挑战
设想一下，你刚加入一家大型企业，公司发给你一本厚厚的《员工操作手册》，内含数百个标准作业流程——从报销单填写、代码漏洞检测，到销售数据分析，每个流程都讲解得十分详尽。然而，你的实际工作表现会如何？或许第一次处理报销时，你翻错了页码，误用了“差旅申请流程”而非“报销流程”；或者你虽然找到了正确的页面，却只读了前三步便自行发挥，跳过了所有验证步骤；又或者你按部就班地完成了每一步，却在提交前忘记执行那个必要的自检环节……
这正是当前AI助手在企业场景中面临的真实困境。研究团队将这类可反复调用的操作手册称为“技能”，其核心问题不在于AI是否拥有这些手册，而在于它能否真正、可靠地执行它们。
为此，研究团队构建了一套名为SkillCoach的框架，专门用于监督AI的整个操作过程，判断其是否严格遵循手册执行。其核心理念是：不能仅检查最终结果的对错，而要像经验丰富的师傅带学徒那样，全程审视每一步操作是否规范、是否真正遵照手册来进行。
一、技能库过于庞大，AI助手同样难以抉择
要理解SkillCoach解决了什么问题，首先需要明确“技能”在此处的确切定义。研究团队所指的技能，是一种封装好的操作知识单元，类似于企业标准作业程序（SOP）。每项技能的核心是一份名为SKILL.md的文档，其中清晰说明了该技能的适用场景、具体操作步骤、所需工具脚本，以及完成任务后的验证方法。
然而，随着技能库的不断扩张，问题随之而来。现实中的企业技能库充斥着大量“形似神异”的技能，例如销售部的数据汇总流程与财务部的数据汇总流程，名称相似，所用工具也相近，但实际用途和关键步骤却截然不同。当AI助手面对这样一个混杂的技能库时，可能陷入多重陷阱：误选一个看似相关但实际不适用技能（找错手册）；或者选对了手册，却走马观花地执行，跳过了关键步骤（未认真阅读手册）；又或者需要先后使用多份手册，将前一步的结果传递给下一步，却搞错了顺序（装配顺序错误）；最后，完成任务后也未按手册要求进行自检（交付前未验收）。
更棘手的是，现有的评估方式仅关注最终答案是否正确。如果AI通过反复试错、绕弯路后碰巧给出了正确答案，传统评估会给予满分，完全无法察觉这个过程有多么混乱和不可靠。
研究团队在论文的开篇对比图中直观地展示了这个问题：两个AI助手处理同一道题，最终都通过了验证器，得到了正确答案。但其中一个助手有条不紊地找到了正确技能文档、逐步执行了关键操作，并在最后核查了结果；另一个助手则走了弯路，中途误选了干扰技能，通过反复试错才侥幸得到正确结果。如果未来将这两个助手的行为都作为“好示范”来训练更多AI，后者的混乱做法就会被当作正确经验学进去，埋下隐患。
二、为技能手册配备一份“过程评分卡”
SkillCoach的第一个核心贡献，是将AI使用技能的整个过程拆解为四个可独立打分的维度，如同一份操作规范评分卡。
第一个维度是技能选择，考察AI能否在一堆混淆项中准确找到正确的技能手册，同时避免将那些“形似神异”的干扰手册也纳入使用。这里使用了一个名为F1分数的数学工具，简而言之，既要保证查准率（不选错），也要保证查全率（不漏掉该用的），两者同时满足才算合格。如果当前任务本身不需要使用任何技能，AI老老实实不用也是正确的。
第二个维度是技能执行，考察AI是否真正完成了技能手册中规定的关键步骤。这里有一个重要设计：每个步骤不仅要标记完成状态，还必须在AI的操作记录中找到可见的证据——例如，确实读取了某个文件、确实运行了某段脚本、确实生成了某个中间结果。仅仅口头声称“我做了这一步”而没有可视证据，是不计分的。
第三个维度是技能组合，针对需要多个技能协同完成的任务，考察AI是否按正确顺序依次使用各项技能，以及前一个技能产生的结果是否准确传递给下一个技能。这好比组装家具，必须先装腿再装桌面，顺序不能乱，而且装腿时留下的螺丝孔必须与桌面的孔对齐。
第四个维度是技能反思，考察AI在交付之前是否进行了一次显式的、可观察的自检——例如验证输出文件格式是否正确、数据范围是否合理、是否满足任务特定的约束条件。这个维度特意不等同于“最终答案是否正确”：自检并不意味着结果必然正确，AI可能自检后发现问题并修正，最终得到正确结果；也可能没有自检，却歪打正着。这两种情况在过程上截然不同，SkillCoach会加以区分对待。
这四个维度的综合得分设有默认权重：技能选择占40%，技能执行占30%，技能组合占20%，技能反思占10%。最终任务验证器的结果作为独立信号单独记录，不混入过程得分。
三、评分卡不能仅靠理论推导，需从实战中磨炼
有了评分卡的框架，下一个问题是：每道题的具体打分标准从何而来？如果让人类专家逐题制定标准，成本极高，且容易遗漏真实场景中才会暴露的边界情况。
SkillCoach提供的方案是让评分卡从实战中自我进化，这也是“self-evolving”（自我进化）一词的来源。整个进化过程类似于经验丰富的老师傅带学徒，反复修订检验单，共分三个阶段循环进行。
第一阶段是搜集实战素材。系统让AI助手在真实环境（包含正确技能和干扰技能的混合技能库）中完成任务，生成一批真实的操作记录，也称为轨迹。这些轨迹有好有差，都会被系统收集起来作为原始素材。
第二阶段是用当前版本的评分卡对这些轨迹进行打分，同时提取每一步操作背后的可见证据，判断评分卡是否存在误判——例如，是否漏掉了某个该检查的关键步骤，或者在某种特殊情况下标准过于严苛。这个打分过程会揭示评分卡自身的盲区。
第三阶段是由一个独立的“仲裁模型”基于上述发现提出局部修改方案，修改内容只能针对评分标准、证据要求、负面案例识别等细节，绝对不能改动两类内容：一是技能手册中规定的关键步骤列表（不能修改题目要求），二是外部验证器的判断结果（不能篡改最终裁判）。
修改方案必须通过一道“双重审核门”才能被正式采纳。第一道是硬性门槛：修改后的评分卡不能变得更宽松，不能对原本不达标的行为给予通过，不能无视干扰技能的影响。第二道是软性提升要求：修改后的评分卡必须在一批独立的验证轨迹上表现出实质性提升，且这种提升必须体现在具体证据覆盖率、反思质量、过程一致性等可量化指标上——仅仅“AI打分时更有信心了”这种主观改变是不够的。
整个进化过程在每道题上最多进行六轮，覆盖全部28个任务共使用了94个进化轮次，平均每道题进化约3.36轮。每轮结束后，系统从所有被接受的版本中选出在验证集上表现最好的那一版，作为最终使用的评分卡。
四、进化后的评分卡质量提升幅度
为了验证进化前后的差异，研究团队设计了一个严格的对比实验，邀请两位人工标注员，从真实的操作记录和技能手册出发，为每道测试题手工构建了“黄金标准评分卡”，覆盖正确的关键步骤、技能使用边界、组合顺序和反思要求。然后使用一个与评分卡生成过程完全分离的独立模型（Gemini 3.1 Pro，温度设为0以保证稳定性）来评判初始评分卡和进化后评分卡各自的质量，评判时不允许参考最终任务验证结果。
对比结果在四个维度上均全面向好。关键步骤覆盖率从71.56%提升到83.70%，表明进化后的评分卡能识别出人工黄金标准中更多的评分要点。可用性评分从81.53分提升到94.33分（满分100），说明评分标准更加清晰、更容易被AI评判者正确执行。幻觉率从2.00%下降到0，说明进化后的评分卡不再引入无中生有的要求，例如错误的文件路径或不存在的输出格式限制。轨迹筛选一致性从82.00%提升到96.00%，意味着使用进化后的评分卡对AI操作记录进行“合格/不合格”判断时，与人工判断的吻合度大幅提高。
这组数字背后的意义在于：评分卡的进化并非通过放宽标准来刷高分，而是在不引入新错误的前提下真正填补了盲区，使评分标准更完整、更准确、更可用。
五、真实任务场景的审慎选择
SkillCoach的实验并非在随意选取的任务上进行，研究团队有一套严格的“任务准入标准”，确保所有纳入研究的任务真正考察技能使用能力，而非AI的通用问题解决能力或死记硬背能力。
具体来说，每道题必须同时满足三个条件。第一，不提供技能手册时，主流强力AI的平均成功率不超过30%——确保这道题无法通过“蒙”或“通用能力”轻松过关。第二，提供正确技能手册后，成功率的提升幅度必须超过40个百分点——确保这道题确实因技能手册而变得可解。第三，在有手册情况下的成功轨迹中，关键步骤的执行覆盖率必须超过70%——确保成功的轨迹是真正遵循了手册流程，而非歪打正着。
通过这套筛选，研究团队最终确定了28道任务，其中18道用于训练（含50个具体实例），10道用于测试（也含50个具体实例），并且训练集和测试集在任务类型层面完全隔开，确保测试时评估的是泛化能力而非记忆能力。这28道题覆盖了软件工程（代码安全漏洞修复、依赖关系审计）、生产力工具（合同填写、邀请函生成）、科学分析（洪水风险分析、地震板块计算）、商业数据分析（销售透视分析、财务欺诈检测）、科学计算（蛋白质表达分析、聚类参数调优）以及内容创作（视频物体计数、中文诗歌生成）等多个领域。
将这28道题与原始技能基准测试任务池的数据进行比较可以发现，研究团队选出的这批题目在“无手册时成功率”上比原始池低了约14个百分点，在“有手册时的提升幅度”上则高出约37个百分点。这意味着这批题目更加依赖技能手册，对技能使用质量的考察更为直接。
六、为AI助手进行一次全面的“技能体检”
使用进化后的评分卡，研究团队对七款主流AI助手进行了全面评测，评测分三种条件：完全不提供技能手册、只提供正确技能手册（无干扰项）、提供正确技能手册并加入干扰项。
结果呈现出几个规律性的发现。在“有无技能手册”这个维度上，技能手册的作用非常显著。以表现最好的Opus 4.7为例，不提供手册时成功率仅为18%，提供正确手册后直接跃升至88%，提升了整整70个百分点。GPT-5.5从24%升至80%，Gemini 3.1 Pro从16%升至72%，Kimi K2.6从16%升至66%。这证明研究团队选出的题目确实是“技能依赖型”任务，技能手册的价值是实实在在的。
然而，一旦加入干扰技能，情况便开始分化。最有趣的对比出现在Gemini 3.1 Pro身上：加入干扰项后，其整体成功率从72%仅小幅下降至70%，看起来尚可；但如果单看技能选择维度，分数从98%暴跌至78%。这说明Gemini在技能选择上受到了较大干扰，但它在后续执行环节上足够稳健（执行分数甚至从72.6%微升至82.7%），依靠执行质量弥补了选择上的失误，最终结果还算过得去。
再看Qwen3.5-9B，加入干扰项后技能选择分从92%暴跌至44%，技能反思分从76%跌至34%，最终成功率也从18%降至14%。这说明当AI连正确的手册都未能找到时，后续所有操作都会跟着失准。
这组对比的意义在于：如果仅看最终成功率，Gemini和Qwen的差距并不突出，都是小幅下降；但通过四维度拆解，可以清晰地知道前者的问题出在“找手册”环节，而后者则是多个环节同时崩溃。这对于需要在企业中可靠部署AI助手的团队来说，是截然不同的诊断结论，对应的改进方向也完全不同。
七、利用进化后的评分卡筛选训练素材
SkillCoach的第三个应用是将进化后的评分卡用于训练数据的筛选。道理很简单：如果你想教一个学徒如何正确使用操作手册，最好的教材应该是那些真正规范执行了手册的操作示范，而不是那些碰巧最终做对但过程一塌糊涂的示范。
研究团队的做法是：收集大量AI在带干扰技能环境下完成任务的的操作记录，然后只保留那些同时满足两个条件的记录——一是外部验证器确认任务成功（结果正确），二是进化后的评分卡给出的综合过程分达到0.95分以上（过程规范）。这两个条件都满足的记录才进入训练集，用于微调规模较小的开源模型（Qwen3.5系列的4B和9B两个版本）。
实验结果形成了一个清晰的对比梯度。以Qwen3.5-4B为例，原始基础模型的最终任务成功率为8%；使用“只要最终验证通过”的宽松标准筛选训练数据，微调后成功率反而跌至6%——说明这样选出的训练数据中混入了太多过程混乱的“反面教材”，反而把模型训坏了。使用初始评分卡筛选的训练数据微调后，成功率提升至16%，有所改善。换成进化后的评分卡筛选，成功率进一步提升至24%。对于Qwen3.5-9B，同样的趋势更加明显：从14%的基础，到18%（只看结果筛选），到28%（初始评分卡筛选），再到32%（进化评分卡筛选）。
研究团队还进行了一组消融实验，依次从筛选条件中去掉某一个维度，以观察哪个维度对训练质量的贡献最大。结果显示，去掉技能执行要求的影响最大：4B模型成功率从24%跌至10%，9B从32%跌至16%。这说明在训练中，忠实执行技能手册中规定的关键步骤是最重要的过程特征。去掉技能组合顺序的影响次之，去掉技能反思的影响最小，但也是可见的。
八、技能库规模越大，AI选技能越困难——具体有多困难？
研究团队还专门进行了一项压力测试，研究当技能库规模不断扩大时，AI的技能选择能力会在哪个节点开始崩溃。这项测试刻意只考察“能否从一堆手册中找到正确手册”这一件事，剥离了任务执行、环境运行等其他干扰因素。
测试方法是：从零干扰开始，逐渐向技能库中加入越来越多的真实干扰技能（使用来自公开技能库的真实SKILL.md文件，最多扩展到5万个），每轮测量AI的技能选择准确度，并记录两个关键节点——“第一次明显恶化”（准确度下跌超过10个百分点且此后不再回升）和“接近完全崩溃”（超过80%的测试案例中AI都找不到正确技能，且准确度接近零）。
各款AI的表现差异非常大。在“第一次明显恶化”节点上，DeepSeek V4 Flash在加入约26至27个干扰技能时便开始走下坡路；Gemini 3.1 Pro能撑到约45至46个干扰技能；GPT-5.5能撑到约55至56个；Opus 4.7的韧性最强，在约194至195个干扰技能时才开始明显恶化。
在“接近完全崩溃”节点上，DeepSeek V4 Flash在约6400至6500个干扰技能时崩溃；Kimi K2.6在约2万至2.1万个时崩溃；Gemini 3.1 Pro在约3.5万个时崩溃。而GPT-5.5和Opus 4.7在测试的最大规模（5万个干扰技能）下仍未触发崩溃标准，GPT-5.5在5万个干扰项下的选择F1分数还能维持在0.33，Opus 4.7则能维持在0.46。
研究团队还发现，干扰技能的“危险程度”取决于它们与正确技能的相似程度，而不仅仅是数量。在固定50个干扰技能的情况下，随机不相关的干扰技能对选择准确度的影响最小；同领域但功能不同的干扰技能影响中等；高度相似（例如同一类任务的不同版本流程）的干扰技能破坏力最强。以GPT-5.5为例，在50个随机不相关干扰项下选择F1为0.84，换成高度相似的干扰项就跌至0.59；Opus 4.7从0.87跌至0.71。
这个发现对企业部署AI助手具有很强的实际意义：在技能库中，最危险的并非那些明显不相关的手册，而是那些“看起来很像但实际上有微妙差别”的手册，例如两个部门各自版本的合规检查流程，或针对不同业务场景的数据清洗脚本。
此外，研究团队还区分了两种不同类型的选择错误。一种是“该用技能时没选对”，另一种是“不该用技能时错误触发了某个技能”。测试结果显示，大多数AI在“不该用时不乱用”方面表现尚可，但在“该用时准确找到正确技能”上的差距则很大。这意味着，仅仅测试AI“会不会用技能”会高估其实际能力，更重要的是测试它在一堆候选技能中能否精准地找到那一个正确的。
归根结底，这项研究揭示了一个被长期忽视的评估盲区：我们对AI助手的考核长期停留在“结果对了吗”这个层面，却很少追问“它是怎么做到的”。在企业场景中，这个问题不仅是学术上的好奇，更是实实在在的业务风险——一个靠反复试错、误选手册、跳过关键步骤最终歪打正着的AI助手，在下一次面对稍有不同的任务时很可能彻底失效，而且你完全无法预测它会在哪里出错。
SkillCoach提供的这套四维过程评分卡，加上自我进化机制，不仅使评估更加准确，还直接影响了训练数据的质量——只有过程规范、结果正确的示范才能进入训练集，由此训练出的AI在实际任务中的表现也明显更好。这说明“怎么评”和“怎么训”其实是一体两面的问题，好的评估框架直接推动了更好的训练结果。
当然，这项研究也坦诚地指出了两点局限。实验规模相对有限，28道任务所涵盖的场景还不能完全代表真实企业中几千上万道工序的复杂程度。训练部分目前仅进行了离线的监督微调，尚未尝试让AI在实际使用中持续根据反馈进行调整——研究团队已经指出，SkillCoach产生的过程评分完全可以作为强化学习的奖励信号，这是下一步值得探索的方向。
有兴趣深入了解这套方法的读者，可以通过arXiv编号2607.01874查阅完整论文。论文附录中提供了所有关键提示词模板和详细实现参数，具备一定技术背景的读者完全可以据此复现整套流程。
Q&A
Q1：SkillCoach的四个评分维度中，哪个对训练效果影响最大？
A：研究团队的消融实验显示，技能执行维度的影响最大。去掉这个维度的筛选要求后，Qwen3.5-4B的任务成功率从24%跌至10%，9B从32%跌至16%。这说明在训练数据筛选中，忠实按照技能手册执行关键步骤是最重要的过程特征，其贡献比技能组合顺序和技能反思都要大。
Q2：SkillCoach对哪些类型的AI助手进行了测试？
A：研究团队测试了七款AI助手，包括Opus 4.7、GPT-5.5、Gemini 3.1 Pro、Kimi K2.6、DeepSeek V4 Flash、Qwen3.5-4B和Qwen3.5-9B。其中Opus 4.7在技能依赖任务上表现最稳健，能在约194个干扰技能下才开始明显退化；DeepSeek V4 Flash则在加入约26个干扰技能时就开始走下坡路。
Q3：技能库规模增大时，AI选技能的崩溃标准是如何定义的？
A：研究团队使用两个指标同时达标来判断崩溃：一是超过80%的测试案例中AI完全没有选到任何正确技能；二是技能选择F1分数不高于0.10且精确匹配率不高于0.05。这意味着崩溃并不要求均值绝对为零，只要绝大多数情况下完全无法找到正确技能，就算触发了崩溃边界。
