本文分享一个近期完成的项目——基于AI的人员绩效考评系统落地实践。项目启动源于运营部门更换了负责人，新任领导希望以重建绩效评估体系作为工作开局。
经过内部调研发现，团队对“工作量”的认知存在严重分歧：部分成员以订单数量为依据，另一些人强调异常单的处理质量，还有人通过翻查三天聊天记录，证明大量时间消耗在确认、催办和补充资料上。虽然系统完整记录了订单状态，但系统外的工作几乎毫无痕迹。新领导期望通过本次调整同时达成三个目标：全面掌握运营人员的工作量、以数据驱动绩效评价、借助AI实现流程透明化与组织优化。
举例说明：一位运营人员从系统调出一张订单，系统记录她从打开到确认处理仅用时两分钟。然而，查看聊天记录发现，过去三天她每天催销售补充材料，五次登录外部平台查询状态，还多次致电客户解释要求。这张订单成为项目的典型案例，揭示了绩效考评的核心难题：系统能记录订单状态，却无法衡量完整的工作量。如果绩效仅基于系统内操作，大量推动订单流转的隐性工作将被忽略。
另一个反复出现的问题是：标准订单与异常订单混同时，订单数量会严重误导管理判断。处理一百张标准单与处理三十张异常单所消耗的精力存在巨大差异。新领导推行新绩效体系时，这两个问题不可回避。团队成员不会接受仅以订单数量为单一指标的评价方式。
AI赋能从打数据标签开始
若按传统思路，我们可以为不同难度任务定义标准工时、进行加权平均来评分——这本质上是流程挖掘项目。但AI在此发挥出更大价值。
第一个应用场景是异常原因识别。每个订单的沟通群中蕴含着大量信息，过去完全依赖运营人员的人工沟通与经验判断，这些信息从未纳入考核体系。我们将AI助手接入订单沟通场景，在授权范围内读取相关沟通内容，自动识别并标记异常原因，例如客户资料问题、外部平台问题、供应商反馈问题等。分类结果汇总至管理看板，帮助运营经理实时监控异常订单，实现预警与跟踪。
第二个场景是订单复杂度识别。AI并不直接评价员工，而是依据订单的背景信息与细节提供复杂度建议。工作量评估从僵化规则转变为智能辅助判断。AI记录所有订单的结构与实际情况，为订单公平打分而非评价个人。这种方式显著提升了一线员工的接受度。
一个问题，被归类成了三个原因
上线测试阶段，客户使用内部集采的大模型。最初担心旧模型的能力上限，但实际文本分类效果完全满足项目预期。然而，项目卡在了一个意料之外的环节——业务口径的定义。
测试样本数据时，同一张订单被归类为三种不同的错误原因。运营人员认为是客户资料问题，因为客户最初未提供完整附件；主管认为是前端录入问题，因为销售按经验本应知晓所需文件，但提交时未检查附件完整性；流程负责人则判定为规则问题，因为系统在提交前未设置强制校验。三人针对同一订单使用了三套业务语言和三种不同专业领域的归因方式。
于是团队暂停下来整理标签定义。我们没有采用所谓的“最佳实践”来划分异常分类，而是邀请运营主管与一线员工共同确定口径。每个标签都明确了定义并附上实际样例，容易混淆的边界单独讨论。最终固化了清晰边界：客户未提供资料归为客户资料问题；客户已提供但前端录入遗漏归为前端录入问题；系统未设置必填或校验规则归为流程规则问题。这些边界被固化到AI harness体系中，成为标签定义、样本规则和复核依据。
规则明确后，AI的分类表现大幅稳定。业务执行人员理解了评判标准，也清楚后续工作该如何开展。
第一份答卷不是绩效考评
有趣的是，项目正式运行后，最先产生价值的并非绩效考评结果，而是运营流程执行情况的可视化洞察。
新任领导发现，订单处理数量不高的员工，实际处理复杂订单的占比极高；某些反复出现的异常也暴露出真正根源——67%源于前端资料规则不清晰，迫使运营人员反复补救。这些发现将讨论焦点从“谁更慢”转向“流程中哪些环节导致缓慢”及“为何缓慢”。主管不再单纯比较订单数量，而是开始关注标准单、异常单和复杂单的构成比例。运营人员过去难以言明的隐性工作，终于得以进入管理视野。二期项目已开始探讨复杂单场景中的AI赋能机会。
AI转型最难的是下场干脏活
一期项目结束后，我们得出一些新感悟。企业真正欠缺的已不再是模型能力。AI要实现在企业中的落地生根，必须投入大量基础性、繁琐的“脏活累活”。
从技术角度看，模型能力本身不再是核心瓶颈。真正决定效果的是模型外部的harness工程架构：知识库包含哪些规则、标签如何定义、样本如何校准、结果怎样复核、错误怎样回流、知识库是否能自动迭代优化。
从业务层面来看，运营工作究竟由哪些动作构成？哪些动作发生在系统之外？哪些异常属于个人处理范畴？哪些异常应回归流程规则解决？如果这些业务定义不清晰，AI输出的结果将带有危险的“客观感”。模型能够识别文本、归类异常、给出建议，但它只能胜任企业已明确定义的工作。然而，模型给出的答案必须让业务人员能够理解，结果必须可追溯，错误必须能回流至下一轮校准。AI落地过程中，业务中的模糊地带会被不断压缩。这要求领导层对业务具备足够清晰准确的判断与决策力——连我们自身都不清楚该如何处理的事情，不应期待AI能做得更好。
