智能客服系统正在经历一场深层次变革，从最初只能处理基础问答的“机械式回应”，逐步演进为能够精准理解复杂意图、开展多轮协商并展现情感温度的“服务伙伴”。得物技术团队在此次系统升级中，分享了其高可控性Agent工程的核心实践经验，重点攻克了智能客服在实际落地过程中面临的场景复杂性、运营成本高昂以及拟人化程度不足等关键难题。
一、当前智能客服面临的核心痛点
在深入探讨Agent工程实践之前，有必要梳理当前智能客服系统普遍存在的三大痛点：
- 无法精准理解用户意图，时常答非所问：由于对用户真实需求的理解偏差，导致频繁给出无关回复，严重影响使用体验。
- 运营成本高企，用户排队现象严重：在高并发场景下，人工客服难以覆盖所有用户请求，造成大量用户长时间等待。
- 复杂问题解决能力薄弱：仅限于处理简单的FAQ类咨询，一旦面对需要多轮交互的复杂问题，往往束手无策。
二、智能客服 Agent 落地的必然性及其挑战
Agent 智能客服的必然趋势
传统的“意图分类 + NER + 对话管理 + FAQ 召回 + 重排”流水线架构存在显著局限性：
- 传统架构的固有瓶颈：难以处理包含多个步骤的任务，上下文衔接不畅，无法支撑复杂的多轮对话场景。
- SOP 人工维护成本居高不下：场景中的用户问法几乎无法穷举，导致标准操作流程的维护代价飞涨。
- 多模型运维复杂度高：多套小型模型分散部署，牵一发而动全身，运维难度和成本都非常高。
- 会话自然度与流畅性不足：回复内容单一刻板，难以复现优秀人工客服的决策思路与沟通话术。
Agent 智能客服面临的新挑战
在向Agent架构演进的过程中，团队也遇到了新的考验：
- 复杂场景下指令优化成本高昂：场景逻辑复杂、知识流程繁琐，针对长尾案例进行的提示工程优化需要投入大量资源。
- 长上下文多轮交互能力有待提升：结合用户的多样化需求与长历史上下文开展多轮决策或协商，对模型的能力提出了极高要求。
- 拟人化程度与人工客服存在差距：人工回复在昵称、话术、表情、模态运用上灵活多样，需要借助“人工辅助Agent”进行有效对齐。
- 多轮半双工模式下的消息控制难题：模型推理时间较长，在半双工环境下，消息打断、上下文话题切换的控制难度显著增加。
三、客服 Agent 多轮协商优化（高可控性 PE 自动化）
单场景架构演进路径
第一阶段：Single-Agent（单提示词）
最初基于Qwen的Single-Agent架构，存在两个主要问题：
- Prompt内容过长，模型对指令的遵循能力有限。
- 串行Pipeline无法实现Agent的多轮ReAct模式。
第二阶段：Multi-Agent（渐进式信息披露）
为解决上述问题，团队采用AutoGen的Multi-Agent架构，引入多个专用Agent：
- 总控 Agent：负责整体任务调度与流程管理。
- 出话 Agent：专注于生成最终回复话术。
- 评估器 Agent：对输出质量进行实时评判。
- 润色 Agent：提升回复的自然流畅度与拟人感。
通过`SelectorGroupChat`模式实现动态调度，问题解决率明显提升。
跨场景 Harness 架构设计
为解决跨场景复用难题，进一步升级至Harness 架构，其核心能力包括：
- 跨会话 Memory：支持存储用户历史上下文信息。
- 上下文压缩与轨迹压缩：高效管理长对话，有效降低Token消耗。
- 总控 Agent 管理：增强回复的可控性与稳定性。
- 数据飞轮驱动模型持续迭代优化。
- Skill 自动化生成功能正在积极推进中。
数据飞轮：PE 自动化与模型训练
PE 自动化优化方案
人工进行提示工程存在明显痛点：耗时巨大、处理多个case时容易引发Prompt冲突与歧义、Token成本高且指令遵循能力受限。为此，团队构建了PE自动化流水线：
- 对比数据抽取：利用大模型抽取转人工case中Agent回复与人工回复作为对比样本。
- PE 修改建议生成：大模型分析Prompt存在问题，并提出针对性修改建议。
- 人工 Review：人工标注并审核修改建议的可行性。
- 离线跑测：合并修改建议后，对同批次数据进行跑测，验证优化效果。
- 上线实验：积累实验数据，持续优化Prompt质量。
效果验证：
数据飞轮-模型训练
通过DPO 模型训练飞轮，利用“大模型作为裁判”搜集回流数据并重新训练：
- 训练能否回复判别模型、回复正确性模型、是否拟人判别模型。
- 构造优选和拒绝样本对。
- 训练专门的润色模型。
四、RL 决策训练：让 Agent 学会“做出正确决策”
训练框架概览
RL训练框架主要包含三大模块：
数据基建
- 采集线上反馈数据，通过策略埋点构建Multi-turn RL训练数据集。
- 利用专家模型生成决策理由，进行CoT-RL训练。
- 部署MCP Server，实现实时工具调用。
模型训练流程
- Cold-start SFT 预热：通过监督微调为强化学习提供良好的初始策略。
- 可验证奖励：使用基于规则的奖励机制对模型行为进行约束。
- 生成式奖励：使用基于模型的奖励机制评估模型输出质量。
- GRPO 训练：采用GRPO算法进行端到端强化学习训练。
评测体系构建
- 大模型作为裁判。
- 人工评估。
- 用户模拟器一致性评估。
对抗奖励黑客行为
- 优化奖励函数，防止模型钻空子。
- 解决数据有偏问题，确保训练数据具有代表性。
- 增加思考过程，即通过CoT训练让模型学会推理。
训练效果对比
实验验证
消融实验
- 不同训练轮次对比。
- 不同冷启动基座模型对比。
- 不同学习率对比。
业务干扰度消融实验
- A业务。
- B业务。
- A业务与B业务混合训练效果。
RL 训练对抗灾难性遗忘
测试标准：C-Eval、CMMLU。
规避策略：
- 采用较低学习率。
- 通过eval-step实时监控通用基准指标。
- 限制训练轮次在2~4 epoch之间。
- 控制数据比例：模型自推理与模型依赖工具调用各占50%。
五、情感温度：人类经验对齐与模型蒸馏
服务评测标准体系
为量化模型服务质量，团队建立了一套完整的百分制测评体系：
模型蒸馏训练方法
三种训练模式协同工作：
- CoT-RL 策略蒸馏：蒸馏优秀客服的决策逻辑，让模型学会“像优秀客服一样思考”。
- DPO 话术蒸馏：对齐对话语气，减少重复表述，规范表情包和称谓的使用。
- 表情模块：通过表情分类与语境分析，精细化控制表情使用时机，提升回复的生动性。
表情分类体系：开场欢迎 / 积极开心 / 思考疑惑 / 抱歉安抚 / 提醒强调 / 期待等待 / 完成确认 / 正在努力 / 物流配送 / 价格优惠 / 对接售后 / 结束感谢。
人工对齐效果
经过对齐训练，模型评分已接近Top5%优秀人工客服水平，在情感表达与沟通技巧方面取得了显著进步。
六、多轮消息流控制：半双工对话逻辑设计
消息收发模式设计
智能客服场景有其特殊性：用户可以随时发送消息，但Agent在回复期间不宜被打断。因此，系统设计如下：
- 用户→Agent：全双工模式，用户可随时打断或发送新消息。
- Agent→用户：半双工模式，Agent回复期间不可被打断。
多消息处理策略
为实现精准的消息合并与切分决策，团队训练了专门的分类模型：
- 数据采集：拉取线上用户连续消息进行人工标注。
- 数据增强：利用大模型对负样本进行扩写，增加数据多样性。
- 模型训练：使用Qwen3-4B模型进行分类训练，判断用户连续发送的多条消息是应该合并处理还是切分处理。
七、总结与展望
本次实践核心总结
本次分享围绕以下四大核心技术展开：
- 应对客服Agent挑战的架构设计方案。
- 构建高可控性数据飞轮的有效方法。
- 通过RL策略训练与人工经验对齐，提升模型决策能力与情感温度。
- 设计多轮半双工消息流控制机制，保障对话的流畅性与稳定性。
未来展望
