从暗箱到透镜：AI Agent评测与可观测性成为智能研发关键底座

AIAgent工程化需解决质量基线、过程可控与问题回溯问题。通过线下评测建立锚点、线上评审形成盾牌、可观测性作为眼睛，构建评测-评审-观测-回流闭环，使AI执行过程从暗箱变为透明，实现可评测、可观测、可追溯的智能研发质量体系。

然而，许多团队在实际落地过程中，往往会面临一个非常现实的困境：

TID质量竞争大会分享议题丨从暗箱到透镜：AI Agent 评测与可观测性，正在成为智能研发的关键底座

AI虽然能够生成内容，但无法保证每次生成的质量稳定；虽然能完成任务，但执行过程未必可控；最终结果看似正确，但中间链路可能隐藏着未知风险。Agent执行了一系列复杂步骤，但每一步的决策依据、调用了哪些Skill、消耗了多少Token、在哪个环节出现了质量波动，往往仍处于“暗箱”操作状态。

当AI开始深度参与需求分析、代码生成、测试设计、缺陷分析以及研发协同等环节时，企业真正需要解决的核心问题，已不再是简单的“AI能否使用”，而是一些更为尖锐的挑战：

AI生成的结果是否能够被有效评测？AI的执行过程是否能够被实时观测？AI的质量问题是否能够被精准追溯？AI的运行数据是否能够反哺下一轮优化迭代？

在本次大会上，中兴通讯AI技术教练刘振凯将带来一场极具分量的主题分享：

《从暗箱到透镜——SpecDrivenDev的评测与可观测性全链路闭环工程实践》

这场分享将系统性地拆解在SpecDrivenDev场景下，如何借助评测、评审与可观测性，构建一套可闭环、可追溯、可持续优化的AI工程质量体系。

一、AI工程化落地，不能仅关注最终结果

传统的软件质量体系，更多聚焦于测试结果、缺陷数量、覆盖率以及上线质量等指标。然而，当AI Agent介入研发流程后，质量问题变得远比以往复杂。

因为AI的输出并非简单的确定性程序执行，而是由模型能力、上下文质量、Prompt设计、Skill调用、工具链协同以及任务拆解方式等多个因素共同决定的。同样的需求，AI今天可能生成高质量结果，明天换一个上下文就可能出现偏差。同样的Agent，在线下评测中表现良好，一旦进入真实研发流程，可能因日志缺失、工具调用异常、上下文污染或Skill编排不稳定，导致整体质量显著下降。

因此，AI工程化真正需要解决的并非“能否生成”，而是：

生成质量是否具备稳定的基线
执行过程是否能被实时评审
Agent的调用链路是否可观测
质量问题是否能精准定位到具体环节
线上数据是否能回流到评测体系
整个系统是否能持续进化

这也是本次分享中，SpecDrivenDev评测与可观测性闭环所要回答的核心问题。

二、“锚-盾-眼”：SDD评测体系的三重奏模型

刘振凯老师将在分享中系统阐述SDD评测的“锚-盾-眼”三重奏模型。这套模型可以理解为AI工程质量治理中的三个关键支点，相互协同，缺一不可。

线下评测是“锚”：它用于建立质量基线，帮助团队准确判断当前模型、Agent、Skill、Prompt以及流程编排所处的水平。只有先建立基线，后续的模型升级、工具调整和流程优化，才有可比较、可验证的依据。

线上评审是“盾”：它用于守住过程质量。AI在真实研发流程中运行时，输入更为复杂，任务更加动态，风险也更难提前覆盖。此时，需要通过线上实时评审机制，形成质量门禁，避免低质量产物直接进入后续研发环节。

可观测性是“眼”：它用于看清Agent的执行全过程，包括任务拆解、上下文使用、工具调用、Skill执行、Token消耗、异常节点以及链路时序等。它让原本不可见的AI执行过程，转变为可分析、可度量、可优化的数据资产。

这三者并非孤立存在。线下评测解决“有没有质量标准”；线上评审解决“过程是否可控”；可观测性解决“问题是否看得见、追得回、改得动”。最终形成完整闭环：评测 → 评审 → 观测 → 回流。这也是AI研发质量体系从“事后验证”迈向“全程体检”的关键路径。

三、从“结果导向”到“过程可溯”

许多团队刚开始做大模型评测时，容易误将其理解为“只看最终答案是否正确”。但在真实工程场景中，仅关注结果远远不够。尤其是在SpecDrivenDev这类围绕规格、需求、设计、实现、验证展开的研发模式中，AI不只是生成一段文本或代码，而是深度参与整个研发链路。

这意味着评测维度必须从单一结果，扩展到全流程质量。例如：需求理解是否准确？任务拆解是否合理？上下文引用是否充分？Skill调用是否匹配任务目标？工具执行结果是否被正确理解？生成内容是否符合规格约束？异常场景是否有识别和相应处理？中间步骤是否可追踪？最终结果是否能回溯到输入依据？

当AI Agent介入研发流程后，真正有价值的评测不应只停留在“这次答案对不对”，而要进一步回答：它为什么会得出这个答案？这个答案是否稳定可复现？如果出错，错在哪个环节？下一轮如何让系统自动改进？这也是从“暗箱”走向“透镜”的核心变化所在。

四、线下评测：先建立质量基线

在线下评测阶段，重点是构建可复用、可对比、可持续迭代的评测体系。其中包含两个关键能力。

第一个是评估器设计。评估器并非简单的打分工具，而是需要将业务规则、工程规范、质量标准和模型判断能力有机结合。不同任务需要匹配不同的评估器：需求分析任务注重完整性、准确性及歧义识别能力；测试用例生成任务关注场景覆盖、边界条件、异常路径和可执行性；代码生成任务强调可读性、可维护性、安全性和规范一致性；Agent执行任务则需评估任务拆解、工具调用、状态流转及最终产物质量。

第二个是评测集构建。评测集决定了评测体系的上限。一个优质的评测集，不应只是堆砌样本，而应覆盖真实研发场景中的高频问题、复杂问题、边界问题和历史质量问题。如果评测集只覆盖简单任务，评测结果很容易“好看但不可信”。

因此，线下评测的价值不仅是给模型打分，更是帮助团队建立一套稳定的质量基准。有了基线，后续的模型升级、Prompt调整、Skill改造以及Agent编排优化，才有可靠的对比依据。

五、线上评审：用Skill驱动实时质量门禁

线下评测解决的是基准问题，但AI真正运行在研发流程中，还需要线上评审机制的支撑。因为真实场景中的输入更复杂，任务更动态，许多风险无法仅靠离线评测提前覆盖。此时，线上评审就像一道“盾”，为过程质量保驾护航。

它并非等最终产物完成后再做一次检查，而是在AI执行过程中，通过Skill驱动的方式实现实时质量门禁。例如：当AI生成需求分析结果时，可触发规格一致性检查；当AI生成测试用例时，可触发覆盖率、边界值及异常场景检查；当AI调用工具链执行任务时，可触发权限、路径、上下文及调用结果校验；当AI输出研发产物时，可触发规范性、可维护性及安全性评审。

这种机制的核心价值在于：AI不再是“生成完再说”，而是在生成过程中就受到持续约束。这对于企业级AI工程落地至关重要。企业真正关心的，不是一次Demo能否跑通，而是当AI进入真实研发链路后，能否稳定、可控、可治理。

六、可观测性：让Agent的每一步都看得见

本次分享中，一个非常值得关注的重点是CC-Observe的可观测性实践。AI Agent的执行过程往往涉及多轮对话、工具调用、上下文读取、Skill执行、结果汇总和异常处理。如果没有可观测性，团队只能看到最终输出，却难以了解中间发生了什么。CC-Observe重点解决的就是这个问题。

本次分享将展示包括以下方向在内的工程实践：

日志全自动转换：将Agent运行过程中的日志、调用链路和执行状态，转化为可分析的数据结构，显著降低人工排查成本。

六维Token量化：不只是关注总消耗，而是从多个维度拆解Token使用情况，帮助团队识别成本浪费、上下文冗余及关键步骤消耗异常等问题。

多智能体协作分析：当多个Agent或多个Skill共同完成任务时，可观测体系能够帮助团队清晰了解不同角色之间的协作关系、责任边界与问题来源。

Skill时序可视化：将Skill调用顺序、执行耗时、输入输出及异常节点可视化，使复杂链路不再依赖人工猜测。

这些能力的意义在于：AI Agent不再是一个只给结果的黑盒，而是一个可以被观察、被分析、被优化的工程系统。

七、从评测到回流：让质量体系自己转起来

真正成熟的AI工程体系，不应只停留在“发现问题”层面。更重要的是，将问题转化为可持续改进的数据资产。这也是“评测 → 评审 → 观测 → 回流”闭环飞轮的核心价值所在。

线下评测发现模型或流程的基线问题；线上评审拦截真实过程中的质量风险；可观测性精准定位问题出现的具体环节；回流机制再将这些问题沉淀到评测集、规则库、Skill优化、Prompt策略和Agent编排中。这样一来，AI质量体系就不再是一次性项目，而是能够持续进化的工程机制。

每一次异常、每一次低质量输出、每一次调用失败、每一次Token消耗异常，都可以成为下一轮优化的输入。这也是AI研发从“靠经验调Prompt”走向“靠体系做治理”的关键分水岭。

八、为什么这场分享值得研发、测试、效能团队重点关注？

这场分享的价值，不仅在于介绍一个评测平台或一个可观测工具。更重要的是，它回答了企业在AI工程化落地中必然遇到的几个核心问题：AI参与研发后，质量基线如何建立？Agent执行过程如何被看见？线上过程质量如何实时守住？评测结果如何反哺系统优化？从需求、规格、代码到测试，如何形成完整闭环？大模型应用如何从“能用”迈向“可信、可控、可持续优化”？

对于正在推进AI编码、AI测试、智能研发平台、Agent工程化以及研发效能平台建设的团队而言，这些问题都非常现实。尤其是在企业内部，AI工具如果无法评测、无法观测、无法追溯、无法治理，就很难真正进入核心研发流程。从这个角度看，SpecDrivenDev的评测与可观测性实践，本质上是在探索一条更工程化、更可信的AI落地路径。

九、讲师介绍

刘振凯，中兴通讯技术教练，中兴通讯AI技术教练，拥有近10年中兴通讯无线研发实战经验。目前主导公司级大模型评测平台和可观测工程建设工作，同时参与大模型语料工程、模型训练等相关工作。本次分享将结合中兴通讯在AI工程化、模型评测、可观测工程与SpecDrivenDev实践中的真实案例，系统拆解从“暗箱”到“透镜”的全链路闭环建设方法。