为保护客户业务信息,本文对企业名称、被测产品及部分测试数据进行了匿名化处理。文中内容基于真实 POC 验证过程整理。
如今,众多企业已开始运用 AI 生成测试用例,这无疑是测试领域的一大进步。然而,当进入测试执行的核心环节时,一个更根本的问题逐渐浮现:AI 是否能够摆脱对预先编写好的自动化脚本的依赖,直接理解手工测试用例中那些自然语言描述,自主操作 APP,并准确判断结果的对错?
换言之,我们的目标并非让 AI 去执行一个固定的脚本,而是期望它能像一个经验丰富的测试人员那样,依据测试用例去完成实际工作。
在最近一次企业 POC 中,我们选取了一个生活服务类 APP 的典型业务场景,对爱测智能测试平台的 APP 自动化测试智能体进行了验证。测试任务本身并不复杂,但极具代表性:启动 APP → 添加目标城市 → 判断添加结果 → 删除目标城市 → 判断删除结果 → 退出应用。整个流程虽然不长,但恰好覆盖了从理解指令到执行操作,再到结果断言这一完整链条中的关键环节。

企业为何要进行 AI 自动化测试验证?
传统 APP 自动化测试,主要依赖 Appium、UIAutomator 等框架。其流程已相当成熟:测试人员需要先定位元素、编写脚本、处理等待、设计断言,并集成测试报告。这套体系在页面稳定、变动较少的场景下运行良好,但一旦业务进入快速迭代周期,问题便会随之而来。
首先,自动化脚本的建设周期长。将一条手工测试用例转化为可执行的脚本,测试开发人员需要将自然语言拆解为代码,并为每个页面元素配置好定位方式。对于业务流程长、交互复杂的 APP,改造工作量相当可观。
其次,页面变化会带来持续的维护成本。按钮位置调整、页面结构变化、控件属性修改,都可能导致原有脚本失效。测试人员不仅要编写脚本,更要投入大量精力去维护它们。
再者,许多指令型测试步骤,传统脚本根本无法直接执行。例如,手工用例中写“删除目标城市”,对人类测试人员而言清晰明了,但传统自动化脚本却难以理解。它需要将这个指令拆解为:进入城市管理页面 → 找到目标城市 → 点击删除入口 → 点击删除图标 → 确认删除 → 检查城市列表。每一步都必须提前在代码中写死。
因此,企业真正想验证的核心是:AI 智能体能否理解这种面向业务的测试指令,并自主完成后续所有操作。
本次 POC 选择了哪个业务场景?
本次 POC 选取了某生活服务类 APP 中的“城市管理”功能。虽然这个场景看似简单,但它涵盖了页面跳转、信息搜索、列表选择、数据删除和结果断言等多种操作,是一个典型的移动端业务流程。
测试用例的主干步骤如下:
启动被测 APP → 进入城市管理页面 → 点击添加城市 → 搜索并添加目标城市 → 检查目标城市是否添加成功 → 删除刚刚添加的目标城市 → 检查目标城市是否已被移除 → 检查当前页面是否显示默认城市 → 退出应用。
这个场景的验证价值在于,它同时考验了智能体的多个能力维度:
用例理解——能否看懂自然语言编写的测试步骤;页面感知——能否识别当前页面的结构和可操作元素;路径规划——能否从当前页面规划出到达目标功能的操作路径;搜索与输入——能否完成输入、搜索和列表选择;自主推理——能否将“删除城市”这类指令拆解为多个具体动作;结果断言——能否判断添加、删除操作是否成功;过程留痕——能否生成截图、视频、日志和断言记录。
简而言之,本次验证的重点并非某一个点击动作,而是 AI 对完整测试任务的理解与执行能力。
AI 测试智能体如何执行测试?
爱测智能测试平台的做法并非简单地将手工用例翻译成一段固定脚本,而是通过 APP 自动化测试智能体实现动态执行。整个过程可分为五个阶段。

第一阶段,用例配置。测试人员在平台中选择要执行的手工测试用例,并配置本次执行所需的模型、智能体、执行节点和运行参数,配置完成后即可启动任务。
第二阶段,启动并分析 APP。智能体启动被测 APP 后,不会立刻按照固定坐标去点击,而是先分析当前页面的结构,识别出其中的按钮、输入框、列表和可交互区域。
第三阶段,按照测试意图执行操作。智能体根据测试用例中的业务描述,依次完成进入城市管理页面、点击添加入口、搜索目标城市、选择并添加城市、检查添加结果、进入删除流程、删除目标城市、检查删除结果等操作。在此过程中,每一步操作都结合当前页面状态动态决定。
第四阶段,自主完成断言。测试用例中不仅包含操作步骤,还包含预期结果。智能体需要确认:目标城市是否出现在城市列表中?删除操作完成后,目标城市是否已消失?当前页面显示的是否是预期的默认城市?这意味着 AI 不仅要负责“点击”,还需要理解测试步骤对应的业务结果。
第五阶段,生成完整测试报告。执行完成后,平台会自动生成报告,记录每一步的操作截图、实际执行动作、断言过程和结果、测试执行视频、详细运行日志以及用例的最终执行状态。测试人员可以根据截图、视频和日志,回溯整个执行过程。
本次重点验证了哪些 AI 能力?
本次 POC 重点验证了以下五项核心能力。
第一,自然语言测试用例理解。传统自动化需要将业务步骤转化为代码,而 AI 智能体则直接读取手工测试用例,识别其中的操作对象、操作意图、页面目标、预期结果和断言条件。例如,当用例中写“添加目标城市”时,智能体需要理解这并非一次简单的点击,而是一个包含进入页面、搜索、选择和确认的连续任务。
第二,页面结构动态分析。智能体启动 APP 后,会根据当前页面内容识别可操作元素,而非完全依赖预先写死的坐标。当页面状态发生变化时,它会重新分析,再决定下一步行动。这种执行方式能有效降低对固定页面路径和元素定位的依赖。
第三,操作路径自主规划。本次验证中,测试用例描述的是业务目标,并未为智能体提供每一步的点击动作。以“删除目标城市”为例,智能体需要自主推理:删除目标城市 → 进入城市管理或编辑页面 → 定位目标城市 → 找到删除入口 → 点击删除 → 处理确认操作 → 检查删除结果。这是本次 POC 最具代表性的验证点——AI 智能体并非机械地复现预设脚本,而是根据测试目标和当前页面状态,动态规划操作步骤。
第四,业务结果智能断言。测试执行是否成功,不仅取决于操作是否完成,更在于业务结果是否符合预期。在本场景中,智能体完成了对目标城市添加成功、删除成功、页面显示默认城市等多重结果的判断。这使得 APP 自动化测试从“执行动作”延伸到了“验证业务结果”。
第五,测试过程可观测与可追溯。AI 自动化测试要进入企业,仅有执行成功率是不够的,还必须解决一个问题:当执行失败时,测试人员能否快速定位问题所在?本次执行中,平台生成了完整的步骤截图、操作日志、断言结果、执行视频和异常信息。测试人员可以通过视频回放还原操作过程,通过日志分析执行步骤,通过截图定位具体页面状态。这为后续的问题分析、执行复盘和缺陷定位提供了有力依据。
POC 最终取得了什么结果?
本次单条测试用例成功完成了完整的执行流程:启动 APP → 添加目标城市 → 断言添加成功 → 删除目标城市 → 断言删除成功 → 检查默认城市 → 退出应用。
从结果来看,平台完成了所有核心能力的验证:识别自然语言测试步骤、分析 APP 页面结构、自主规划操作路径、执行点击搜索和选择、根据指令推理删除流程、完成添加与删除断言、生成截图视频和日志、输出完整测试报告。尤其在“删除目标城市”这个指令型步骤中,智能体能够根据当前页面状态,自主推理出需要进入编辑页面、定位目标城市、点击删除入口并完成确认操作。最终执行结果与人工测试人员按照测试用例操作的结果一致。
当然,需要说明的是,本次验证是在特定 APP、特定版本和特定测试用例下完成的。单条用例执行成功,并不等同于已完成大规模生产验证。但至少证明了一点:AI 测试智能体已具备从手工测试用例出发,完成 APP 操作执行、结果断言和报告生成的基础能力。
AI 测试平台能为企业带来什么价值?
第一,降低手工用例自动化改造的门槛。企业现有的测试资产中,通常积累了大量的手工测试用例。传统自动化需要将这些用例逐条转化为代码,而 AI 智能体能够直接理解自然语言编写的测试步骤,为企业已有的用例资产提供了全新的执行方式。这意味着,测试自动化的起点可以从“编写脚本”逐步前移到“编写清晰的业务用例”。
第二,减少简单重复脚本的开发成本。对于登录、搜索、添加、删除、设置这类常见业务流程,测试团队通常需要花费大量时间编写和维护自动化脚本。通过让 AI 智能体承担部分指令型用例的执行工作,测试开发人员可以将更多精力投入到复杂业务场景设计、测试策略制定、平台能力建设、质量风险分析和核心链路保障等更高价值的工作中。
第三,提升测试用例的可执行性。传统手工测试用例更多是为人类阅读而设计的。引入 AI 智能体后,用例需要具备更明确的操作对象、业务目标和预期结果。例如,相比“检查一下城市功能”,更适合 AI 执行的描述是“搜索并添加目标城市,确认该城市出现在城市列表中;随后删除该城市,确认城市列表中不再显示该城市”。这种变化也将推动企业逐步提高测试用例的规范性和结构化程度。
第四,缩短测试结果分析的链路。测试失败后,平台不仅给出“成功”或“失败”的结果,还能结合截图查看页面状态、通过视频回放操作过程、利用日志分析执行步骤、借助断言记录确认预期差异。相比只提供最终结果的黑盒式执行,这种可观测的执行过程更有利于企业定位问题根源。
第五,为智能化测试体系提供统一入口。爱测智能测试平台的能力并不局限于 APP 用例执行,还可以围绕企业测试全流程进行扩展,包括需求文档分析、测试点提取、测试用例生成、手工用例 AI 自动化执行、Web 和 APP 等多端测试、智能遍历与探索性测试、领域建模与知识图谱、测试报告与质量数据沉淀。企业可以从一个高频、可验证的业务场景开始,通过 POC 逐步验证平台能力,再根据实际效果扩展应用范围。
从 POC 走向企业落地,还需要关注什么?
一次 POC 跑通,解决的是“能力是否可行”的问题。要真正进入企业生产环境,还需要进一步验证以下几方面。
首先,用例规模。需要从单条用例逐步扩展到几十条、几百条甚至更多,以评估批量执行的效果。
其次,页面复杂度。需要覆盖弹窗、动态列表、权限申请、网络异常、加载等待、复杂手势等更多移动端交互场景。
第三,执行稳定性。需要连续运行多轮,统计执行成功率、平均耗时、失败原因和重试效果。
第四,版本适应能力。需要在 APP 页面改版、控件变化或流程调整后,观察智能体是否仍能正确完成任务。
第五,成本与效率。除了关注模型能力,还需综合评估单条用例执行时间、模型调用成本、Token 消耗、设备资源占用以及人工维护投入。爱测智能测试平台在执行过程中已集成了相应的算法和调度能力,以减少不必要的模型调用和 Token 消耗,但具体收益仍需结合企业真实用例规模进行测算。
这次企业 POC 验证的意义,不仅在于完成了一次“添加并删除城市”的 APP 操作。它真正验证的是一条全新的自动化测试路径:自然语言测试用例 → AI 理解测试意图 → 分析当前页面 → 自主规划操作 → 模拟用户执行 → 判断业务结果 → 生成可追溯报告。
传统自动化测试的核心是“测试人员提前将每一步写成代码”。而 AI 测试智能体尝试解决的,则是“测试人员描述要验证什么,由智能体根据页面和业务目标决定具体如何执行”。
对于正在建设智能化测试体系的企业来说,更合适的落地方式并非一开始就替换现有自动化体系,而是选择具有代表性的业务场景开展 POC:验证智能体能否理解现有手工用例,验证复杂交互能否稳定执行,验证断言结果是否可信,验证报告是否便于追溯,验证整体成本是否具备投入价值。从一个场景跑通,到一类场景复制,再到多端测试规模化应用,这才是 AI 测试平台真正进入企业质量体系的现实路径。
