游乐游手机版
首页/AI热点日报/热点详情

拼多多测试团队用AI将回归时间从3天压缩至2小时

类型:热点整理2026-07-17
拼多多测试团队通过AI实现回归测试流程变革,将全量回归周期从3天压缩至2小时。核心在于变更影响分析、用例-风险关联和智能调度三大引擎,精准圈定最小必要用例集,按风险排序并发执行,大幅提升决策速度而非执行速度。

分享一个数据。去年双十一大促封网前夜,一位在拼多多做测试的朋友感慨:“终于不用再通宵等回归结果了。”

评论区瞬间炸出不少同行。参与过大促的测试工程师都清楚,全量回归测试耗时三天是常态。业务团队急切催促“能不能上线”,回答却总是“还在跑用例”。

后来深入交流,信息量很大。他们一条核心业务线,将3万条回归测试用例压缩至几千条,再通过AI智能调度,把回归周期从3天缩短到2小时以内。

核心并非增加机器,而是转变AI测试策略。

大促前的回归噩梦,为何被AI终结

过去拼多多的大促回归测试流程,与大多数公司相似:全量执行自动化用例集,夜间运行,白天修复脚本,晚上再跑。三万个测试用例,分布式执行最快也要几十小时,期间还需处理环境波动、数据冲突、脚本失效等问题。

真正的痛苦并非时间长短。而是跑完一轮后,发现失败的用例中80%是环境问题,只有20%可能是真实缺陷。排查又耗费半天,大促窗口已临近关闭。

现在的做法是:提交代码后,AI自动完成变更影响分析,从全量用例库中精准圈定最小必要集,按风险排序,在弹性容器集群中并发执行。高风险用例优先运行,低风险用例并行执行,结果实时推送。

全量回归测试曾是测试团队效率的遮羞布,AI将其彻底改变,这颇具思考价值。

回归的瓶颈不是执行速度,而是决策速度

过去大家总想如何把用例跑得更快。优化分布式、提升并发、扩容执行机。但很少有人反思:这些用例,真的都需要跑吗?

拼多多团队统计发现,历次大促前回归测试发现的缺陷,91%集中在不到15%的用例覆盖范围内。剩余85%的用例,连续十几次回归测试零缺陷,沦为“陪跑”。

回归测试的核心瓶颈,并非执行速度,而是“该跑哪些用例”的决策速度。

人工决策的弊端很明显:依赖经验,要么担心漏测不敢精简,要么误删关键用例。一个代码改动影响了哪些模块、接口、历史风险点,靠人脑已难以准确判断。

他们的做法,本质上是将“变更影响分析”这一决策过程,从人脑移交给了AI模型。

拆开这个AI大脑,里面就三件事

这个AI系统并不神秘,拆解来看包含三个核心引擎。

第一,变更影响分析引擎。
每次代码提交,系统通过AST解析和运行时调用链数据,自动生成“变更影响拓扑图”。例如,修改下单接口的入参校验逻辑,拓扑图会展示:该接口被哪些服务调用,这些服务关联哪些前端页面和后台任务,最终影响哪些业务流程。

第二,用例-风险关联模型。
这一步将历史数据转化为知识。系统将过去三年所有线上缺陷、回归发现的Bug,与当时的代码变更、用例执行结果进行关联训练。训练出的模型能回答:上一次修改该函数时,哪些用例失败?失败的是什么类型缺陷?此次类似改动,同类型用例是否应优先执行?

第三,智能分群与调度。
圈定出的用例集不会盲目全跑。系统按风险等级分为三群:高风险用例串行优先执行,确保核心链路优先验证;中低风险用例并行运行,通过弹性容器动态扩容。结果输出后,自动聚类失败原因,区分环境问题、脚本问题和真实缺陷。

三个引擎串联,形成清晰流水线:

挑不准用例,再快的执行都是资源浪费。

一个真实场景:订单状态机改动,AI如何精准选择用例

举例说明。一次他们修改了订单状态机,新增了“部分发货”的中间状态。

人工评估影响范围时,通常会考虑:正向发货流程、确认收货流程、超时自动取消的定时任务。但容易忽略退款逆向流程。部分发货状态下发起退款,金额如何计算?已发货与未发货部分如何分摊?退款成功后,状态机能否正确扭转回“已取消”?

人工遗漏此场景并不奇怪,因为正向开发与测试的思维惯性是聚焦主流程。

然而,他们的AI模型在分析此次变更时,从历史缺陷库中匹配到一条记录:两年前一次状态机枚举值调整,曾导致退款金额计算异常,发生线上资损事故。模型自动将那次事故关联的用例簇标记为高风险,推荐优先执行。结果确实发现类似问题——部分发货退款时,金额分摊精度误差导致总退款多出1分钱。

这类问题靠人难以回忆,但数据不会遗忘。

想落地,先别急着上模型

交流后觉得这套方案确实有效,但中小团队如何落地?朋友给出的建议很实在,分三步走。

第一步,先别急于AI。先完成两件基础工作:为代码提交与用例建立关联标签,每次提测时自动推荐用例集。推荐算法可以简单到“基于模块名映射+上一次回归结果”,一两周即可跑通。

第二步,积累数据。每次回归的结果、每次线上缺陷,都结构化记录,尤其是“哪个变更导致哪个用例失败”的对应关系。这比任何模型都更有价值。没有数据积累,再好的AI也是空中楼阁。

第三步,数据量足够后,再引入轻量级模型做关联推荐。无需自研,结合开源方案与embedding检索即可奏效。

他们并非一开始就如此复杂。前两个版本依靠规则+人工标签支撑,模型在积累足够数据后才真正发挥作用。

工程实践,先解决有无,再优化好坏。

测试工程师的新分工:写用例,还是写规则

这套系统运行后,他们团队测试工程师的工作内容发生了显著变化。

过去大量时间用于“挑用例、排计划、盯执行、查脚本”。现在这些工作由系统完成。测试工程师则转向测试策略设计——如何为AI制定风险分级规则、设计用例标签体系、验证推荐模型准确率。另一部分人专注于探索性测试和深度缺陷挖掘,这些AI尚未完全掌握的能力。

最值得思考的是:AI并未取代测试,但掌握AI规则的测试工程师,正在拉开与不会者的差距。

你是在每天被回归测试进度追着跑,还是在设计一套能让回归自动完成的AI规则体系?这是两条截然不同的职业路径。

你的团队目前一次全量回归测试耗时多久?跑完的结果中,有多少用例已连续十次未发现任何问题?

来源:https://developer.aliyun.com/article/1748378

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。