本教程将带你快速搭建一套基于DeepSeek的测试用例自动生成系统,通过引入知识库增强生成(RAG)技术,大幅提升测试用例的专业度与业务贴合度。无论你是测试新人还是资深专家,都能轻松掌握。
一、背景与系统定位
此前我们分享过两篇关于8分钟系列DeepSeek赋能软件测试的文章,已初步构建了基础测试用例生成能力。今天重点介绍知识库的整合与应用。
8分钟打造一个DeepSeek加持的测试用例工具
北极星学派,公众号:北极星学派 Polaris School8分钟打造一个DeepSeek API智能测试引擎:当咖啡还没凉,测试报告已出炉
北极星学派,公众号:北极星学派 Polaris School本系统在此基础之上引入知识库增强生成(RAG)技术,通过融合领域文档和历史用例数据,让生成结果更贴合实际业务场景。
1.1 为什么需要知识库?
传统AI生成方案存在两个主要痛点:
- 领域知识缺失:大模型无法读取企业私有文档(如需求规格说明书、接口文档)
- 历史经验浪费:过往积累的测试用例未能被有效复用
本系统通过轻量化RAG架构(无需向量数据库)实现了以下能力:
- PDF文档智能解析 ➡️ 构建专属领域知识库
- 历史用例语义检索 ➡️ 形成经验复用机制
- 动态增强生成提示词 ➡️ 提升用例专业度与准确性
小提示:如果团队已有现成的测试用例库,可以直接导入CSV文件作为历史经验,效果立竿见影。
常见问题
- 问:知识库中的文档格式有限制吗?
答:目前支持PDF格式。后续版本可扩展支持Word、Markdown等常见格式。 - 问:历史用例数据量太大怎么办?
答:系统推荐数据规模在10万条以内,若超出建议按模块拆分或升级到向量数据库方案。
- 上传文档到知识库
- 第一次生成未选择使用知识库增强 -> 设计的测试用例与手机号登录完全无关
- 第二次选择使用知识库增强 -> 设计的测试用例能够正确识别手机号进行注册系统,并包含更多业务细节
二、核心逻辑解析
2.1 系统架构全景
系统采用模块化设计,核心组件包括:知识库构建模块、增强检索引擎、动态提示词工程以及DeepSeek大模型调用。整体流程如下:
- 用户上传PDF文档 → 知识库构建模块解析并存储段落信息
- 用户输入需求描述 → 增强检索引擎从知识库和用例库中检索相关内容
- 动态提示词工程将检索结果与用户需求拼接 → 调用DeepSeek API生成测试用例
- 输出JSON格式的测试用例集合
2.2 关键技术点说明
2.2.1 知识库构建模块
def process_pdf(uploaded_file):
# PDF分页提取文本
pdf_reader = PyPDF2.PdfReader(filepath)
# 智能分段规则(当前采用较为简化的方式)
paragraphs = re.split(r'\n\s*\n', text)
# 结构化存储
segments.append({
'segment_id': f"{filename}_{page_num}_{i}",
'document_name': uploaded_file.name,
'page_num': page_num + 1,
'content': paragraph
})
创新点:
- 采用唯一段落ID,便于追溯来源
- 按自然段落分割,保留上下文语义完整性
- 自动过滤无效短文本(长度小于20字符)
注意:如果PDF中包含表格或特殊排版,建议先用OCR工具预处理,否则可能丢失结构化信息。
2.2.2 增强检索引擎
def find_similar_cases(new_req, df, top_k=3):
# TF-IDF向量化
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(...)
# 余弦相似度计算
similarity = cosine_similarity(tfidf_matrix[-1], tfidf_matrix[:-1])
return top_indices
设计考量:
- 相比BM25算法更易于实现和维护
- 计算效率:O(n)复杂度,千级数据可实时响应
- 结果可解释性强,适合调试和优化
小提示:如果检索结果不够精准,可以尝试调整top_k参数(默认3),或者增加文档的权重系数。
2.2.3 动态提示词工程
system_prompt = f"""参考知识:
文档《{item['document']}》第{item['page']}页:{item['content']}
历史用例{idx+1}: {case}
生成要求:
1. JSON数组格式...
"""
增强策略:
- 知识片段截断处理(每段最多512字符)
- 优先级排序:领域知识 > 历史用例
- 格式强约束(通过JSON Schema注入)
三、关键技术选型解析
3.1 什么是RAG?
检索增强生成(Retrieval-Augmented Generation)通过以下流程显著提升生成质量:
用户问题 → 知识检索 → 提示词增强 → 大模型生成 → 结果输出
与传统生成方式的区别:
- 知识实时性:无需重新训练模型即可引入最新信息
- 数据安全性:敏感信息始终留在企业内部
- 结果可控性:通过检索结果引导生成方向,降低幻觉风险
3.2 为什么不用向量数据库?
尽管向量数据库(如ChromaDB)在RAG中广泛使用,但本系统选择了TF-IDF+CSV文件存储方案,原因如下:
| 维度 | 向量数据库方案 | 本系统方案 |
|---|---|---|
| 部署复杂度 | 需单独部署服务 | 零依赖,单文件即可运行 |
| 硬件要求 | 需要GPU加速 | CPU即可流畅运行 |
| 数据规模 | 适合百万级以上数据 | 千级文档表现最优 |
| 可维护性 | 需要专业DBA维护 | 直接修改CSV文件即可 |
| 学习成本 | 需掌握查询语法 | 开发者无需学习新知识 |
适用场景:
- 中小团队快速验证RAG实际价值
- 领域文档更新频率较低(周级)
- 测试数据规模小于10万条
小提示:如果未来数据量暴增,可以平滑迁移到向量数据库,只需替换检索模块即可。
四、快速部署指南
4.1 环境准备
4.1.1 安装Python包
# 核心依赖
pip install streamlit pandas requests sklearn
# PDF处理
pip install PyPDF2 pdfminer.six
# JSON修复
pip install json_repair
4.1.2 获取API密钥
- 访问任意大模型提供商官网注册账号,本文以腾讯云为例
- 创建应用 → 获取
sk-xxxx格式密钥 - 在代码中替换:
headers = {"Authorization": "Bearer sk-xxxx"}
4.2 系统启动
# 首次运行自动创建知识库目录
mkdir -p temp
# 启动Web服务
streamlit run testcase_generator.py
4.3 功能验证流程
- 上传领域文档:
- 进入"知识库管理"页面
- 上传PDF格式的需求文档或接口文档
- 查看处理后的知识段落
- 生成增强用例:
需求示例:
用户管理模块,包括用户注册和登陆等- 勾选"使用知识库增强"选项
- 查看生成的边界值测试用例
- 结果导出:
- 直接复制JSON格式用例
- 通过Pandas导出Excel:
pd.DataFrame(new_cases).to_excel("output.xlsx")
常见问题:启动后页面空白怎么办?
答:检查终端是否报错,通常是依赖安装不完整,重新执行pip install即可。
五、性能优化建议(有精力有能力的动手爱好者们可以继续优化)
5.1 知识库分级存储
# knowledge_segments.csv新增字段
knowledge_df['category'] = "需求文档" # 需求文档|接口规范|测试报告
knowledge_df['importance'] = 5 # 1-5分级
检索时优先匹配高等级知识片段
5.2 缓存机制
from functools import lru_cache
@lru_cache(maxsize=100)
def load_cases():
# 缓存历史用例加载
5.3 异步处理
import asyncio
async def async_generate_cases():
# 非阻塞生成
六、扩展方向
- 多模态支持:利用OCR技术解析图片中的需求文档
- 自动化评审:集成用例质量评分模型
- CI/CD集成:与Jenkins或GitLab对接实现自动触发生成
通过以上步骤,你已经成功搭建了具备知识库增强能力的测试用例生成系统,能够显著提升测试效率与质量。未来还可继续探索多模态、自动化评审等扩展方向,让测试工作更加智能高效!
