本教程基于蚂蚁集团知识库专家在#QECon深圳站的分享,深度拆解了从传统RAG方案起步,通过引入知识图谱与DeepSearch Agent,将企业级知识库问答准确率从60%提升至95%的完整落地过程。无论你是RAG新手还是正在优化问答系统的工程师,都能从中获得可直接复用的实战经验。
业务背景与挑战
该AI助手基于企业内部的研发知识库,核心目标是降低研发人员处理咨询工单所带来的人力成本消耗。月度工单量高达数万条,传统人工处理方式已无法满足效率要求。
第一阶段:传统RAG优化与瓶颈
传统RAG方案架构
一切从传统RAG方案起步,其核心流程包括:
- 离线文档处理:文档解析、长文档分片、文本/段落/块等多级别摘要、Embedding 入库
- 在线检索生成:前置意图识别/问题改写/工具调用、多路检索和 Rerank 排序、Qwen14B 生成答案
优化后的效果
经过持续优化,传统RAG方案达到了如下指标:
- 文档召回率 80%+
- 最终生成准确率 60%+
小提示:如果你也正在做企业内RAG问答,经过反复评测后会发现,这个数字非常真实。不要灰心,这正是继续优化的起点。
传统RAG的三大核心瓶颈
为什么传统RAG远远不够用?因为它无法解决以下复杂问题场景:
- 传统 RAG 在跨文档召回时的成功率低
- 用户的需求日益复杂,需要多篇文档甚至结合工具调用才能解答
- 知识资产无组织,检索低效,难以发挥出应有价值
第二阶段:知识图谱构建与多级检索
为解决上述瓶颈,团队引入了轻量化LightRAG方案,构建领域知识图谱,实现语义理解对齐和知识跨文档关联。
知识图谱构建关键技术
- 动态实体抽取:融合领域术语库与LLM,实现混合实体识别技术,确保知识图谱的实时性和准确性。
- 关系标签自动抽取:基于用户行为反馈优化标签权重,支持增量更新。
基于知识图谱的多级检索架构
实现两种互补的检索模式:
- local检索:快速定位相关实体子图,提升召回率。
- global检索:利用关系标签驱动的语义扩展,解决跨文档关联问题。
最终结合 local、global 以及传统 RAG 优化方案,实现召回率达到95%+。
常见问题:知识图谱构建是否非常复杂?
答:是的,但蚂蚁采用了轻量化LightRAG方案,通过动态实体抽取和增量更新,大幅降低了维护成本。关键是要有高质量的领域术语库作为种子。
第三阶段:DeepSearch Agent实现多工具协同
有了知识图谱的高召回率,还需要智能的推理和搜索策略。团队设计了DeepSearch Agent,将传统RAG检索、图谱检索、代码检索等整合为可调用的工具集。
优化1:结合迭代式搜索框架的检索Agent
在 DeepSearch 方案中,把以下工具都交给大模型来选择:
- 传统 RAG 检索(含稀疏检索、稠密检索)
- local 图谱检索
- global 图谱检索
- 代码检索
大模型基于推理能力,结合每一轮的检索结果,判断是否需要以及使用什么工具进行下一轮检索。
优化2:结合深度定制工具的领域助手Agent
为进一步提升匹配效果,团队深度定制了以下能力:
- query理解:通过让模型自主决定调用哪些工具来解决问题。
- 上下文重写:利用上下文信息进行查询重写,提升查询与知识标签的匹配度,增强理解能力。
- 工具调用:引入工具调用机制,支持更复杂的操作流程,提高解决问题的能力。
- 优化匹配:利用领域图谱进行改写;有效解决口语化表达与专业文档之间的匹配难题,显著提升匹配效率和准确性。
常见问题:DeepSearch Agent的token成本会不会很高?
答:是的,因为每轮迭代都需要调用大模型进行推理和生成。但蚂蚁团队通过优化工具选择逻辑和限制迭代轮数(通常2-3轮),在成本和正确率之间取得了平衡。最终问答准确率从60%跃升至95%,成本增加是可接受的。
业务落地效果
该方案在企业内落地后取得显著成效:
- 复杂问题解决率显著提高
- 平均响应时间大幅缩短
- 人工工单量降低10%
- 业务落地覆盖前后端等各技术栈平台,证明方案的泛化性
核心经验总结
从蚂蚁集团专家的实战中,我们可以提炼出三条关键经验:
- 传统RAG的60%正确率并非终点:通过知识图谱(GraphRAG)可以将召回率提升至95%+,为最终高准确率奠定基础。
- 知识图谱+迭代式搜索是破局关键:LightRAG方案虽然复杂、token成本高,但因其极高的准确率,依然值得在关键业务场景中采用。
- Agent是终极答案:强如GraphRAG也始终是搜索工具。要想解决复杂的真实用户诉求,具备推理能力和工具调用的Agent才是最终方案。
小提示:如果你的业务场景多为简单问答(单文档、单事实),传统RAG可能已经够用。但若用户经常提出跨文档、需要推理的问题,建议尽早引入知识图谱+Agent架构。
