前言
KDD CUP2024的CRAG赛道中，荣获第三名的WeKnow-RAG方案备受关注。该方案巧妙融合了知识图谱与基于Web的RAG技术，通过多阶段检索、自评估机制及智能平衡框架，大幅提升了信息检索的精度与答案的可靠性。与其说是简单工具的组合，不如称之为一套精心设计的检索增强生成系统。
一、方法
1.1 基于Web的RAG
-
网页内容解析：此步骤借助BeautifulSoup库处理原始HTML源码，旨在将非结构化的网页数据转化为结构化内容，便于后续精准回答问题。
-
分块策略：采用基于token的分块方式，通过实验确定了最优分块大小。将文档划分为合适的段落，可显著提升问答系统的整体性能。
-
多阶段检索：为高效从数据源中检索相关文档，同时降低“幻觉”风险，该方案设计了一套多阶段检索流程。
- 第一阶段：首先利用稀疏检索（BM25）从网页结果块与片段块中快速筛选出候选段落。
- 第二阶段：随后结合稀疏检索与密集检索（嵌入相似性），实施混合搜索。稀疏检索依赖关键词匹配，密集检索则基于语义相似度（密集检索模型采用bge-large-en-v1.5，重排模型为bge-reranker-large）。
-
带自评估的答案生成：大语言模型在生成答案时同步输出信心水平（高、中、低）。仅当信心水平达到预设阈值时，答案才被采纳。此机制可有效抑制幻觉、提升答案质量。提示词被设计为输出JSON格式，包含答案与信心水平。
1.2 知识图谱
-
领域分类：首先将问题归类至特定领域（电影、体育、金融、音乐），若模型判断的不确定性超过90%，则归为开放领域。
-
查询生成：根据各领域提示，大语言模型返回结构化分析结果，并转换为与知识图谱API兼容的查询语句。由此可从知识图谱中精准抽取相关信息。
-
答案检索与后处理
- 答案检索：通过API在知识图谱上执行结构化查询。通常将复杂问题拆解为若干子问题或子功能，生成对应API调用，从知识图谱中检索候选答案集。
- 后处理：运用规则系统与机器学习技术，重点处理时间推理、数值计算及逻辑推理等问题。具体步骤为：先分解问题，再通过API调用查询知识图谱，获取候选答案集后进行额外推理（处理时间、数值、逻辑问题），最终根据推理结果选定最终答案。
1.3 集成方法
WeKnow-RAG的核心思路在于：依据不同领域特性，智能平衡知识图谱与基于Web的RAG方法。这种方式能够适应各领域信息变化的速度，在动态信息环境中持续保持最佳性能。
1.3.1 领域分类与时间分布
- 领域分类：通过大语言模型初始调用，将问题划分至具体领域或开放领域。
- 时间分布：分析每个领域的关键特征，判定为“静态”、“慢变”、“快变”或“实时”。
1.3.2 自适应框架
- 稳定领域：例如百科全书类开放领域，信息变化极小，优先使用知识图谱工作流，不启动完整的Web RAG流程。
- 慢变领域：如音乐和电影领域，信息逐渐变化，保持知识图谱优先，同时定期更新。更新频率由领域特定变化检测算法控制。
- 快变和实时领域：信息变化迅速，需动态调整知识图谱与Web RAG的使用比例，确保捕捉最新信息。
1.3.3 智能平衡
- 知识图谱优先：多数情况下优先使用知识图谱工作流，因其在稳定信息环境下具备更高准确性与可靠性。
- Web RAG补充：当遇到需要最新信息的查询时，结合Web RAG方法，通过多阶段检索与自评估机制，提供更全面、更及时的信息。
二、实验
- 通过优化知识图谱组件与分类提示，性能显著提升。初始基线得分仅为0.064，经逐步优化后达到0.1499。
- 分块大小设定为500时，效果最佳。
- 提高信心水平阈值，可明显提升答案准确性。
模型分析：
总结
WeKnow-RAG将知识图谱与Web搜索有机融合，构建了一个端到端的检索增强生成系统。多阶段检索与自评估机制提升了检索效率与准确性，而领域分类与查询生成则让知识图谱的应用更加精准。最终，该方案在不同领域和问题类型上均展现出显著的性能优势。