深入解析RAG系统实施中的挑战与应对策略
RAG（检索增强生成）系统在实际落地过程中，往往会遭遇诸多挑战。本文深度剖析了8个常见问题及其对应的解决方案，帮助你构建更加稳定可靠的RAG应用。核心内容涵盖：知识库资料处理的关键性及其优化策略，以及大模型在RAG系统中的职责边界与常见使用误区。
常见问题概览
以下是在RAG系统部署和运行中频繁出现的8个典型问题：
- 1. 不按「知识库」的答案回答，擅自发挥
- 2. 相同问题无法保证每次回答准确，甚至经常出错
- 3. 回答不完整，而「知识库」中明明包含完整答案
- 4. 正确答案与错误答案混杂在一起
- 5. 回答过于笼统，缺乏细节 / 或面面俱到、冗长啰嗦
- 6. 回答中不显示相关配图
- 7. 响应速度极慢，甚至直接崩溃
- 8. 回答片面，无法正确“选用”合适的支持资料
核心前提：知识库资料处理是重中之重
搭建RAG产品/系统时，90%的精力应投入到知识库资料的处理优化上。“巧妇难为无米之炊”。在RAG架构中，AI大模型仅在最后环节发挥价值。这个“巧妇”不可能用“烂树叶”做出一顿像样的晚餐。
前面列举的7个常见问题中，只有1和5是由“巧妇”负责的，其余5个问题均源于我们投喂了劣质资料。因此，将大量精力投入知识库资料建设，是构建稳定RAG系统的基石。
问题详解与解决方案
问题1：不按「知识库」的答案回答，擅自发挥
出现这一问题的根本原因在于对RAG的本质理解不清。在RAG系统中，大模型只需承担两项任务：
- 1. 判断当前问题能否回答
- 2. 对答案进行编辑整合
之所以出现“擅自发挥”，多数是因为没有明确界定大模型的职责边界。既然选择了RAG，就意味着我们不再完全信赖大模型自行生成的答案。既然不信任，就应贯彻到底：不要一边心存疑虑，一边又赋予其过多自主权。
RAG系统中，关于角色与任务的标准描述结构如下：
角色描述：一个没有主观能动性的角色，例如助理
任务情景：接收用户问题与支持资料，输出编辑后的文本任何试图使用类似下面“祈祷式”提示词来约束大模型的做法，都表明缺乏专业认知：
- 1. 不要胡编乱造
- 2. 不要生成不存在的内容
- 3. 确保回答准确（尊重事实）
- 4. ……