还在为RAG应用的“幻觉”问题感到困扰？这份涵盖21项优化项的清单，能帮你从根本上解决AI胡说八道的难题。无论你正着手搭建智能问答机器人，还是已在生产环境遭遇AI“信口开河”的窘境，这份基于真实案例提炼的自查清单，都将为你提供系统性的解决方案。
我曾经也和你一样，满怀信心地给老板演示自己搭建的知识库问答机器人，结果它面对一个简单问题，给出了看似专业、实则完全虚构的答案。现场气氛一度尴尬到让人想找个地缝钻进去。这种情形并非个例，而是每位AI应用开发者都会经历的“必修课”。
第一部分：我的两次“踩坑”实录——从失败中提炼经验
在搭建Dify技术文档问答助手的过程中，我走了两条典型的弯路。这些经历让我深刻领悟到RAG优化的核心要点。
弯路一：“大力出奇迹”法——数据越多越好？错！
错误做法：我把积攒的数百份Markdown和PDF文档，一股脑儿全倒入Dify知识库。当时的想法很简单：数据越多，AI知道得越多，效果自然越好。
惨痛结果：AI的表现极其“精神分裂”。有时能精准回答，但更多时候，它会从A文档里抓一段，再从B文档里拼一段，合成一个看似合理、实则牛头不对马嘴的答案。海量数据变成了“噪音”的海洋，AI彻底迷失在信息洪流中。
弯路二：“提示词炼丹”法——强大的Prompt能解决一切？
错误做法：既然数据多了不行，那就优化Prompt。我写下了长达上千字的系统提示词，用尽了各种限定词：“你必须”、“你不能”、“你只能依据我提供的上下文”、“如果找不到就回答不知道”……
惨痛结果：效果略有改善，但治标不治本。就像一个学生，虽然反复告诉他“不许抄”，但他连考纲（检索的上下文）都是错的，再怎么强调考试纪律也于事无补。
第二部分：从“考试”中顿悟RAG的真相——理解核心原理
RAG的本质，就是让大模型进行一场“开卷考试”。用户的提问是“考题”，知识库是“教科书”，而我们的RAG应用，就是那个帮模型“翻书”的助教。
模型本身再聪明，如果助教（检索系统）递给它的参考资料是错误的、混乱的、不完整的，那么它也只能基于这些“垃圾”资料进行“创作”，这就是幻觉产生的根源。
因此，一个关键认知需要建立：检索（Retrieval）的质量，决定了生成（Generation）的上限！ 我们的核心任务不是去训练一个无所不知的AI，而是设计一个最高效、最精准的“图书管理员”，确保递给AI的每一页资料都是正确答案。
第三部分：根治幻觉的21项优化自查清单
基于“开卷考试”这一核心思想，我为你整理了涵盖3大板块的21个检查点。它覆盖了从“备考资料”处理到“考试技巧”的全流程。
板块一：知识库构建——“教科书”的质量
这个板块解决的是数据准备阶段的问题，相当于决定“教科书”的质量。
- 数据源质量：原始文档本身是否存在错误、过时或矛盾的信息？垃圾进，垃圾出，这是最根本的问题。
- 文档解析：PDF、Markdown、HTML中的表格、代码块、图片注释是否被正确解析？有没有出现乱码？例如，表格被拆散、代码被截断都是常见问题。
- 切片策略：是否还在用固定长度切片？尝试按句子、段落或Markdown标题进行“语义切片”，保证上下文完整。
- 切片大小：切片是否过大（包含太多噪音）或过小（丢失关键上下文）？这个尺寸需要根据文档特性和Embedding模型进行调试，一般建议在256-512 tokens之间测试。
- 切片重叠：切片之间是否有足够的重叠部分，以确保一个完整的语义单元不会被硬生生切断？建议重叠比例设置在10%-20%。
- 元数据：是否为每个切片都附上了来源、章节、日期等元数据？这对于后续的精准过滤和溯源至关重要。
- 清洗与预处理：是否移除了无意义的页眉、页脚、版权声明、广告语等噪音文本？这些内容会严重干扰检索。
板块二：检索策略优化——“翻书”的技巧
这个板块解决的是检索过程中的问题，相当于优化“图书管理员”的翻书技巧。
- Embedding模型选型：你选择的Embedding模型是否适合你的业务领域和语言？（例如，代码知识库和法律文书库用的模型可能不同）
- Top-K参数：召回的文档片段数量（K值）是多还是少？太多会引入噪音，太少可能错过正确答案。一般建议从3-5开始测试，然后根据效果调整。
- 重排模型：在召回Top-K个结果后，是否引入了Re-ranker模型进行二次排序？这能确保最相关的结果排在最前面，让LLM优先处理高质量内容。
- 混合搜索：是否只依赖了语义搜索？对于专有名词、代码函数等，结合传统的关键词搜索（如BM25）往往效果更佳。
- 查询扩展：当用户问题很短或很模糊时，是否尝试用LLM对原始问题进行改写、扩展和丰富，以提高召回率？
- 元数据过滤：在进行语义搜索前，能否利用元数据（如日期、文档类别）先筛选掉大量不相关的文档？这能大幅提升检索效率。
- 多路召回：对于复杂问题，能否将其拆解为多个子问题，分别进行检索，然后合并结果？例如“对比A和B的功能”可以拆成两个子问题。
板块三：生成与提示工程——“答题”的规范
这个板块解决的是答案生成阶段的问题，相当于给学生制定答题规范。
- 生成模型选型：用于最终生成答案的LLM，其推理和遵循指令的能力是否足够强？有时候问题不出在检索，而是生成模型太弱。
- “根据上下文”指令：系统提示词中是否明确、强硬地要求模型“必须且只能”根据提供的上下文来回答问题？这是核心指令，一定要清晰强调。
- “不知道”指令：是否明确告诉模型，如果在上下文中找不到答案，应该直接回答“根据已有信息，我无法回答这个问题”，而不是自己创造答案？
- 上下文格式：喂给模型的上下文格式是否清晰？用Markdown引用、XML标签等方式把多个文档片段清晰地分隔开，能有效提升模型理解力。
- Temperature参数：将大模型的Temperature参数设置为0或一个极低的值（如0.1），可以有效降低其“创造性”，让回答更稳定、更忠于原文。
- 引用与溯源：是否要求模型在回答时，必须注明信息来源于哪个文档片段？这不仅能提升可信度，也方便用户快速溯源核对。
- 建立评估与反馈闭环：是否提供了一个简单的机制（比如点赞/点踩），让用户可以反馈回答的好坏？这是持续优化的数据金矿。
常见问题与解答
- Q：我的RAG应用回答总是前后矛盾，怎么办？
A：这可能是因为检索到的文档片段之间相互矛盾。首先检查数据源是否存在矛盾信息，其次确保使用重排模型将最相关的结果排在前面，同时在Prompt中明确要求模型“如有矛盾信息，优先采用后提供的资料”。 - Q：为什么我设置了“如果找不到就回答不知道”，AI还是胡编乱造？
A：这说明你的检索环节漏掉了正确答案，但模型又无法主动说“不知道”。你需要检查Top-K值是否太小，是否使用了合适的Embedding模型，以及文档切片是否合理。建议先用几个测试用例人工验证检索结果质量。 - Q：固定长度切片和语义切片哪个更好？
A：语义切片明显优于固定长度切片。固定长度切片容易切断完整的语义单元（如打断一句话、一个段落），导致检索到的信息不完整。按Markdown标题、段落划分的语义切片能保留完整上下文。 - Q：如何评估我的RAG应用效果？
A：可以使用RAGAS框架进行自动化评估，主要关注忠实度（Faithfulness）、答案相关性（Answer Relevancy）、上下文精度（Context Precision）和上下文召回率（Context Recall）等指标。同时，建立用户反馈机制是持续优化的关键。
从Demo到生产级的思考与升华
完成了上述清单，你的RAG应用应该已经从“胡说八道”进化到了“有理有据”。但要投入生产环境，我们还需要考虑更多关键问题：
- 知识的动态更新：现实世界的文档是随时变化的。如何设计一套高效的增量、更新、删除知识库的流程？建议建立定时任务自动同步源文档。
- 权限与隔离：如何确保不同用户只能检索到他们有权限访问的知识？这在企业级应用中尤其重要，需要在检索层加入权限控制。
- 持续评估：如何建立一套自动化的评估体系（如使用RAGAS框架），来持续监控线上应用的效果，防止效果衰退？建议将评估指标纳入监控面板。
附赠：我的工具箱推荐
Embedding模型：BGE-M3，目前市面上最强大的开源多语言Embedding模型之一，强烈推荐在Dify中配置使用。
你是否在搭建RAG应用时也遇到过其他“奇葩”的幻觉问题？或者，你有什么独到的优化技巧？欢迎分享交流。从Demo到生产还有很长的路，但每一步都算数。现在，就拿出你的清单开始审查你的RAG应用吧！