坦诚而言，将RAG系统从实验环境迁移至生产环境，绝非易事。从数据检索、文本切分、向量嵌入，到内容生成、效果评估、运行监控，每一步都潜藏着诸多挑战。下图标注了若干核心组件，值得反复推敲与持续迭代。

构建生产级RAG（检索增强生成）AI系统，是一项极具挑战性的任务。

在投入开发之前，请先关注以下需要精心管理与持续优化的核心组件。下面将逐一拆解关键领域。

检索（Retrieval）核心要点

F) 数据切分（Chunking）策略 — 如何合理切分用于外部上下文的数据？

• 小块 vs. 大块：此问题无标准答案，需根据实际场景灵活调整。
• 滑动窗口（sliding window）与滚动窗口（tumbling window）：不同切分策略直接影响检索质量。
• 搜索时：是检索父级或关联块，还是仅返回原始检索数据？这是一个关键取舍。

C) 选择嵌入模型（Choosing the embedding model）

• 将数据与查询嵌入到外部上下文时，选对模型能事半功倍。
• 值得关注的是上下文化嵌入（Contextual embeddings），其能显著提升语义理解能力。

D) 向量数据库（Vector Database）

• 选择哪个数据库？不同产品各有优劣。
• 部署位置：本地、云端还是混合方式？
• 需要存储哪些元数据，以便与嵌入向量建立关联？
• 索引策略：直接决定搜索效率与准确性。

E) 向量搜索（Vector Search）

• 相似度度量选什么？余弦、点积还是欧氏距离？
• 查询路径：先基于元数据过滤，还是先进行ANN（近似最近邻）搜索？
• 混合搜索（Hybrid Search）：兼顾关键词匹配与语义相似度，值得深入探索。

G) 规则与启发式（Heuristics） — 检索过程中应用的业务规则

• 时间权重：最新信息往往更具价值。
• 重新排序（Reranking）：避免海量结果淹没真正相关的内容。
• 处理重复上下文（多样性排序）：防止信息冗余。
• 来源检索（Source retrieval）：回溯源头是验证可靠性的关键步骤。
• 条件性文档预处理：不同文档需采用不同策略。

生成（Generation）关键环节

A) LLM 选择（Choosing the right Large Language Model）

随着LLM持续进化，这个问题其实变得越来越简单。当前，开源模型与专有模型的性能正快速趋同，最重要的选择变成了：

• 采用专有模型（Proprietary model）——省心但成本较高。
• 自行托管（Self-hosting）——可控性强但需承担运维成本。

B) Prompt 设计（Prompt Engineering）

千万别以为有了外部上下文就可以忽视Prompt。精心设计Prompt依然不可或缺：

• 让系统输出形式符合预期，格式、风格均需精细调校。
• 预防越狱（Jailbreak）场景，将安全防线前置。

别忘了一个容易被忽略的部分

H) 观察、评估、监控和安全性（Observing, Evaluating, Monitoring and Securing）

生产环境下的应用，光上线可不够。必须确保运行稳定、安全，并且能够持续优化。缺少这一保障，前面的一切努力都可能功亏一篑。