在大规模企业代码库中应用检索增强型生成（Retrieval Augmented Generation，简称RAG）技术时，合理的分块策略与上下文维护是决定成败的关键因素。面对包含数千个仓库和数百万行代码的复杂代码库，其中大部分是遗留代码，上下文感知能力成为企业开发者采用AI时的核心痛点。本文将深入剖析如何将RAG高效应用于大规模代码库，并详细阐述qodo（前身为Codium）在构建生成式AI编码平台过程中所采用的创新策略。

1. RAG技术在大规模代码库中的关键作用与挑战

RAG大致可拆解为两大核心部分：索引知识库（此处指代码库）与检索机制。对于持续演进的生产代码库而言，索引并非一次性或定期任务，而是需要构建一套强大的管道来持续维护最新索引。

下图展示了qodo的数据摄取管道，文件被路由至对应的分块器进行分块，分块后添加自然语言描述，并为每个分块生成向量嵌入，最终存储于向量数据库中。

核心挑战： 简单的分块方法在准确划分代码的有意义段落时会出现问题，导致边界定义不准确以及包含无关或不完整信息。向大型语言模型（LLM）提供无效或不完整的代码段，实际上会损害性能并增加幻觉现象。