引言

检索增强生成（RAG）框架，说白了就是把检索和生成模型拧在一起，彻底改变了大型语言模型（LLM）的使用方式。随着AI解决方案的需求蹭蹭往上涨，GitHub上涌现了一堆开源的RAG框架，每个都带着自己的独门绝技。那么，RAG框架到底有哪些看家本领？

• 知识检索——这是核心中的核心：从外部知识库里捞出相关信息，给LLM提供上下文弹药。
• 生成模型增强——用检索来的信息优化LLM的输入，让模型回答更准、更新、更贴切。
• 多轮交互——允许系统和用户反复过招，不断打磨查询和生成内容，最终提升满意度和准确率。
• 模型优化——通过各种骚操作（比如查询消歧、抽象、索引优化）来提升RAG系统的整体表现。

21 大著名的 RAG 框架

这些框架把LLM和外部知识库撮合在一起，大幅提升了生成内容的准确性和可靠性，在医疗、金融、客服、教育等领域价值巨大。下面挨个儿盘点。

RAGFlow

• 网址：https://github.com/infiniflow/ragflow
• 特点：工作流设计简化，内置预构建组件，和向量数据库无缝集成。
• 适用对象：想快速搭建RAG应用的开发者和团队。
• 工作流设计：直观的界面，拖拽配置RAG工作流。
• 预配置工作流：常见场景直接拿来用，省心。
• 向量数据库集成：和向量数据库完美对接，检索效率杠杠的。
• 应用场景：聊天机器人、即时问答这类实时应用。
• 用户体验：上手快，开发时间短，学习曲线平缓。
• 社区支持：因为简单有效，RAGFlow人气越来越高。

Haystack

• 网址：https://github.com/deepset-ai/haystack
• 特点：模块化设计，文档检索、问答、摘要组件齐全；支持Elasticsearch、FAISS、SQL等多种文档存储。
• 适用对象：开发者、研究人员，以及要构建端到端问答与搜索系统的组织。
• 文档检索：多种索引方法，高效搜文档。
• 问答生成：基于检索文档，用预训练模型产答案。
• 文本摘要：给大文档做摘要的工具。
• 应用场景：医疗、金融、客服领域的问答系统和搜索引擎。
• 用户体验：API简单，文档详尽，新手老手都能轻松驾驭。
• 社区支持：社区活跃，更新频繁。

STORM

• 网址：https://github.com/stanford-oval/storm
• 特点：主打高效的检索机制和生成过程。
• 适用对象：需要快速、准确完成文本检索和响应生成的开发者及组织。
• 高度可配置的检索：支持多种检索策略和嵌入模型。
• 优化的生成：灵活集成生成模型，提升响应质量。
• 应用场景：特别适合在线客服和智能助手。
• 性能特点：设计上追求高性能和高效率，适合实时应用。
• 社区支持：学术研究和实际应用都有涉猎。

LLM-App

• 网址：https://github.com/pathwaycom/llm-app
• 特点：文档解析、索引、检索、响应生成一站式工具链。
• 适用对象：想用LLM构建RAG应用的企业和开发者。
• 文档解析：有文档解析和预处理工具。
• 索引功能：支持多种文档存储方案。
• 检索与生成：集成高效检索模块和高质量生成模块。
• 应用场景：法律、医疗、客服领域的问答或搜索引擎。
• 用户体验：文档详细，示例丰富，搭建使用都很方便。
• 兼容性：支持多种语言模型和文档存储，提供均衡的RAG方案。

txtai

• 网址：https://github.com/neuml/txtai
• 特点：语义搜索、语言模型工作流、文档处理管道集成一体。
• 适用对象：需要一站式AI解决方案的各类组织。
• 语义搜索：利用内嵌数据库做高效相似性搜索。
• 语言模型工作流：轻松整合各种语言模型和AI服务。
• 文档处理：支持多语言、多格式数据。
• 应用场景：客服、内容推荐、数据分析。
• 用户体验：高度集成，小项目大项目都适用，文档和示例齐全。

R2R

• 网址：https://github.com/SciPhi-AI/R2R
• 特点：轻量化框架，简化从检索到响应的全流程。
• 功能：多步检索与生成，优化中间步骤；策略灵活。
• 应用场景：聊天机器人、即时问答等实时应用。
• 优势：在不牺牲准确性的前提下，大幅降低推理延迟。

Cognita

• 网址：https://github.com/truefoundry/cognita
• 特点：为知识密集型应用设计，集成高效文档管理和检索机制。
• 适用对象：处理复杂知识图谱和问答系统的专业人士与组织。
• 支持：多模态数据、可定制索引方案、高级生成模型。
• 应用场景：医疗咨询、法律咨询等。
• 优势：高度定制化，适合需要精细知识管理的大型项目。

FlashRAG

• 网址：https://github.com/RUC-NLPIR/FlashRAG
• 特点：推理速度优化，采用多种加速技术。
• 适用对象：需要实时RAG应用的开发者和组织。
• 功能：支持多种检索模型、优化重排序器、高性能生成器。
• 应用场景：在线客服、智能助手等需要即时响应的系统。
• 优势：保持准确性的同时，显著降低推理延迟。

Neurite

• 网址：https://github.com/satellitecomponent/Neurite
• 特点：神经网络技术与检索机制结合。
• 适用对象：需要高精度高性能的研究人员及组织。
• 支持：多种深度学习模型、优化的大规模向量检索、灵活生成策略。
• 应用场景：科学研究和数据驱动应用。
• 优势：高精度高性能，显著提升检索和生成准确性。

Canopy

• 网址：https://github.com/pinecone-io/canopy
• 特点：模块化递归设计，允许灵活组合组件。
• 适用对象：需要高度定制RAG系统的开发者和组织。
• 功能：多步检索与生成（递归调用模型），组件完全可定制，模型集成广泛。
• 应用场景：企业级知识管理系统，处理复杂动态数据。

EasyRAG

• 网址：https://github.com/BUAADreamer/EasyRAG
• 特点：专为提升RAG系统效率设计，尤其适合自动化网络操作。
• 适用对象：想自动化网络任务（内容生成、网页抓取、社交媒体分析等）的开发者和组织。
• 优势：简化搭建过程，API友好，工具易用；检索和生成算法经过精心优化，处理海量数据依然高效。
• 工作流程：先双向稀疏检索初步排序，再LLM重排序细调，最后由LLM生成答案，确保响应精准。
• 额外优点：基于灵活代码库，支持多种策略，无需微调模型，低内存占用，易部署，可扩展性强。

TableRAG

• 网址：https://arxiv.org/html/2410.04739v1
• 特点：专为大规模表格数据设计，能高效理解和生成表格相关内容。
• 适用对象：数据分析、报告生成、财务报表处理等场景。
• 优势：通过查询扩展、模式和单元格检索，为LLM提供关键信息，提高响应准确性和效率。
• 流程：多步检索和生成，显著缩短提示长度，降低重要信息丢失风险。

Modular RAG

• 网址：https://arxiv.org/html/2407.21059v1
• 特点：把RAG系统变成乐高积木般可重构的框架。
• 适用对象：需要高度灵活和可定制RAG的应用，如企业知识管理、个性化推荐。
• 优势：多步检索与生成，用户自选配置组件，打造高度定制化系统。

Speculative RAG

• 网址：https://arxiv.org/pdf/2407.08223
• 特点：先生成草稿，再通过检索和优化不断完善，提高准确性和效率。
• 适用对象：高精度输出场景，如内容创作、知识问答、技术文档生成。
• 优势：多步检索与生成流程，组件灵活配置。

RAGAR

• 网址：https://arxiv.org/html/2404.12065v2
• 特点：整合多模态数据与RAG技术，专为整治事实核查设计。
• 适用对象：新闻机构、政府部门、整治研究机构等。
• 优势：多步检索与生成，用户自定义组件，应对复杂变化数据。

Blended RAG

• 网址：https://arxiv.org/html/2404.07220v1
• 特点：结合语义搜索和混合查询检索，提升检索准确性和效率。
• 适用对象：处理大量长尾知识，如企业内部知识库、专业问答系统。
• 优势：多步检索和生成，组件灵活定制。

ARAGOG (Advanced Retrieval Augmented Generation Output Grading)

• 网址：https://arxiv.org/html/2404.01037v1
• 特点：评估RAG系统生成答案的质量。
• 适用对象：教育、医疗、法律咨询等需要对生成响应进行质量控制的场景。
• 优势：多步骤检索与生成，高级输出评分，组件可定制，实现高精度控制。

RAPTOR

• 网址：https://arxiv.org/html/2401.18059v1
• 特点：通过递归方法提升数据检索效率和准确性。
• 适用对象：处理层级数据，如法律文件、企业记录、技术手册。
• 优势：递归技术实现多步检索与生成，组件灵活配置。

LightRAG

• 网址：https://arxiv.org/pdf/2410.05779
• 特点：利用图结构提升检索流程效率。
• 适用对象：复杂查询和海量数据集，如企业知识库、学术研究。
• 优势：双层检索系统实现多步检索与生成，组件可定制。

Invar-RAG

• 网址：https://arxiv.org/html/2411.07021v1
• 特点：利用不变对齐技术提升检索和生成过程。
• 适用对象：高精度响应生成和检索的场景，如知识密集型任务、专业问答。
• 优势：多步流程+不变对齐，实现高精度定制化检索与生成。

RankRAG

• 网址：https://arxiv.org/pdf/2407.02485
• 特点：通过对LLM进行微调，简化检索增强生成流程。
• 适用对象：要求高性能高效率的RAG应用，如企业知识库、专业问答。
• 优势：微调方法实现多步检索与生成，组件可灵活选择配置。