介绍

本文首先介绍其核心定位。这是一款基于深度文档理解的开源RAG（检索增强生成）引擎，专门解决一个核心问题：帮助企业或个人在海量复杂数据中快速定位答案，并提供带有准确依据的引用信息。

它主要具备哪些能力？简而言之，它能够从各类复杂格式的非结构化数据中提炼关键信息，并结合大语言模型（LLM），提供可靠的问答服务。具体来说，其关键能力包括以下几个方面：

• 深度文档理解：从Word、PDF、图片等非标准数据中，精准抽取具备实际价值的信息。
• 基于模板的文本切片：摒弃粗暴的切词方式，提供多种文本模板，实现智能且可控的文本处理。
• 降低幻觉（hallucination）：通过可视化的文本切片过程，支持人工微调。答案会提供关键引用的快照，便于追溯信息来源，这一点至关重要。
• 兼容各类异构数据源：支持Word文档、PPT、Excel表格、txt文件、图片、PDF、影印件、复印件、结构化数据、网页等几乎所有常见格式。
• 全程无忧、自动化的RAG工作流：适用于从个人应用到超大型企业的各类场景。提供易用的API，可无缝集成到现有系统中。

其推出的初衷，正是为了解决RAG在实际应用中面临的“硬骨头”——例如数据库的多路召回能力不足，以及数据处理的复杂性。通过提供专用的数据库和工具，旨在让RAG更具易用性，解锁更多应用场景。

很长一段时间里，RAG一词几乎与“知识库”画上等号。上图展示的应用架构，不仅带动了向量数据库的发展，也让LangChain、LlamaIndex等中间件成为“明星”组件——它们负责处理图中各箭头所代表的工作流。具体流程如下：

1. 将用户文档进行切分，调用Embedding模型将切分后的文档转化为向量。
2. 将这些向量连同原始文档一同存入向量数据库。
3. 查询时，用户的提问也通过相同的Embedding模型转化为向量，然后在向量数据库中检索，返回Top K结果。
4. 将Top K结果对应的文本拼接成提示词，交由大模型进行最终的摘要和内容生成。

因此，整个架构的核心仅包含两个部分：

• 向量数据库：负责基于向量进行语义检索与召回。
• 中间件：负责文档的切分与向量化处理。

为何采用向量？因为向量能够实现语义召回。用户提问时，系统根据相似度高低返回最接近的答案，无需问题与文档中的关键词完全匹配。即使无直接匹配，也能依据语义相似度给出答案。那为何还需切分文档？因为向量的语义表征较为“模糊”——一篇文章可表征为一个向量，一个单词亦然。这导致文档块与向量的粒度难以把控：粒度过粗，段落细节难以准确表征；粒度过细，一段话变为多个向量，每个向量仅代表少数词汇的语义，难以通过简单的相似度找到符合语义的向量。因此，必须对文档进行“恰当”的切分——这正是LangChain、LlamaIndex等中间件的核心任务。

那么，如何定义“恰当”？常见的策略是：先依据文本间的空白将文档切分为段落，使每个段落的粒度相对适中。随后，根据规则判断，将某些标题与这些段落合并，使仅包含局部文字的段落也能体现整篇文章或某个章节的语义。

拥有这些组件，确实能快速搭建一套RAG系统。不过，自2023年4月该架构流行起，便一直存在一个争论：“干脆将用户数据微调进大模型，直接回答问题，不是更好吗？何必采用RAG这套检索架构？”这个争论贯穿了2023年全年。直到今天，声音才逐渐减弱。因为很明显，在实时性、成本等方面，RAG对微调方案几乎是碾压式的。微调支持者最为看重的问答质量，在大量评测中与RAG差距不大，最终结论是“两者需搭配使用”。而随着开源大模型的快速迭代，真正采用微调的方案已屈指可数。

主要功能

“高质量输入，高质量输出”

• 基于深度文档理解，能从各类复杂格式的非结构化数据中提炼真知灼见。
• 在无限上下文（token）的场景下，真正实现快速“大海捞针”式检索。

基于模板的文本切片

• 不仅智能，更强调可控与可解释性。
• 提供多种文本模板供用户选择。

有理有据，最大程度降低幻觉

• 文本切片过程可视化，支持手动调整。
• 答案提供关键引用的快照，并支持追溯来源。

兼容各类异构数据源

• 支持丰富的文件类型：Word、PPT、Excel、txt、图片、PDF、影印件、复印件、结构化数据、网页等。

全程无忧、自动化的RAG工作流

• 优化的RAG工作流，支持从个人应用到超大型企业的各类生态系统。
• 大语言模型（LLM）和向量模型均可配置。
• 基于多路召回与融合重排序技术。
• 提供易用的API，可轻松集成到各类企业系统中。

支持的文件类型

它支持处理多种类型的结构化数据，包括但不限于以下格式：

• Word文档
• PPT
• Excel表格
• txt文件
• 图片
• PDF
• 影印件
• 复印件
• 结构化数据
• 网页等

凭借深度文档理解功能，它能够从这些复杂格式的数据中提取关键信息，进而提供可靠的问答服务。这也是其成为处理各类复杂格式数据有效工具的原因。

如何辅助确保内容的原创性

它本身并不直接检测或保证内容的原创性，但在创作过程中，可以通过以下方式提供帮助：

1. 信息检索与引用：辅助检索相关信息并提供准确引用，助你清晰区分原始资料与引用内容，避免无意抄袭。
2. 内容重述与整合：基于检索到的信息，协助重述或整合内容，使你能够用自己的语言和视角进行表达，从而提升原创性。
3. 资料来源多样化：支持从多种数据源检索信息，获取更广泛的资料，减少对单一来源的依赖，创作更多元化的内容。
4. 提高工作效率：自动化和简化信息检索与整理过程，让你有更多时间和精力专注于深度创作，减少因时间紧张而导致的复制粘贴行为。
5. 内容审核与校对：提供的信息和引用能帮助你在后期审核时，检查是否有遗漏的引用或需要进一步改写之处。

当然，确保内容的原创性最终仍需依靠创作者自身的努力——深入分析、批判性思考，以及用自己的语言和观点来表达。它更多是一个辅助工具，助你更高效地处理信息，但不能替代你自身的原创性和创造力。如需检测原创性，可能还需借助专门的抄袭检测工具。

系统架构

其系统架构旨在提供一个高效、灵活且可扩展的平台，用于处理和增强RAG任务。系统包含以下关键组件：

1. 数据输入接口：接收各种格式的数据，包括结构化和非结构化数据，如文本、PDF、图像、网页等。
2. 数据处理模块：负责从输入数据中提取信息并进行必要预处理，如文本提取、图像识别、格式转换。
3. 信息检索引擎：核心组件，利用深度学习模型和大语言模型来理解和检索相关信息，包括使用向量数据库和相似性搜索技术。
4. 生成引擎：基于检索到的信息，使用NLP技术生成新文本内容——回答问题、撰写摘要、生成报告等。
5. 用户界面和API：提供用户交互界面及开发者集成接口。
6. 可视化工具：提升透明度与可解释性，使用户能够查看并调整文本切片过程。
7. 数据库和存储：管理海量数据，包括原始数据、处理后的数据以及生成的输出结果。
8. 安全性和合规性模块：确保数据安全并符合法规要求。
9. 监控和日志记录：跟踪系统性能，记录操作历史，便于故障排除和性能优化。

可试用产品