提升RAG系统回答质量的高质量企业文档解析（一）_AI热点日报

大型语言模型在文本生成方面确实表现出色，但核心问题在于它们的“知识储备”主要源自公开数据。当企业需要利用私有文档生成精准回答时，必须另辟蹊径。微调LLM是一条可行路径，但所需技术和资金门槛极高，并非所有团队都能轻松驾驭。相比之下，RAG系统提供了一种更经济高效的解决方案：在用户提问时，直接将相关的私

企业私有数据形成知识的重要性

为什么私有数据对RAG系统如此关键？从根本上说，企业中的技术手册、政策文件、客户档案、研究报告等文档才是真正的“知识资产”。将这些文档转化为可检索的结构化数据，RAG系统才能按需访问并发挥价值。这一过程能带来几个显著优势：

提升回答的专业度：确保输出内容符合企业的专业规范与标准，而非泛泛而谈。
增强数据安全性：通过封闭的私域数据检索，敏感信息不会泄露到公网环境。
支持动态更新：当文档更新时，知识库可同步刷新，确保回答内容始终保持最新。

企业私有数据存储介质的多样性

深入来看，企业私有数据很少以单一格式存在。常见的存储介质包括：

文本文档（如TXT、Markdown）
办公文档（如DOC、DOCX、PPT、XLSX）
PDF文件
数据库（如SQL、NoSQL）
多媒体文件（如图像、音频、视频）
专有格式文件（如设计图纸、技术说明书等）

这些文档中的数据可能是结构化、半结构化或完全非结构化的。如何将这些多样化的介质解析透彻，是实现企业知识自动化检索与生成的首要挑战。

基于DOC、DOCX文档的解析

DOC和DOCX作为微软Word的格式，在企业文档中占比极高。但解析它们并不简单——不仅要提取文本，还常常涉及表格、图像、超链接、页眉页脚、注释甚至修订历史等元素。这些特性带来了多层技术挑战。

1. 文本内容的解析

段落和标题：DOCX的内部结构采用XML描述，每个段落和标题都有明确的标签。解析时需要识别这些标签，从而提取出不同层级的文本结构。
字符样式：字体、大小、颜色等样式信息同样可从XML中获取，这对保留原始格式至关重要。

from docx import Document
def parse_docx_text(file_path):doc = Document(file_path)for para in doc.paragraphs:print(f"段落内容: {para.text}")

2. 表格内容的解析

表格结构：企业文档中表格非常常见，如财务报表、技术规范表。解析时需要精确识别每个单元格的数据，并保留其位置信息。
复杂表格：合并单元格、嵌套表格等情况更为棘手，需要特殊逻辑进行处理。

def parse_docx_tables(file_path):doc = Document(file_path)for table in doc.tables:for row in table.rows:print([cell.text for cell in row.cells])

3. 图像和其他嵌入对象的解析

图像：DOCX文档中的图片，可通过解析内嵌的标签提取。
其他对象：如图表、公式、SmartArt等，通常以二进制格式存储，需借助特定库或API来处理。

def extract_images_from_docx(docx_path):doc = Document(docx_path)for rel in doc.part.rels.values():if "image" in rel.target_ref:print(f"提取图像: {rel.target_ref}")

4. 元数据的提取

作者、创建日期、修订历史等元数据存于文档属性中，对版本管理和溯源非常重要。通过访问DOCX文件的docProps即可提取。

5. 处理批量文档

实际场景中，企业常需批量处理大量DOCX文档，此时可采用并行处理技术提升效率。解析后的内容还可进行语义切分，为后续RAG应用打好基础。

import osfrom concurrent.futures import ProcessPoolExecutor
def process_docx_files(directory):docx_files = [f for f in os.listdir(directory) if f.endswith('.docx')]with ProcessPoolExecutor() as executor:for _ in executor.map(parse_docx_text, docx_files):pass

解析和处理企业中的DOC、DOCX文档，是RAG系统的重要基础。只有精确提取出结构化和非结构化信息，才能做好语义切分和知识库构建。这些步骤不仅让私有数据真正可用，还显著提升了RAG系统的生成质量和检索精准度。下面我们详细解析一段Python代码编写的DocxParser类的Docx解析方法。解析方法代码：

def __call__(self, filename, binary=None, from_page=0, to_page=100000):self.doc = Document(filename) if not binary else Document(BytesIO(binary))pn = 0lines = []last_image = Nonefor p in self.doc.paragraphs:if pn > to_page:breakif from_page <= pn < to_page:if p.text.strip():if p.style and p.style.name == 'Caption':former_image = Noneif lines and lines[-1][1] and lines[-1][2] != 'Caption':former_image = lines[-1][1].pop()elif last_image:former_image = last_imagelast_image = Nonelines.append((self.__clean(p.text), [former_image], p.style.name))else:current_image = self.get_picture(self.doc, p)image_list = [current_image]if last_image:image_list.insert(0, last_image)last_image = Nonelines.append((self.__clean(p.text), image_list, p.style.name))else:if current_image := self.get_picture(self.doc, p):if lines:lines[-1][1].append(current_image)else:last_image = current_imagefor run in p.runs:if 'lastRenderedPageBreak' in run._element.xml:pn += 1continueif 'w:br' in run._element.xml and 'type="page"' in run._element.xml:pn += 1new_line = [(line[0], reduce(concat_img, line[1]) if line[1] else None) for line in lines]
tbls = []for tb in self.doc.tables:html= ""for r in tb.rows:html += ""i = 0while i < len(r.cells):span = 1c = r.cells[i]for j in range(i+1, len(r.cells)):if c.text == r.cells[j].text:span += 1i = ji += 1html += f"" if span == 1 else f""html += ""html += "{c.text} {c.text}
"tbls.append(((None, html), ""))return new_line, tbls


def __call__(self, filename, binary=None, from_page=0, to_page=100000):self.doc = Document(filename) if not binary else Document(BytesIO(binary))pn = 0lines = []last_image = None
函数入口：__call__是魔术方法，允许类实例像函数一样调用。它接受文件名、二进制数据、起始页和结束页作为参数，并将文档加载到self.doc中。若提供了二进制数据，则通过BytesIO处理。
页数控制：参数from_page和to_page用于指定解析的页码范围，在处理大型文档时尤为实用，可避免一次性加载整个文档导致内存溢出。
for p in self.doc.paragraphs:if pn > to_page:breakif from_page <= pn < to_page:if p.text.strip():if p.style and p.style.name == 'Caption':former_image = Noneif lines and lines[-1][1] and lines[-1][2] != 'Caption':former_image = lines[-1][1].pop()elif last_image:former_image = last_imagelast_image = Nonelines.append((self.__clean(p.text), [former_image], p.style.name))else:current_image = self.get_picture(self.doc, p)image_list = [current_image]if last_image:image_list.insert(0, last_image)last_image = Nonelines.append((self.__clean(p.text), image_list, p.style.name))else:if current_image := self.get_picture(self.doc, p):if lines:lines[-1][1].append(current_image)else:last_image = current_image
段落遍历：for p in self.doc.paragraphs循环遍历所有段落，变量pn记录当前页码，确保只在指定范围内解析。
文本与图片处理：
段落文本：若段落有内容且在指定页码范围，则提取文本并通过self.__clean清理。
图片关联：当段落样式为“Caption”（说明文字）时，判断其是否与图片关联，关联的图片会被提取至lines列表。对于普通段落，同样提取图片并加入列表。
for run in p.runs:if 'lastRenderedPageBreak' in run._element.xml:pn += 1continueif 'w:br' in run._element.xml and 'type="page"' in run._element.xml:pn += 1
分页符处理：for run in p.runs遍历段落中的每个运行块，检测是否存在自动或手动分页符，据此增加页码计数pn。
    new_line = [(line[0], reduce(concat_img, line[1]) if line[1] else None) for line in lines]
数据整合：将解析后的行数据（文本+图片）进行合并，reduce(concat_img, line[1])用于将同一行中的多张图片合并处理。
tbls = []for tb in self.doc.tables:html = ""for r in tb.rows:html += ""i = 0while i < len(r.cells):span = 1c = r.cells[i]for j in range(i+1, len(r.cells)):if c.text == r.cells[j].text:span += 1i = ji += 1html += f"" if span == 1 else f""html += ""html += "{c.text} {c.text}
"tbls.append(((None, html), ""))return new_line, tbls

表格解析：遍历文档中的所有表格，将表格内容提取并转换为HTML格式。对于内容相同且连续的单元格，使用colspan属性进行合并。
结果返回：最终函数返回提取的文本与图片组合（new_line），以及以HTML格式呈现的表格（tbls）。

这段代码展示了如何精准提取文档的核心信息，包括段落、图片和表格。通过控制解析的页码范围，能够高效处理大型文档；对于图文并茂的文档，该代码尤其具有实用价值。
在RAG系统中，此类解析步骤可帮助企业将非结构化文档转化为结构化数据，再通过语义切分与向量化处理，为后续的检索与生成提供高质量的输入。这段代码不仅体现了文档内容提取的技术实现，也凸显了在复杂文档环境下，精确处理文本与图像关联对RAG系统的重要性。