MinerU：PDF数据提取与转换的简单高效开源工具

处理PDF文档时，格式混乱、图表提取困难、表格识别不准确等问题频现，成为许多文档处理人员的常见痛点。MinerU作为一款专注于PDF数据提取的开源工具，旨在高效解决这些难题，让繁琐的文档处理变得轻松。

简单来说，MinerU的核心能力是将PDF转化为机器可读的格式（如Markdown或JSON）。这意味着你可以把原本“死板”的PDF文档，变成可灵活处理、自由转换成任意格式的数据源。无论是学术研究、商业分析，还是金融、法律领域的文档处理，它都能大幅提升数据获取效率，减少重复劳动。

主要功能

MinerU的功能配置相当齐全，几乎覆盖了PDF处理中的每一个关键环节：

• 自动过滤页眉、页脚、脚注和页码等干扰元素，保证提取文本的语义完整性与连贯性。
• 输出内容严格遵循人类阅读顺序，无论是单栏、多栏还是复杂排版，都能准确还原原始布局。
• 保留原文档的结构层次，标题、段落、列表等元素一个不落，方便后续加工。
• 支持提取图像、图片描述、表格、表格标题及脚注，连表格中的细节数据也能精准抓取。
• 自动识别文档中的公式并转换为LaTeX格式，这对学术资料处理来说极为实用。
• 表格内容自动转换为HTML格式，便于在网页或数据工具中直接使用与编辑。
• 扫描版PDF和乱码PDF也难不倒——自动检测并启用OCR功能，支持84种语言的检测与识别。
• 输出格式灵活，支持面向多模态与NLP场景的Markdown、按阅读顺序排序的JSON，以及含有丰富信息的中间格式。
• 提供多种可视化结果，如layout可视化、span可视化等，方便快速验证输出质量并进行质检。

可以说，从数据清洗到格式转换，MinerU都提供了直接可用的解决方案，极大简化了PDF数据提取流程。

现在，我们来具体说说在GPU环境下的使用流程，以租用AutoDL服务器为例，一步步拆解。

1、选用服务器

首先，你需要租用一台AutoDL云服务器作为运行环境。

推荐选用RTX3090，搭配PyTorch 2.1.0、Python 3.10（ubuntu22.04）、Cuda 12.1的组合。这套配置经过验证，兼容性最稳妥，能充分发挥GPU加速优势。

2、安装环境

环境安装分为几个关键步骤，务必按顺序操作，避免出现兼容性错误。

2.1 安装magic-pdf项目

在数据盘（/root/autodl-tmp）下执行操作。使用--no-cache-dir参数，避免缓存干扰。建议选用清华源，因为官网的阿里源有时检索不到magic-pdf[full]这个包。

conda create -n MinerU python=3.10.0
conda activate MinerU
pip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com -i https://pypi.tuna.tsinghua.edu.cn/simple --no-cache-dir

安装完成后，用以下命令验证安装是否成功：

magic-pdf --version

2.2 下载模型

模型下载有两种方式，从ModelScope下载是目前相对主流的方法。

首先安装ModelScope库：

pip install modelscope
wget https://gitee.com/myhloli/MinerU/raw/master/scripts/download_models.py -O download_models.py
python download_models.py

这个Python脚本会自动下载模型文件，并配置好配置文件中的模型目录。配置文件可以在用户目录中找到，文件名是magic-pdf.json。

下载模型后，建议将models和layoutreader移动到autodl-tmp文件夹中——当然，放在任意目录都行，只要后续路径配置正确即可。

# 移动models
mv /root/.cache/modelscope/hub/opendatalab/PDF-Extract-Kit-1.0 /root/autodl-tmp/models
# 移动layoutreader
mv /root/.cache/modelscope/hub/ppaanngggg/layoutreader /root/autodl-tmp/layoutreader

然后修改生成的magic-pdf.json文件中的“models-dir”和“layoutreader-model-dir”参数。一个参考配置如下：

{
    "models-dir": "/root/autodl-tmp/models",
    "layoutreader-model-dir": "/root/autodl-tmp/layoutreader",
    "device-mode": "cuda",
    "layout-config": {
        "model": "layoutlmv3"
    },
    "formula-config": {
        "mfd_model": "yolo_v8_mfd",
        "mfr_model": "unimernet_small",
        "enable": true
    },
    "table-config": {
        "model": "rapid_table",
        "enable": false,
        "max_time": 400
    },
    "config_version": "1.0.0"
}

3、为OCR开启cuda加速

这一步很关键——如果要用OCR功能处理扫描件，强烈建议开启cuda加速，能大幅提升处理速度，节省大量时间。

python -m pip install paddlepaddle-gpu==3.0.0b1 -i https://www.paddlepaddle.org.cn/packages/stable/cu118/

4、使用命令将PDF转为md格式

在MinerU虚拟环境下运行转换命令。基本语法是：

magic-pdf -p PDF的地址 -o 输出位置

举个例子：将/root目录下的small_ocr.pdf文件进行转换，输出结果保存到/root/autodl-tmp/output：

magic-pdf -p /root/small_ocr.pdf -o /root/autodl-tmp/output

执行后，你就能在输出目录中看到转换好的Markdown文件，可直接用于后续分析或集成。

完成上述步骤后，你将体会到PDF文档处理效率的显著提升。数据提取不再是繁琐的手工劳动，而是高效自动化的流程，真正实现从文档到结构化数据的无缝转换。