MinerU/README_zh-CN.md

English | 简体中文

MinerU

MinerU 是一款一站式开源数据提取工具，主要包含以下功能:

• PDF文档提取 (Magic-PDF)
• 网页与电子书提取 (Magic-Doc)

Magic-PDF

简介

Magic-PDF 是一款将 PDF 转化为 markdown 格式的工具。支持转换本地文档或者位于支持S3协议对象存储上的文件。

主要功能包含

• 支持多种前端模型输入
• 删除页眉、页脚、脚注、页码等元素
• 符合人类阅读顺序的排版格式
• 保留原文档的结构和格式，包括标题、段落、列表等
• 提取图像和表格并在markdown中展示
• 将公式转换成latex
• 乱码PDF自动识别并转换
• 支持cpu和gpu环境
• 支持windows/linux/mac平台

https://github.com/magicpdf/Magic-PDF/assets/11393164/618937cb-dc6a-4646-b433-e3131a5f4070

项目全景

流程图

子模块仓库

• pdf-extract-kit

• Miner-PDF-Benchmark 端到端的PDF文档理解评估套件,专为大规模模型数据场景而设计。

上手指南

配置要求

python 3.9+

使用说明

1. 安装Magic-PDF

pip install magic-pdf

2. 通过命令行使用

直接使用

cp magic-pdf.template.json to ~/magic-pdf.json
magic-pdf pdf-command --pdf "pdf_path" --model "model_json_path"

更多用法

magic-pdf --help

3. 通过接口调用

本地使用

image_writer = DiskReaderWriter(local_image_dir)
image_dir = str(os.path.basename(local_image_dir))
jso_useful_key = {"_pdf_type": "", "model_list": model_json}
pipe = UNIPipe(pdf_bytes, jso_useful_key, image_writer)
pipe.pipe_classify()
pipe.pipe_parse()
md_content = pipe.pipe_mk_markdown(image_dir, drop_mode="none")

在对象存储上使用

s3pdf_cli = S3ReaderWriter(pdf_ak, pdf_sk, pdf_endpoint)
image_dir = "s3://img_bucket/"
s3image_cli = S3ReaderWriter(img_ak, img_sk, img_endpoint, parent_path=image_dir)
pdf_bytes = s3pdf_cli.read(s3_pdf_path, mode=s3pdf_cli.MODE_BIN)
jso_useful_key = {"_pdf_type": "", "model_list": model_json}
pipe = UNIPipe(pdf_bytes, jso_useful_key, s3image_cli)
pipe.pipe_classify()
pipe.pipe_parse()
md_content = pipe.pipe_mk_markdown(image_dir, drop_mode="none")

详细实现可参考 demo.py

Magic-Doc

简介

Magic-Doc 是一款支持将网页或多格式电子书转换为 markdown 格式的工具。

主要功能包含

• Web网页提取

  • 跨模态精准解析图文、表格、公式信息

• 电子书文献提取

  • 支持 epub，mobi等多格式文献，文本图片全适配

• 语言类型鉴定

  • 支持176种语言的准确识别

https://github.com/opendatalab/MinerU/assets/11393164/a5a650e9-f4c0-463e-acc3-960967f1a1ca

https://github.com/opendatalab/MinerU/assets/11393164/0f4a6fe9-6cca-4113-9fdc-a537749d764d

项目仓库

• Magic-Doc

版权说明

LICENSE.md

鸣谢

• PaddleOCR
• PyMuPDF