mirror of
https://github.com/opendatalab/MinerU.git
synced 2026-03-27 11:08:32 +07:00
项目简介: 天枢(Tianshu)是基于 MinerU 的文档解析服务,采用 SQLite 任务队列 + LitServe GPU 负载均衡架构,支持异步处理、任务持久化和多格式文档智能解析。 核心功能: - 异步任务处理:客户端立即响应,后台处理任务 - 智能解析器:PDF/图片使用 MinerU(GPU加速),Office/文本使用 MarkItDown - GPU 负载均衡:基于 LitServe 实现多GPU自动调度 - 任务持久化:SQLite 存储,服务重启任务不丢失 - 优先级队列:支持任务优先级设置 - RESTful API:完整的任务管理接口 - MinIO 集成:支持图片上传到对象存储 项目架构: - api_server.py: FastAPI Web 服务器,提供 RESTful API - task_db.py: SQLite 任务数据库管理器 - litserve_worker.py: LitServe Worker Pool,GPU 负载均衡 - task_scheduler.py: 异步任务调度器 - start_all.py: 统一启动脚本 - client_example.py: Python 客户端示例 技术栈: FastAPI, LitServe, SQLite, MinerU, MarkItDown, MinIO, Loguru
Welcome to the MinerU Project List
Project List
-
Projects compatible with version 2.0:
- multi_gpu_v2: Multi-GPU parallel processing based on LitServe
-
Projects not yet compatible with version 2.0:
- mcp: MCP server based on the official API