wzdavid/ThinkParse

🚀 ThinkParse: Dịch vụ phân tích tài liệu doanh nghiệp bất đồng bộ dựa trên MinerU

ThinkParse đóng gói motor phân tích sau một API HTTP ổn định và kiến trúc worker bất đồng bộ.

ThinkParse là một dịch vụ phân tích tài liệu nguồn mở sử dụng MinerU, FastAPI, Celery và Redis. Dự án giải quyết vấn đề phân tích tài liệu trở nên phức tạp khi khối lượng tăng vượt quá một kịch bản địa phương. Với ThinkParse, người dùng có thể xử lý PDF, hình ảnh và tài liệu Office một cách đáng tin cậy từ một máy đến nhiều worker GPU phân tán.

✨ Điểm nổi bật

• Phân tích chất lượng cao: Trích xuất Markdown, bảng, công thức, hình ảnh và kết quả trung gian có cấu trúc bằng MinerU 3.4.5.
• Hỗ trợ đa định dạng: Định tuyến tệp PDF và hình ảnh qua MinerU, tài liệu Office, HTML và văn bản qua MarkItDown.
• Quy trình công việc sản phẩm: Gửi, truy vấn, ưu tiên, hủy và kiểm tra công việc phân tích mà không cần giữ kết nối client mở.
• Triển khai CPU và GPU: Bắt đầu cục bộ với worker CPU, sử dụng một hoặc nhiều GPU trên máy chủ, hoặc mở rộng worker trên nhiều nút.
• Xử lý tài liệu dài: Tái sử dụng motor phân tích giữa các công việc nhưng cách ly để hủy, phục hồi thời gian chờ và khởi động lại tự động.
• Lưu trữ mở rộng: Sử dụng ổ đĩa cục bản cho máy đơn hoặc lưu trữ S3 tương thích cho triển khai phân tán.
• Hiển thị hoạt động: Kiểm tra sẵn sàng, độ sâu hàng đợi, nhịp tim worker, thời gian chạy và trạng thái GPU.

💡 Vì sao đáng chú ý

ThinkParse không chỉ là một công cụ phân tích tài liệu mà còn là một giải pháp toàn diện cho môi trường sản phẩm. Kiến trúc bất đồng bộ với Celery và Redis giúp xử lý các tài liệu lớn mà không chặn kết nối, đồng thời hỗ trợ mở rộng linh hoạt từ CPU đến nhiều GPU. Điều này giúp giảm thiểu thời gian chờ đợi và tối ưu hóa tài nguyên trong các ứng dụng thực tế như xử lý hàng loạt, lưu trữ đám mây và triển khai đa nút.

#DocumentParsing #MinerU #FastAPI #Celery #TiniX