JDASoftwareGroup/kartothek

📦 Quản lý dữ liệu bảng lớn trên blob store với nhất quán siêu cứng

Kartothek: thư viện Python quản lý (tạo, đọc, cập nhật, xóa) dữ liệu bảng lớn trên blob store, trình bày dưới dạng pandas DataFrame.

Kartothek là thư viện Python giúp quản lý lượng lớn dữ liệu bảng trên blob store (S3, ABS, GCS...). Dữ liệu được lưu dưới dạng dataset — tập hợp các file cùng schema — và được trình bày với người dùng dưới dạng pandas DataFrame. Nhờ định nghĩa metadata, Kartothek quản lý hiệu quả các dataset này và cung cấp giao diện Dask để truy cập và xử lý phân tán.

✨ Điểm nổi bật

• Quản lý dataset nhất quán: theo dõi trạng thái dataset để đảm bảo tính nhất quán dù dữ liệu rải rác trên nhiều file.
• Hỗ trợ blob store phổ biến: làm việc với S3, Azure Blob Storage, Google Cloud Storage.
• Giao diện Dask: cho phép xử lý và truy cập dữ liệu theo cách phân tán.
• Tích hợp pandas DataFrame: người dùng tương tác với dữ liệu thông qua DataFrame qu familiares.
• Tự động quản lý phân vùng: theo dõi và chọn lọc dữ liệu một cách minh bạch.
• Hỗ trợ pipeline dữ liệu: cung cấp khối xây dựng để tạo và sửa đổi dataset trong pipeline.

💡 Vì sao đáng chú ý

Kartothek khác với các giải pháp lưu trữ thông thường ở chỗ nó không chỉ lưu trữ dữ liệu mà còn quản lý toàn bộ vòng đời của dataset thông qua metadata. Điều này giúp tránh các vấn đề về tính nhất quán khi dữ liệu được truy cập đồng thời từ nhiều nguồn. Phù hợp với các hệ thống cần xử lý dữ liệu lớn, tính toán phân tán và yêu cầu cao về độ tin cậy.

---

#Python #PyData #Dask #Arrow #Parquet #TiniX