kedro-org/kedro

🚀 Kedro: Framework Python cho pipeline data chuẩn production-ready

Kedro mang software engineering best practices vào data science và data engineering, giúp pipeline trở nên reproducible, maintainable và modular.

Kedro là một toolbox mã nguồn mở, được host bởi LF AI & Data Foundation, dùng để xây dựng các pipeline data engineering và data science sẵn sàng cho môi trường production. Framework này áp dụng các nguyên tắc phần mềm như modular design, dependency injection và coding standards để tăng tính ổn định và khả năng bả trì của dự án.

✨ Điểm nổi bật

• Project Template: Mẫu dự án chuẩn dựa trên Cookiecutter Data Science, dễ tùy chỉnh và mở rộng.
• Data Catalog: Kết nối lưu và tải dữ liệu trên nhiều định dạng và hệ thống lưu trữ khác nhau, hỗ trợ versioning.
• Pipeline Abstraction: Tự động giải quyết dependency giữa các hàm Python và trực quan hóa pipeline với Kedro-Viz.
• Coding Standards: Công cụ TDD với pytest, tài liệu với Sphinx, lint với ruff và logging chuẩn Python.
• Flexible Deployment: Hỗ trợ triển khai trên máy đơn, máy phân phối và các nền tảng như Argo, Prefect, Kubeflow, AWS Batch, Databricks.

💡 Vì sao đáng chú ý

Kedro khác với các công cụ khác ở chỗ nó không chỉ là một thư viện xử lý dữ liệu mà còn cung cấp một kiến trúc hoàn chỉnh giúp tổ chức codebase sao cho gần gũi với production. Điều này giúp giảm khoảng cách giữa giai đoạn phát triển mẫu và triển khai thực tế. Kedro phù hợp với các nhóm phát triển cần xây dựng và duy trì các pipeline dữ liệu phức tạp một cách có hệ thống và bền vững.

#Kedro #DataEngineering #MachineLearning #Python #TiniX