astronomer/astronomer-cosmos

🚀 Chạy dbt Core trên Airflow chỉ với vài dòng code

Cosmos biến dự án dbt thành DAG Airflow đầy đủ tính năng — retries, alerts, test — mà không cần viết DAG thủ công.

astronomer-cosmos là thư viện Python miễn phí nguồn (Apache 2.0) giúp bạn chạy các dự án dbt Core trực tiếp trên Apache Airflow dưới dạng DAG hoặc Task Group. Phát triển bởi nhóm Astronomer, Cosmos cho phép bạn tận dụng toàn bộ cơ chế của Airflow — lên lịch, retry, giám sát — để quản lý và thực thi các pipeline dbt một cách chuyên nghiệp.

✨ Điểm nổi bật

• Dễ dùng với DbtDag: Chỉ cần vài dòng code để tạo DAG từ dự án dbt, ví dụ với jaffle_shop.
• Tích hợp Airflow Connections: Không cần cấu hình dbt profiles — dùng kết nối Airflow trực tiếp.
• Hỗ trợ môi trường ảo (venv): Cài đặt và chạy dbt trong venv riêng, tránh xung đột dependency với Airflow.
• Test ngay sau khi model chạy xong: Bắt lỗi sớm bằng cách chạy test ngay sau khi model hoàn thành.
• Lên lịp data-aware: Dùng lịch trình dựa trên dữ liệu của Airflow để chạy model ngay khi dữ liệu nguồn sẵn sàng.
• Mỗi model là một task/task group: Tận dụng retry, alerting và giám sát chi tiết từng model.

💡 Vì sao đáng chú ý

Cosmos khác biệt so với cách chạy dbt thủ công hay dùng BashOperator là cách nó tích hợp sâu với Airflow: từ việc dùng Airflow Connection thay cho profiles.yml, đến việc tự động tạo DAG từ cấu trúc model trong dự án dbt. Điều này giúp giảm thiểu công đoạn cấu hình và tăng tính duy trì.

Phù hợp cho các nhóm DevOps, Data Engineering đang dùng Airflow để orchestrate và muốn đưa dbt vào luồng làm việc một cách chuẩn, có kiểm soát lỗi và hỗ trợ retry tự động.

#dbt #ApacheAirflow #DataEngineering #OpenSource #TiniX