schumannx/full-stack-data-engineering

🚀 Nền tảng data streaming trên AWS: Kafka → Iceberg → Kimball → Athena

Toàn bộ pipeline từ ingest sự kiện phát media, lưu trữ lake đa vùng, mô hình Kimball, tới báo cáo Athena, được điều phối bởi Airflow 3.

Dự án full-stack-data-engineering của schumannx là một nền tảng data engineering dạng streaming hoàn chỉnh trên AWS, tập trung vào sự kiện phát media. Nó mô phỏng sự kiện thiết bị, ingest qua Kafka, xử lý qua lake Iceberg đa vùng (landing → raw → processed → reporting), áp dụng mô hình Kimball dimensional, và phục vụ báo cáo qua Athena và HTML.

✨ Điểm nổi bật

• Kafka KRaft trên EC2: bus nhắn tin bền vững với khả năng replay 7 ngày.
• Lake Iceberg năm vùng: landing, raw (dedup, quarantine), processed (Kimball, 8 dims + 3 facts), reporting (pre-aggregates).
• Mô hình Kimball: 8 dimension schemas, 3 fact schemas ở ba mức độ grain khác nhau.
• Airflow 3 với Celery: 6 DAGs điều phối Glue PySpark (10 jobs), dbt-athena marts qua Cosmos, Lambda.
• Terraform/OpenTofu: provision toàn bộ hạ tường AWS.
• Báo cáo đa dạng: Athena SQL, HTML dashboard trên S3, DuckDB để validate.
• Per-batch metadata: ghi lại metadata cho observability.
• Data quality gate: điểm số chất lượng dữ liệu ≥ 70/100 ở mỗi vùng.

💡 Vì sao đáng chú ý

Dự án không chỉ là một pipeline demo mà là một nền tảng có kiến trúc rõ rện, tập trung vào câu hỏi nghiệp vụ: "Ai đã xem gì, trên thiết bị nào, ở đâu, trong bao lâu và họ đã hoàn thành chứ?" Mỗi lựa chọn thiết kế — từ năm vùng lake, ba mức độ fact grain, tới tám dimension tuân chuẩn Kimball — đều nhằm tối ưu chi phí và độ tin cậy cho việc trả lời câu hỏi này.

Đặc biệt, Kafka được giữ nguyên ở bên ngoài Airflow với thời gian lưu trữ ≥ 7 ngày như nguồn replay và DR, trong khi landing zone sử dụng Iceberg có khả năng mutable — một lối thiết kế thông minh cho phép xử lý lại dữ liệu mà không làm mất nguồn gốc.

#DataEngineering #AWS #ApacheAirflow #ApacheIceberg #Kimball #dbt #Kafka #Terraform #Athena #TiniX