astra-vision/CoMoGAN

🔄 CoMoGAN: Dịch ảnh liên tục theo mô hình - CVPR 2021 (oral)

Dịch thuật ảnh từ ngày sang đêm/timelapse liên tục dựa trên mô hình hướng dẫn, không cần phân lớp thời gian.

CoMoGAN (Continuous Model-guided Image-to-Image Translation) là mã nguồn chính thức của nghiên cứu CVPR 2021 (oral), phát triển bởi các nhà nghiên cứu từ Inria và Vislab Ambarella. Dự án giải quyết bài toán dịch ảnh từ thời điểm ngày sang các giai đoạn thời gian khác nhau (sáng, hoàng hôn, đêm) một cách liên tục thông qua mô hình GAN, áp dụng thí điểm Day2Timelapse trên Waymo Open Dataset.

✨ Điểm nổi bật

• Dịch ảnh liên tục: Không phân lớp thời gian, dịch liền mạch từ ngày sang đêm hoặc timelapse.
• Cơ sở CycleGAN: Kiến trúc dựa trên MUNIT, tích hợp mô hình hướng dẫn liên tục.
• Hỗ trợ Waymo Dataset: Xử lý .tfrecord, tự động tiền xử lý theo thời gian trong ngày.
• Mixed precision training: Giảm tiêu thụ VRAM (~9GB), chạy được trên GPU nhỏ.
• Pretrained weights: Cung cấp mô hình đã huấn luyện để tái tạo kết quả.
• PyTorch Lightning: Tích hợp framework quản lý thí nghiệm huấn luyện.
• Cấu hình linh hoạt: Hỗ trợ tham số dòng lệnh để mở rộng dataset/model.
• TensorBoard hỗ trợ: Theo dõi loss và kết quả trung gian trong quá trình huấn luyện.

💡 Vì sao đáng chú ý

Khác với các phương pháp dịch ảnh truyền thống cần phân lớp thời gian (Day/Night/Dawn), CoMoGAN đề xuất khoảng trống liên tục trong miền thời gian, cho phép dịch ảnh một cách mượt mà giữa bất kỳ hai thời điểm nào. Điều này giúp mô hình linh hoạt hơn trong ứng dụng thực tế, ví dụ như biến ảnh ngày thành timelapse hoặc tạo chuyển đổi thời gian tự nhiên.

---

#CoMoGAN #ImageTranslation #GAN #CVPR2021 #TiniX