nupurkmr9/vision-aided-gan

🧠 Vision-aided GAN: Nâng cấp GAN bằng trí tuệ tập thể của mô hình thị giác

Hội tụ nhiều mô hình thị giác pretrained thành một tập đĩa phân biệt duy nhất, giúp GAN huấn luyện hiệu quả hơn, đặc biệt khi dữ liệu khan hiếm.

Vision-aided GAN là một phương pháp đề xuất tại CVPR 2022 (Oral), cho phép khai thác tri thức từ nhiều mô hình thị giác pretrained như CLIP, Inception, ResNet… để cải thiện quá trình huấn luyện GAN. Thay vì dựa vào một mô hình phân biệt đơn lẻ, dự án sử dụng một tập hợp (ensemble) các mô hình, được lựa chọn thông qua đo lường khả năng tách biên tuyến tính giữa mẫu thật và giả trong không gian nhúng.

✨ Điểm nổi bật

• Chọn mô hình thông minh: Dựa trên tính phân biệt tuyến tính giữa mẫu thật và giả trong embedding của mô hình pretrained để chọn mô hình tốt nhất.
• Tăng dần ensemble: Thêm dần mô hình vào tập đĩa phân biệt theo từng bước, tối ưu hiệu suất.
• Áp dụng rộng rãi: Hỗ trợ huấn luyện StyleGAN2 và BigGAN với công nghệ vision-aided discriminator.
• Hiệu quả với dữ liệu ít: Đạt FID tương đương StyleGAN2 huấn luyện trên toàn bộ dữ liệu chỉ với 0.7% dữ liệu trên LSUN Cat.
• Cài đặt dễ dàng: Hỗ trợ thư viện vision-aided-loss để tích hợp vision-aided discriminator vào bất kỳ mô hình GAN nào.
• Mô hình pretrained miễn phí: Cung cấp mô hình StyleGAN2 và BigGAN đã được huấn luyện sẵn.

💡 Vì sao đáng chú ý

Vision-aided GAN khác biệt ở cách nó biến "kiến thức" từ các mô hình thị giác chuyên sâu (như CLIP, Inception) thành lợi thế cạnh tranh cho việc huấn luyện GAN. Thay vì thiết kế lại kiến trúc phức tạp, dự án tận dụng hiệu quả các mô hình đã tồn tại, đồng thời đề xuất cơ chế lựa chọn mô hình minh bạch và hiệu quả. Đặc biệt, khả năng cải thiện FID đáng kể trong môi trường dữ liệu khan hiếm làm cho nó rất hấp dẫn cho các ứng dụng thực tế.

---

#ComputerVision #GAN #PyTorch #AI #TiniX