Ha0Tang/GestureGAN

🎨 GestureGAN: Dịch ảnh cử chỉ tay và góc nhìn bằng GAN

Chuyển đổi cử chỉ tay hoặc góc nhìn trong ảnh một cách có kiểm soát, giữ nguyên danh tính người/hòa cảnh.

GestureGAN là mô hình GAN điều khiển dịch ảnh-to-ảnh, cho phép thay đổi cử chỉ tay hoặc góc nhìn trong ảnh. Phát triển bởi Hao Tang, Wei Wang, Dan Xu, Yan Yan và Nicu Sebe từ Đại học Trento, EPFL, Oxford và Texas State University. Được trình bày tại ACM MM 2018 (thuyết trình & ứng cử giải bài báo xuất sắc).

✨ Điểm nổi bật

• Dịch cử chỉ tay: Tạo ảnh người cùng với cử chỉ tay mới từ ảnh gốc.
• Dịch góc nhìn: Sinh ảnh cảnh quan từ góc độ mới dựa trên bản đồ ngữ nghĩa.
• Kiểm soát thông qua skeleton/map: Dùng skeleton tay hoặc bản đồ ngữ nghĩa để định hướng.
• Giữ nguyên danh tính: Duy trì nhận diện người hoặc hòa cảnh sau khi dịch.
• Hỗ trợ đa dataset: NTU Hand Digit, Senz3D, Dayton, CVUSA.
• Mã nguồn PyTorch: Cài đặt chính thức bằng PyTorch 0.4.1.
• Hỗ trợ GPU đa khe: Yêu cầu 2 GPU GTX 1080 Ti hoặc TITAN Xp.
• Bản quyền học thuật: Giấy phép CC BY-NC-SA 4.0, chỉ dùng cho nghiên cứu.

💡 Vì sao đáng chú ý

GestureGAN khác biệt so với các phương pháp dịch ảnh-to-ảnh truyền thống bằng cách sử dụng thông tin kiểm soát cấu trúc (skeleton hoặc bản đồ ngữ nghĩa) để định hướng quá trình sinh ảnh. Phù hợp cho ứng dụng thay đổi cử chỉ trong video, tạo dữ liệu huấn luyện mới, hoặc mô phỏng góc nhìn khác trong thị giác máy tính.

---

#GestureGAN #ACM-MML-2018 #Computer-Vision #GAN #TiniX