davidelobba/TEMU-VTOFF

🧵 TEMU-VTOFF: Đảo ngược Virtual Try-On bằng Dual-DiT

Sinh ảnh sản phẩm thời trang từ người đang mặc đồ, xử lý che khuất đa danh mục bằng ngữ cảnh văn bản.

TEMU-VTOFF ("Text-Enhanced MUlti-category Virtual Try-Off") là kiến trúc dual-DiT (Diffusion Transformer) mới dùng cho nhiệm vụ Virtual Try-Off — tạo ảnh in-shop sạch của sản phẩm thời trang từ người đang mặc. Phát triển bởi nhóm nghiên cứu từ các trường Đại học Bologna, Pisa, Modena & Reggio Emilia, dự án tích hợp feature extractor pretrained với module sinh được tăng cường bởi văn bản, xử lý tốt các vùng bị che khuất và nhiều danh mục sản phẩm khác nhau.

✨ Điểm nổi bật

• 🎯 Đa danh mục thử ngoại tuyến: Hỗ trợ trang phục trên cơ thể (áo, quần, váy...) trong một pipeline thống nhất, không phân tách theo loại.
• 🔗 Sự chú ý lai đa dạng thức tự nhiên: Kết hợp mô tả văn bản của sản phẩm với đặc trưng cá nhân để sinh chính xác các vùng bị che khuất hoặc mơ hồ.
• ⚡ Mô-đun căn chỉnh sản phẩm nhanh: Điều kiện sinh dựa trên ảnh sản phẩm sạch, thay thế các mục tiêu denoising truyền thống giúp duy trì độ chi tiết cao.
• 📊 Tích hợp DINOv2: Tinh chỉnh chất lượng sinh qua module căn chỉnh đặc trưng dựa trên DINOv2.
• 📈 Hiệu quả chứng minh: Đạt kết quả vượt trội trên bộ dữ liệu Dress Code và VITON-HD về chất lượng ảnh và độ khớp với sản phẩm mục tiêu.

💡 Vì sao đáng chú ý

Khác với các phương pháp Virtual Try-On truyền thống chỉ tập trung vào một loại sản phẩm, TEMU-VTOFF đưa ra cách tiếp cận thống nhất cho đa danh mục. Sự kết hợp giữa Dual-DiT và sự chú ý lai giúp mô hình hiểu rõ hơn về ngữ cảnh sản phẩm thông qua văn bản, đồng thời xử lý tốt các vùng khó như góc khuất hoặc che khuất. Đây là bước tiến quan trọng cho ứng dụng thương mại điện tử, nơi cần tạo nhanh hình ảnh sản phẩm chân thực từ hình ảnh người dùng.

#AI #DiffusionModels #VirtualTryOff #OpenSource #TiniX