dddzg/up-detr

🧠 UP-DETR: Tiền huấn luyện bất giám sát cho Object Detection Transformers

UP-DETR giới thiệu pretext mới 'random query patch detection', huấn luyện transformers phát hiện vật thể không cần nhãn.

UP-DETR là implement PyTorch chính thức từ bài báo TPAMI 2022 & CVPR2021 Oral. Dự án kế thừa DETR — cùng backbone ResNet-50, cùng Transformer encoder/decoder. Trọng số CNN khởi tạo từ SwAV, cố định trong pre-training. Toàn bộ process không cần bất kỳ nhãn nào.

✨ Điểm nổi bật

• Random Query Patch Detection: pretext task mới cho bài toán unsupervised pre-training transformer object detection.
• Không cần nhãn: dùng ImageNet không nhãn, trọng số CNN từ SwAV.
• 43.1 AP trên COCO: fine-tune 300 epochs, cao hơn cả DETR supervised.
• Kế thừa DETR: cùng backbone, cùng kiến trúc, cùng codebase.
• Ablation experiments: hỗ trợ thí nghiệm kiểu bỏ qua các thành phần.
• Model zoo: cung cấp model pre-train ImageNet và fine-tune COCO.

💡 Vì sao đáng chú ý

UP-DETR khác biệt so với DETR truyền thống ở chỗ hoàn toàn loại bỏ sự phụ thuộc vào nhãn giám sát. Thay vì dùng COCO để pre-train, nó khai thác cấu trúc ngẫu nhiên của transform để học biểu diễn vật thể chung chung. Kết quả: 43.1 AP — vượt trội hơn cả DETR supervised (42.0 AP) ở cùng điều kiện. Phù hợp cho môi trường thiếu dữ liệu nhãn, hoặc nghiên cứu self-supervised detection.

#UPDETR #Transformers #ObjectDetection #SelfSupervised #CVPR2021 #TiniX