jaychempan/V2-SAM

🎯 V²-SAM: Kết nối SAM2 với Multi-Prompt Experts cho tr correspondence giữa các góc nhìn

V²-SAM biến SAM2 từ mô hình phân đoạn single-view thành framework cross-view correspondence thông qua hai generator prompt bổ sung.

V²-SAM là framework thống nhất cho cross-view object correspondence, được phát triển bởi một nhóm nghiên cứu và sẽ được trình bày tại CVPR 2026. Dự án giải quyết bài toán gán nhãn đối tượng cùng một vật thể xuất hiện ở nhiều góc nhìn khác nhau — đặc biệt là ego-exo — nơi các biến thể góc độ và bề mặt khó lớn khiến SAM2 khó áp dụng trực tiếp.

✨ Điểm nổi bật

• V2-Anchor Prompt Generator: Dựa trên đặc trưng DINOv3, tạo prompt dựa trên tọa độ hình học giữa các góc nhìn.
• V2-Visual Prompt Generator: Dùng matcher prompt thị giác mới để căn chỉnh biểu diễn ego-exo từ góc nhìn đặc trưng và cấu trúc.
• Thiết kế đa chuyên gia (multi-expert): Kết hợp mạnh hai loại prompt thông qua kiến trúc đa expert.
• PCCS (Post-hoc Cyclic Consistency Selector): Chọn expert tin cậy nhất dựa trên độ nhất quán chu trình.
• Kết quả tốt nhất: Đạt trạng thái kết quả mới trên Ego-Exo4D, DAVIS-2017 và HANDAL-X.
• Bộ dữ liệu công cộng: Các bản xử lý của Ego-Exo4D, DAVIS-2017, HANDAL-X được cung cấp trên Hugging Face.
• Hỗ trợ demo đa dạng: Bao gồm ego-to-exo, exo-to-ego và robotic-ready cross-view correspondence.

💡 Vì sao đáng chú ý

V²-SAM khác biệt từ các cách tiếp cận thông thường bằng cách kết hợp DINOv3 để tạo prompt dựa trên tọa độ — một cách tiếp cận chưa từng được khám phá trưỚc đây cho SAM2 trong tr scenario cross-view. Ngoài ra, việc áp dụng PCCS giúp hệ thống linh hoạt chọn expert tốt nhất tùy tình huống, tăng độ tin cậy dự đoán. Phù hợp cho ứng dụng thị giác máy tính đòi hỏi gán nhãn đối tượng chính xác qua nhiều góc nhìn khác nhau.

#ComputerVision #SAM2 #CrossViewCorrespondence #CVPR2026 #TiniX