wbhu/BPNet

🔄 BPNet: Mạng chiếu hai chiều cho hiểu cảnh đa chiều

CVPR 2021 Oral — phương pháp đầu tiên kết nối thông tin 2D và 3D trong cả hai chiều để phân vùng ngữ nghĩa.

BPNet là mô hình phân vùng ngữ nghĩa (semantic segmentation) đề xuất tại CVPR 2021, giải quyết hạn chế của các phương pháp hiện tại vốn chỉ truyền thông tin một chiều giữa 2D và 3D. Thay vì chỉ dùng 3D để hỗ trợ 2D hoặc ngược lại, BPNet xây dựng mạng chiếu hai chiều (bidirectional projection) giúp thông tin 2D và 3D bổ sung lẫn nhau trong suốt quá trình phân vùng, đạt kết quả tiên phong trên benchmark ScanNet.

✨ Điểm nổi bật

• Chiếu hai chiều 2D-3D: Mô hình truyền thông tin qua lại giữa mặt phẳng ảnh 2D và không gian 3D trong cả hai chiều, không chỉ một chiều như các phương pháp trước đó.
• Sử dụng Sparse Convolution: Dựa trên MinkowskiEngine (v0.4.1) để xử lý hiệu quả dữ liệu 3D thưa (sparse), cho phép huấn luyện trên voxel 5cm.
• Tiền huấn luyện ResNet trên ImageNet: Tích hợp các mô hình ResNet18/34/50/101/152 đã được tiền huấn luyện sẵn từ PyTorch làm nền tảng cho nhánh 2D.
• Benchmark ScanNet: Đạt kết quả tiên phong (state-of-the-art) trên bộ dữ liệu phân vùng ngữ nghĩa 3D ScanNet.
• Hỗ trợ resume training: Có script tiếp tục huấn luyện từ checkpoint, cho phép linh hoạt trong quá trình train.
• License mở: Cho phép sử dụng cả học thuật và thương mại theo LICENSE đi kèm.

💡 Vì sao đáng chú ý

Rào cản lớn nhất trong phân vùng ngữ nghĩa 3D là sự mất mát thông tin khi chiếu từ 3D xuống 2D (hoặc ngược lại). BPNet giải quyết vấn đề này bằng cách thiết kế mạng chiếu hai chiều, cho phép cả hai chiều cùng đóng góp vào kết quả phân vùng. Cách tiếp cận này khai thác tối đa sự bổ sung giữa thông tin hình ảnh 2D phong phú và thông tin hình học 3D chính xác.

Dự án có code công khai, dựa trên MinkowskiEngine và tham chiếu từ SparseConvNet cùng semseg, cho phép tái tạo kết quả nghiên cứu với các bước thiết lập rõ ràng từ chuẩn bị dữ liệu ScanNet đến huấn luyện và test. Đây là tài liệu tham khảo quý giá cho ai nghiên cứu bài toán cross-dimensional understanding trong computer vision.

---

#CVPR #3DSemanticSegmentation #BidirectionalProjection #OpenSource #TiniX