sayands/sgaligner

🧭 SGAligner: Căn chỉnh đồ thị cảnh 3D bằng đa dạng thức

SGAligner căn chỉnh đồ thị cảnh 3D bằng học đa dạng thức, dùng kết quả cho đăng ký đám mây điểm.

SGAligner là một dự án nghiên cứu từ ICCV 2023 của các nhà nghiên cứu tại ETH Zurich và Microsoft Mixed Reality & AI Labs. Dự án sử dụng đồ thị cảnh 3D (scene graph) và học đa dạng thức (multi-modal learning) để căn chỉnh các môi trường 3D, sau đó áp dụng kết quả này vào tác vụ đăng ký đám mây điểm 3D (3D point cloud registration).

✨ Điểm nổi bật

• Căn chỉnh đồ thị cảnh 3D: Sử dụng mô hình học sâu đa dạng thức để căn chỉnh các đồ thị cảnh trong không gian 3D.
• Hỗ trợ đăng ký đám mây điểm: Kết quả căn chỉnh được dùng để cải thiện độ chính xác của đăng ký đám mây điểm.
• Kiến trúc mô-đun: Bao gồm các thành phần như aligner, datasets, trainers, inference và tích hợp GeoTransformer.
• Hỗ trợ dữ liệu 3RScan và 3DSSG: Cung cấp công cụ tiền xử lý và sinh subscan từ dữ liệu thực tế.
• Mã nguồn mở MIT: Dễ dàng tích hợp và mở rộng cho nghiên cứu tiếp theo.
• Điểm kiểm tra đã huấn luyện: Cung cấp mô hình và trọng số mặc định để đánh giá ngay.

💡 Vì sao đáng chú ý

SGAligner khác biệt từ các phương pháp truyền thống bằng cách kết hợp đồ thị cảnh với học đa dạng thức, giúp mô hình hiểu sâu hơn về mối quan hệ ngữ nghĩa giữa các đối tượng trong không gian 3D. Phương pháp này rất hữu ích cho các ứng dụng như quét 3D, thực tế ảo, robot và lập bản đồ môi trường phức tạp.

#3DComputerVision #SceneGraph #PointCloudRegistration #ICCV2023 #TiniX