hovsg/HOV-SG

HOV-SG: Đồ thị cảnh quan 3D mở vốn cho robot điều hướng bằng ngôn ngữ tự nhiên

HOV-SG cho phép xây dựng đồ thị cảnh quan 3D chính xác, hỗ trợ lờp mở vốn, áp dụng cho môi trường lớn nhiều tầng và giúp robot điều hướng bằng chỉ dẫn ngôn ngữ.

HOV-SG là bản cài đặt chính thức của nghiên cứu "Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation", được công bố tại Robotics: Science and Systems (RSS 2024). Dự án do các nhà nghiên cứu từ Freiburg và UTN phát triển, giúp robot hiểu và điều hướng trong không gian 3D phức tạp chỉ bằng mô tả bằng ngôn ngữ tự nhiên.

✨ Điểm nổi bật

• Đồ thị cảnh quan 3D mở vốn: Hỗ trợ nhận diện và gán nhãn các đối tượng mới chưa được huấn luyện trước.
• Hỗ trợ môi trường đa tầng: Xây dựng bản đồ và đồ thị cho các môi trường lớn như tòa nhà nhiều tầng.
• Điều hướng bằng ngôn ngữ tự nhiên: Cho phép robot hiểu và thực hiện lệnh dạng văn bản.
• Tích hợp OpenCLIP và SAM: Sử dụng mô hình Open CLIP để trích xuất đặc trưng và SAM để tạo mặt nạ phân đoạn đối tượng.
• Hỗ trợ bộ dữ liệu HM3DSem: Tích hợp với Habitat Matterport 3D Semantics để huấn luyện và đánh giá.
• Công cụ sinh dữ liệu: Cung cấp script tạo dữ liệu RGB-D từ poses và đánh giá đồ thị cảnh quan.

💡 Vì sao đáng chú ý

HOV-SG khác biệt so với các phương pháp truyền thống bằng cách kết hợp đồ thị cảnh quan 3D với lớp mở vốn, cho phép robot nhận diện và tương tác với các đối tượng mới mà không cần huấn luyện lại mô hình. Phương pháp này rất hữu ích cho các ứng dụng robot trong môi trường thực tế như nhà ở, văn phòng hoặc khu công nghiệp, nơich robot cần linh hoạt điều hướng và hiểu biết từ người dùng bằng ngôn ngữ tự nhiên.

#3DSceneGraph #RobotNavigation #OpenVocabulary #AI #TiniX