NVlabs/VoxFormer

🚀 VoxFormer: Transformer thông minh cho nhận thức cảnh quan 3D từ ảnh 2D

VoxFormer biến ảnh 2D thành voxel 3D đầy đủ ngữ nghĩa, giúp AI hình dung cảnh quan bị che khuất như con người.

VoxFormer là bản cài đặt PyTorch chính thức của mô hình được chấp nhận làm bài nổi bật tại CVPR 2023 (235/9155, tỷ lệ chấp nhận 2.5%). Dự án do các nhà nghiên cứu từ NVLabs, NVIDIA AI, và đối tác phát triển. VoxFormer giải quyết bài toán hoàn thiện cảnh quan ngữ nghĩa 3D (3D Semantic Scene Completion) chỉ bằng hình ảnh RGB, giúp hệ thống AI nhận thức được cả cấu trúc hình học và ngữ nghĩa của những vật thể bị ẩn.

✨ Điểm nổi bật

• Kiến trúc hai giai đoạn: tạo query thưa thớt từ ảnh 2D rồi tăng dần thành voxel dày đặc.
• Deformable attention: hỗ trợ attention linh hoạt giữa ảnh và voxel.
• Masked autoencoder: lan truyền thông tin qua self-attention đến toàn bộ voxel.
• Giảm tiêu thụ GPU ~45%: dưới 16GB khi huấn luyện.
• Đạt SOTA trên SemanticKITTI: 13.35% mIoU, 44.15% IoU chỉ với camera.
• Hỗ trợ đa ảnh hoặc ảnh đơn: linh hoạt cho các bài toán thực tế.
• Hỗ trợ dataset SemanticKITTI, đang phát triển KITTI-360 và nuScenes.

💡 Vì sao đáng chú ý

Khác với các phương pháp truyền thống dùng mạng CNN dày đặc, VoxFormer áp dụng thiết kế Transformer thông minh, bắt đầu từ voxel thưa thớt rồi dần dần tăng dần thông qua self-attention. Cách tiếp cận này không chỉ cải thiện đáng kể độ chính xác mà còn giảm đáng kể bộ nhớ GPU, mở ra khả năng ứp dụng trên các thiết bị có tài nguyên hạn chế như xe tự hành.

#VoxFormer #SemanticSceneCompletion #VisionTransformer #3DPerception #AutonomousDriving #TiniX