Taiwan
fuenwang/BiFusev2
BiFuse++: Self-supervised and Efficient Bi-projection Fusion for 360 Depth Estimation
🚀 BiFuse++: Ước lượng chiều sâu ảnh 360° siêu chính xác với học sâu tự giám sát
BiFuse++ mang công nghệ từ TPAMI 2022, kết hợp cơ chế hợp nhất hai phép chiếu (bi-projection fusion) để nâng cao độ chính xác trong ước lượng chiều sâu cho ảnh panorama 360°. BiFuse++ là bản cài đặt chính thức của bài báo cùng tên xuất bản trên IEEE TPAMI năm 2022, phát triển bởi nhóm nghiên cứu từ Viện Hàn lãm học Đông Nam Á (IKH) và Đại học Quốc gia Singapore. Dự án sử dụng PyTorch Lightning làm nền tảng và hướng tới việc cung cấp một giải pháp hiệu quả, hỗ trợ cả học có giám sát lẫn học tự giám sát, đặc biệt ứng dụng trong xử lý ảnh 360° cũng như thực tế ảo.
✨ Điểm nổi bật
- Hỗ trợ huấn luyện đa GPU và đa núi: Sử dụng Distributed Data Parallel (DDP) cho cả máy đơn lẫn cụm máy tính.
- Học có giám sát và tự giám sát: Cung cấp hai chế độ huấn luyện riêng biệt, phù hợp với các nguồn dữ liệu khác nhau.
- Ghi nhận TensorBoard và W&B: Tích hợp hỗ trợ công cụ ghi nhận phổ biến trong cộng đồng máy học.
- Tích hợp mô hình tiêu chuẩn: Dựa trên kiến trúc PyTorch Lightning, giúp dự án dễ mở rộng và bảo trì.
- Cung cấp mô hình đã huấn luyện sẵn: Người dùng có thể tải về và chạy thử ngay với lệnh đơn giản.
💡 Vì sao đáng chú ý
Khác với các phương pháp truyền thống chỉ dựa trên một phép chiếu duy nhất, BiFuse++ đề xuất cơ chế hợp nhất hai phép chiếu (bi-projection fusion), giúp khai thác thông tin chiều sâu từ nhiều góc nhìn khác nhau. Điều này đặc biệt hữu ích khi xử lý ảnh panorama 360°, nơi những khu vực mép và góc cạnh thường gây nhiễu lớn. Ngoài ra, khả năng hỗ trợ học tự giám sát giúp giảm phụ thuộc vào dữ liệu gán nhãn, một thách thức lớn trong lĩnh vực thị giác máy tính. Dự án phù hợp với các nhà nghiên cức, kỹ sư thị giác máy tính, cũng như những người phát triển nội dung thực tế ảo, mô phỏng môi trường 3D hoặc làm việc trong lĩnh vực robot và xe tự hành.
#360DepthEstimation #SelfSupervisedLearning #PyTorchLightning #ComputerVision #TiniX
Similar Projects
Discover other similar projects and AI models.
MiniMax H3 · Equirectangular 360° LoRA A LoRA for MiniMax H3 that generates full-sphere, monoscopic equirectangular video with native audio. The trigger is equirect360. Describe the environment, motion and sound after the layout prompt. Reviewed v2...
MiniMax H3 · 360° equirectangular LoRA A LoRA for MiniMax H3 that makes the model generate 360° video: the whole sphere around the viewer unwrapped into one equirectangular frame, straight ahead in the centre, directly behind at the left and right e...
Seamless-Equirectangular LTX-2.3 LoRA A rank-128 LoRA for equirectangular 360° text-to-video generation with LTX-2.3, trained for 15k steps. The frozen base model cannot produce equirectangular output on its own — this LoRA is what carries that know...
🗃️ PanoInfinigen Dataset PanoInfinigen is a synthetic dataset of high-resolution panoramic images in ERP, featuring perfectly aligned RGB, Depth, and Surface Normals. This dataset was generated using a modified Infinigen framework to support wide-angle panoramic geometry, plus the iCity procedural city generator for the urban split. It serves as the primary training data for PaGeR, a single-step diffusion model for zero-shot panoramic depth… See the full description on the dataset page: https://huggingface.co/datasets/prs-eth/PanoInfinigen.
Implement a ChatGPT-like LLM in PyTorch from scratch, step by step
The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. The fastest local inference engine in the world.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
🧑🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠
🧑🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠