Pointcept/Concerto
Concerto: Joint 2D-3D Self-Supervised Learning Emerges Spatial Representations This repository contains the model weights for Concerto, a novel approach for learning robust spatial representations presented in the paper Concerto: Joint 2D-3D Self-Su...
🎵 Concerto: Học đa khứ hồi 2D-3D tạo biểu diễn không gian siêu cấp
Concerto kết hợp self-supervised learning 2D-3D để rút ra các đặc trưng không gian mạnh mẽ, đạt SOTA trên nhiều bài toán nhận dạng cảnh quan 3D.
Concerto là một phương pháp mới cho việc học các biểu diễn không gian vững mạnh, được trình bày trong bài báo Concerto: Joint 2D-3D Self-Supervised Learning Emerges Spatial Representations. Dự án phát triển bởi nhóm nghiên cứu Pointcept, Concerto mô phỏng quá trình học khái niệm đa giác quan của con người bằng cách kết hợp self-distillation nội tại mô hình 3D và nhúng liên modal 2D-3D.
✨ Điểm nổi bật
- Self-supervised learning 2D-3D: Kết hợp self-distillation trong không gian 3D và nhúng liên modal giữa 2D và 3D để học biểu diễn mạnh mẽ.
- Hiệu suất vượt trội: Vượt qua các mô hình self-supervised SOTA độc lập bằng 14.2% (2D) và 4.8% (3D) trong linear probing nhận dạng cảnh quan 3D.
- Kết quả SOTA toàn diện: Đạt kết quả mới nhất trên nhiều bài toán hiểu biết cảnh quan (ví dụ: 80.7% mIoU trên ScanNet) với fine-tuning đầy đủ.
- Hỗ trợ nhiều kích thước mô hình: Cung cấp bốn phiên bản mô hình: Tiny, Small, Base, Large với cấu hình kênh, độ sâu và số đầu tương ứng.
- Xử lý đầu vào không màu và pháp tuyến tính: Các mô hình mặc định hỗ trợ xử lý đầu vào thiếu thông tin màu sắc và vector pháp tuyến bằng cách đặt chúng bằng 0.
- Dịch biểu diễn sang không gian ngôn ngữ CLIP: Cung cấp bộ dịch tuyến tính ánh xạ biểu diễn của Concerto sang không gian ngôn ngữ của CLIP, hỗ trợ nhận dạng thế giới mở.
- Phiên bản video-lifted point cloud: Trình bày biến thể của Concerto tối ưu cho việc hiểu biết không gian đám mây điểm dạng video.
💡 Vì sao đáng chú ý
Concerto nổi bật nhờ sự đơn giản nhưng hiệu quả của nó: thay vì dựa vào các kiến trúc phức tạp, nó mô phỏng nguyên lý học đa giác quan của con người để rút ra các biểu diễn không gian mạnh mẽ. Kết quả này được chứng minh qua các trực quan zero-shot cho thấy đặc trưng không gian mạch lạc và thông tin phong phú. Đặc biệt, khả năng kết hợp 2D-3D và hỗ trợ dịch sang không gian ngôn ngữ CLIP mở ra tiềm năng ứng dụng rộng rãi trong nhận dạng thế giới mở và các bài toán thị giác máy tính.
#AI #PointCloud #3D #SelfSupervisedLearning #GraphML #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Grid Small Foundation Model (GridSFM) Model summary | Field | Value | | --- | --- | | Developer | Microsoft CorporationAuthorized representative: Microsoft Ireland Operations Limited 70 Sir John Rogerson’s Quay, Dublin 2, D02 R296, Ireland | | Descr...
AIFS Single - v0.2.1 Here, we introduce the Artificial Intelligence Forecasting System (AIFS), a data driven forecast model developed by the European Centre for Medium-Range Weather Forecasts (ECMWF). We show that AIFS produces highly skilled foreca...
Utonia: Toward One Encoder for All Point Clouds This repository contains the model weights for Utonia, a step toward one-from-all and one-for-all point cloud encoder presented in the paper Utonia: Toward One Encoder for All Point Clouds(https://arxi...
Varda-single-1.0 !Paper(https://img.shields.io/badge/arXiv-2610.01835-b31b1b.svg)(https://arxiv.org/abs/2610.01835) !Framework(https://img.shields.io/badge/framework-Anemoi-orange)(https://anemoi.readthedocs.io/) !Run on Kaggle(https://img.shields.i...
Position-based Equivariant Graph Neural Network (pos-egnn) This repository contains PyTorch model for loading and performing inference using the pos-egnn, a foundation model for Chemistry and Materials. GitHub: https://github.com/IBM/materials/tree/...
Ephris Ephris is a pretrained graph foundation model from Nums AI Inc. for node classification through graph in-context learning. It predicts query-node labels from graph features, edges and labeled context nodes, with no task-specific training. Thi...
Disya/UIGEN-T3-14B-Preview-Q4KM-GGUF This model was converted to GGUF format from Tesslate/UIGEN-T3-14B-Preview(https://huggingface.co/Tesslate/UIGEN-T3-14B-Preview) using llama.cpp via the ggml.ai's GGUF-my-repo(https://huggingface.co/spaces/ggml-o...
Cogito Estella — Latent Graph Engine (v0.7.0) Non-autoregressive decoder heads that turn SONAR (Meta) sentence embeddings directly into knowledge-graph triples — no token decoding, structurally valid by construction, 0.013 ms per concept on an RTX 5...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...