OpenIXCLab/SeC-4B
SeC: Advancing Complex Video Object Segmentation via Progressive Concept Construction \📂 GitHub\(https://github.com/OpenIXCLab/SeC) \📦 Benchmark\(https://huggingface.co/datasets/OpenIXCLab/SeCVOS) \🌐 Homepage\(https://rookiexiong7.github.io/proje...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 SeC-4B: Phân đoạn đối tượng video phức tạp qua xây dựng khái niệm tiến bộ
SeC (Segment Concept) là khung phân đoạn hướng khái niệm kết hợp Large Vision-Language Models (LVLMs) để nâng cao hiệu suất phân đoạn đối tượng trong video phức tạp.
SeC-4B là phiên bản mô hình của khung SeC (Segment Concept), được phát triển bởi nhóm nghiên cứu OpenIXCLab. Dự án này giới thiệu một phương pháp tiến bộ cho phân đoạn đối tượng video (VOS) bằng cách kết hợp lý luận ngữ nghĩa với khớ matching đặc trưng, thích ứng điều chỉnh công suất tính toán dựa trên độ phức tạp cảnh quan. Mô hình dựa trên nền tảng của facebook/sam2.1-hiera-large và được tinh chỉnh để xử lý tốt các kịch bản cảnh phức tạp.
✨ Điểm nổi bật
- Segment Concept (SeC): Khung phân đoạn hướng khái niệm tích hợp Large Vision-Language Models (LVLMs) để biểu diễn đối tượng mạnh mẽ.
- Cân bằng linh hoạt: Kết hợp lý luận ngữ nghĩa với khớ matching đặc trưng, điều chỉnh công suất dựa trên độ phức tạp cảnh quan.
- Benchmark SeCVOS: Bộ chuẩn Semantic Complex Scenarios Video Object Segmentation được thiết kế để đánh giện phân đoạn trong các tình huống thách thứng.
- Hiệu suất vượt trội: Trên bảng chuẩn SeCVOS, SeC đạt điểm 70.0, vượt rõ so với các mô hình như SAM 2.1 (58.2) hay SAMURAI (62.2).
- Cơ sở mô hình vững chắc: Dựa trên facebook/sam2.1-hiera-large và tinh chỉnh bởi OpenGVLab/InternVL2.5-4B.
- Hỗ trợ nghiên cứu học thuật: Mã nguồn mở và có bài báo trên arXiv (2507.15852), hỗ trợ trích dẫn khoa học.
💡 Vì sao đáng chú ý
SeC khác biệt từ các phương pháp truyền thống bằng cách xây dựng khái niệm phân đoạn một cách tiến bộ, thay vì chỉ dựa vào matching đặc trưng truyền thống. Bằng cách tích hợp Large Vision-Language Models (LVLMs), SeC khai thác lý luận ngữ nghĩa để cung cấp cái nhìn sâu hơn về nội dung cảnh quan, đặc biệt hữ trên các video có đối tượng phức tạp hoặc nền rối. Đây là lựa chọn lý tưởng cho các nhà nghiên cứu và kỹ sư làm việc trên bài toán phân đoạn đối tượng video trong môi trường thực tế khó khăn.
#VideoSegmentation #ComputerVision #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
SAM 3 is a unified foundation model for promptable segmentation in images and videos. It can detect, segment, and track objects using text or visual prompts such as points, boxes, and masks. Compared to its predecessor SAM 2(https://github.com/facebo...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
SAM 3.1 SAM 3(https://github.com/facebookresearch/sam3) (Segment Anything with Concepts) is a unified foundation model from Meta for promptable segmentation in images and videos. It detects, segments, and tracks objects using text or visual prompts...
Model Card for Segment Anything Model (SAM) - ViT Huge (ViT-H) version Detailed architecture of Segment Anything Model (SAM). Table of Contents 0. TL;DR(TL;DR) 1. Model Details(model-details) 2. Usage(usage) 3. Citation(citation) TL;DR Link to origi...
Model Card for Segment Anything Model (SAM) - ViT Base (ViT-B) version Detailed architecture of Segment Anything Model (SAM). Table of Contents 0. TL;DR(TL;DR) 1. Model Details(model-details) 2. Usage(usage) 3. Citation(citation) TL;DR Link to origi...
Repository for SAM 2: Segment Anything in Images and Videos, a foundation model towards solving promptable visual segmentation in images and videos from FAIR. See the SAM 2 paper(https://arxiv.org/abs/2408.00714) for more information. The official co...
Falcon Perception Falcon Perception is a 0.6B parameter early-fusion vision-language model for open-vocabulary grounding and instance segmentation. Given an image and a natural language query, it returns zero, one, or many matching instances with pi...
Model Details \📃 Tech Report\(https://arxiv.org/abs/2501.07256) \📂 Github\(https://github.com/facebookresearch/EdgeTAM) \🤗 Demo\(https://huggingface.co/spaces/yonigozlan/EdgeTAM-hf) EdgeTAM is an on-device executable variant of the SAM 2 for prom...
SAM 3 This repository mirrors the official Segment Anything Model 3 (SAM 3) weights released by Meta Superintelligence Labs. SAM 3 is a unified foundation model for prompt-driven segmentation in images and videos. It supports open-vocabulary text pr...