google/siglip2-so400m-patch16-naflex
SigLIP 2 So400m SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unde...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🔍 SigLIP 2 So400m: Mô hình thị giác đa ngôn ngữ mạnh mẽ từ Google
SigLIP 2 mở rộng mục tiêu tiền huấn luyện của SigLIP bằng cách kết hợp các kỹ thuật độc lập phát triển thành một công thức thống nhất, nâng cao hiểu biết ngữ nghĩa, khả năng định vị và đặc trưng dày đặc.
SigLIP 2 So400m (patch16, na-flex) là phiên bản mô hình thị giác đa ngôn ngữ được phát triển bởi Google, dựa trên kiến trúc SigLIP 2. Mô hình này hỗ trợ các nhiệm vụ như phân loại hình ảnh zero-shot, truy xuất hình ảnh-văn bản, hoặc như bộ mã hoá thị giác cho các mô hình đa phương thức (VLM). Được huấn luyện trên bộ dữ liệu WebLI lớn và tối ưu trên 2048 chip TPU-v5e, SigLIP 2 mang lại hiệu suất vượt trội trong hiểu biết ngữ nghĩa và xử lý đặc trưng phức tạp.
✨ Điểm nổi bật
- Zero-shot image classification: Phân loại hình ảnh mà không cần huấn luyện lại, chỉ bằng cách cung cấp nhãn ứng viên.
- Image-text retrieval: Tìm kiếm hình ảnh hoặc văn bản dựa trên mối quan hệ ngữ nghĩa giữa chúng.
- Vision encoder cho VLM: Có thể dùng làm bộ mã hoá thị giác cho các mô hình đa phương thức khác.
- Decoder loss: Thêm mục tiêu huấn luyện giúp cải thiện khả năng sinh và hiểu biết chi tiết.
- Global-local và masked prediction loss: Tối ưu hóa cả đặc trưng toàn cảnh và chi tiết địa phương trong hình ảnh.
- Aspect ratio và resolution adaptibility: Thích ứng linh hoạt với tỉ lệ khung hình và độ phân giải đầu vào.
- Huấn luyện trên WebLI: Được tiền huấn luyện trên một trong những bộ dữ liệu hình ảnh-văn bản lớn nhất thế giới.
- Triển khai trên TPU-v5e: Sử dụng lên đến 2048 chip TPU-v5e, đảm bảo khả năng tính toán mạnh mẽ và hiệu quả.
💡 Vì sao đáng chú ý
SigLIP 2 không chỉ cải tiến mục tiêu huấn luyện mà còn tích hợp các kỹ thuật tiền huấn luyện đã được chứng minh hiệu quả, tạo ra một công thức huấn luyện thống nhất. Điều này giúp mô hình đạt được hiệu suất vượt trội trong các nhiệm vụ hiểu biết ngữ nghĩa phức tạp, đặc biệt là trong việc xử lý hình ảnh có nhiều đối tượng và nền khó phân biệt. Nhờ khả năng thích ứng với nhiều tỉ lệ khung hình và độ phân giải, SigLIP 2 trở thành lựa chọn lý tưởng cho các ứng dụng thực tế đa dạng, từ phân tích hình ảnh y tế đến xử lý nội dung đa phương thức trong các hệ thống AI đa năng.
#SigLIP2 #ZeroShotImageClassification #Transformers #HuggingFace #TiniX
Similar Projects
Discover other similar projects and AI models.
SigLIP 2 Base SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unders...
Model Card: CLIP Disclaimer: The model card is taken and modified from the official CLIP repository, it can be found here(https://github.com/openai/CLIP/blob/main/model-card.md). Model Details The CLIP model was developed by researchers at OpenAI to...
SigLIP (shape-optimized model) SigLIP model pre-trained on WebLi at resolution 384x384. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repositor...
SigLIP 2 Base SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unders...
SigLIP 2 Giant SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic under...
SigLIP 2 So400m SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unde...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
SigLIP (base-sized model) SigLIP model pre-trained on WebLi at resolution 224x224. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repository(htt...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...