timm/ViT-B-16-SigLIP2-512
Model card for ViT-B-16-SigLIP2-512 Model Details A SigLIP 2 Vision-Lanuage model trained on WebLI. This model has been converted for use in OpenCLIP from the original JAX checkpoints in Big Vision(https://github.com/google-research/bigvision). Mode...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tuần
🖼️ ViT-B-16-SigLIP2-512: Mô hình thị giác-ngôn ngữ zero-shot mạnh mẽ
Mô hình SigLIP 2 dựa trên Vision Transformer, hỗ trợ phân loại hình ảnh zero-shot mà không cần huấn luyện lại.
Đây là mô hình ViT-B-16-SigLIP2-512, một mô hình thị giác-ngôn ngữ (vision-language) thuộc kiến trúc SigLIP 2, được huấn luyện trên bộ dữ liệu WebLI lớn mạnh. Mô hình đã được chuyển đổi từ checkpoint JAX gốc trong Big Vision sang định dạng sử dụng với thư viện OpenCLIP. Nó hỗ trợ phân loại hình ảnh zero-shot bằng cách so sánh đặc trưng hình ảnh với văn bản mô tả.
✨ Điểm nổi bật
- Zero-shot image classification: Phân loại hình ảnh mà không cần huấn luyện lại trên từng lớp.
- Dựa trên SigLIP 2: Sử dụng sigmoid loss cải tiến, hiệu quả hơn cross-entropy truyền thống.
- Huấn luyện trên WebLI: Bộ dữ liệu hình ảnh-văn bản lớn, đa ngôn ngữ.
- Tương thích OpenCLIP: Dễ dàng tích hợp vào pipeline với
open-clip-torch >= 2.31.0. - Định dạng Safetensors: An toàn và hiệu quả khi tải và lưu trữ mô hình.
- Hỗ trợ đa ngôn ngữ: Mô hình có khả năng hiểu biết đa ngôn ngữ nhờ huấn luyện trên WebLI.
💡 Vì sao đáng chú ý
Khác với các mô hình dựa trên contrastive loss truyền thống, SigLIP 2 sử dụng sigmoid loss, giúp cải thiện đáng kể hiệu suất phân loại zero-shot, đặc biệt là ở các lớp có ít mẫu. Mô hình cũng hỗ trợ tốt các tác vụ đặc trưng dày đặc (dense features) và hiểu biết ngữ nghĩa sâu hơn nhờ kiến trúc Vision Transformer (ViT-B/16).
#SigLIP2 #ZeroShotImageClassification #OpenCLIP #ViT #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
SigLIP (shape-optimized model) SigLIP model pre-trained on WebLi at resolution 384x384. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repositor...
SigLIP 2 Base SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unders...
SigLIP 2 Giant SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic under...
SigLIP 2 Base SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unders...
SigLIP 2 So400m SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unde...
SigLIP 2 So400m SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unde...
SigLIP (base-sized model) SigLIP model pre-trained on WebLi at resolution 224x224. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repository(htt...
MedSigLIP model card Model documentation: MedSigLIP(https://developers.google.com/health-ai-developer-foundations/medsiglip) Resources: Model on Google Cloud Model Garden: MedSigLIP(https://console.cloud.google.com/vertex-ai/publishers/google/model-...
Model card for ViT-B-16-SigLIP2-256 Model Details A SigLIP 2 Vision-Lanuage model trained on WebLI. This model has been converted for use in OpenCLIP from the original JAX checkpoints in Big Vision(https://github.com/google-research/bigvision). Mode...