timm/ViT-B-16-SigLIP2-256
Model card for ViT-B-16-SigLIP2-256 Model Details A SigLIP 2 Vision-Lanuage model trained on WebLI. This model has been converted for use in OpenCLIP from the original JAX checkpoints in Big Vision(https://github.com/google-research/bigvision). Mode...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#2 Repository Của Tháng
#2 Repository Của Tháng
🔍 Mô hình hình ảnh-ngôn ngữ SigLIP 2 zero-shot từ timm
Mô hình ViT-B-16-SigLIP2-256 của timm dựa trên kiến trúc SigLIP 2, hỗ trợ phân loại hình ảnh zero-shot mạnh mẽ thông qua OpenCLIP.
Đây là mô hình hình ảnh-ngôn ngữ (Vision-Language Model) dựa trên SigLIP 2, được huấn luyện trên bộ dữ liệu WebLI và chuyển đổi từ checkpoint JAX gốc của Big Vision để sử dụng với OpenCLIP. Mô hình hỗ trợ phân loại hình ảnh zero-shot với đầu ra xác suất nhãn thông qua hàm sigmoid.
✨ Điểm nổi bật
- Kiến trúc SigLIP 2: Sử dụng mô hình Vision-Language dựa trên trường hợp nghiên cứu SigLIP 2 của Google.
- Zero-shot Image Classification: Phân loại hình ảnh mà không cần huấn luyện lại bằng cách so sánh với nhãn văn bản.
- Hàm mất mát Sigmoid: Áp dụng sigmoid loss thay vì softmax để tính xác suất nhãn, phù hợp với bài toán đa nhãn.
- Hỗ trợ OpenCLIP: Chuyển đổi từ checkpoint Big Vision để chạy trên framework open_clip.
- Độ phân giải 256x256: Sử dụng kích thước đầu vào hình ảnh 256x256.
- Dựa trên WebLI: Được huấn luyện trên bộ dữ liệu WebLI lớn.
- Lệnh sigmoid tích hợp: Tính toán xác suất nhãn bằng sigmoid(image_features @ text_features.T * logit_scale + logit_bias).
- Apache 2.0: Giấy phép nguồn mở cho phép sử dụng thương mại.
💡 Vì sao đáng chú ý
Khác với các mô hình CLIP truyền thống sử dụng softmax, SigLIP 2 áp dụng sigmoid loss giúp cải thiện hiệu suất zero-shot và hỗ trợ đa ngôn ngữ. Mô hình phù hợp cho các ứng dụng cần phân loại hình ảnh nhanh mà không muốn huấn luyện lại trên dữ liệu mới, đặc biệt trong môi trường Python với PyTorch và OpenCLIP.
#SigLIP2 #ZeroShotImageClassification #OpenCLIP #VisionLanguageModel #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
SigLIP (shape-optimized model) SigLIP model pre-trained on WebLi at resolution 384x384. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repositor...
SigLIP 2 Base SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unders...
SigLIP 2 Giant SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic under...
SigLIP 2 Base SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unders...
SigLIP 2 So400m SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unde...
SigLIP 2 So400m SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unde...
SigLIP (base-sized model) SigLIP model pre-trained on WebLi at resolution 224x224. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repository(htt...
MedSigLIP model card Model documentation: MedSigLIP(https://developers.google.com/health-ai-developer-foundations/medsiglip) Resources: Model on Google Cloud Model Garden: MedSigLIP(https://console.cloud.google.com/vertex-ai/publishers/google/model-...
Model card for ViT-B-16-SigLIP2-512 Model Details A SigLIP 2 Vision-Lanuage model trained on WebLI. This model has been converted for use in OpenCLIP from the original JAX checkpoints in Big Vision(https://github.com/google-research/bigvision). Mode...