google/siglip-base-patch16-224
SigLIP (base-sized model) SigLIP model pre-trained on WebLi at resolution 224x224. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repository(htt...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#3 Repository Của Tháng
#4 Repository Của Tháng
#4 Repository Của Tháng
🧠 SigLIP: CLIP mạnh hơn nhờ hàm mất mát sigmoid
SigLIP thay thế softmax bằng sigmoid trong CLIP, cải thiện hiệu năng zero-shot và cho phép tăng batch size lớn hơn.
SigLIP (base-sized model) là phiên bản cơ sở của mô hình đa phương thức CLIP do Google Research phát triển. Được huấn luyện trên tập dữ liệu WebLI với độ phân giải ảnh 224x224, SigLIP giới thiệu hàm mất mát sigmoid thay vì softmax truyền thống, giúp cải thiện đáng kể hiệu suất zero-shot image classification và image-text retrieval.
✨ Điểm nổi bật
- Hàm mất mát sigmoid: Thay thế softmax, chỉ cần cặp ảnh-văn bản, không cần toàn bộ ma trận tương đồng.
- Zero-shot image classification: Hỗ trợ phân loại ảnh mà không cần huấn luyện thêm.
- Image-text retrieval: Tìm kiếm ảnh hoặc văn bản phù hợp dựa trên mô tả.
- Pre-trained trên WebLI: Huấn luyện trên cặp ảnh-văn bản tiếng Anh từ WebLI.
- Pipeline API hỗ trợ: Dễ dùng thông qua Hugging Face Transformers pipeline.
- Hỗ trợ AutoProcessor & AutoModel: Tích hợp liền mạch với thư viện Transformers.
💡 Vì sao đáng chú ý
SigLIP khác biệt từ CLIP truyền thống ở việc sử dụng hàm mất mát sigmoid, loại bỏ sự phụ thuộc vào ma trận tương đồng toàn cục, cho phép tăng batch size lớn hơn và cải thiện hiệu năng ở cả batch size lớn và nhỏ. Phù hợp cho các ứng dụng zero-shot như phân loại ảnh, tìm kiếm ảnh, hoặc đánh giá mối quan hệ giữa ảnh và văn bản mà không cần dữ liệu gán nhãn.
#SigLIP #CLIP #ZeroShotImageClassification #Transformers #TiniX
Similar Projects
Discover other similar projects and AI models.
SigLIP (shape-optimized model) SigLIP model pre-trained on WebLi at resolution 384x384. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repositor...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Model Card: CLIP Disclaimer: The model card is taken and modified from the official CLIP repository, it can be found here(https://github.com/openai/CLIP/blob/main/model-card.md). Model Details The CLIP model was developed by researchers at OpenAI to...
SigLIP 2 Base SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unders...
SigLIP 2 Giant SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic under...
SigLIP 2 So400m SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unde...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...