google/siglip2-so400m-patch14-384
SigLIP 2 So400m SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unde...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tuần
#2 Repository Của Tuần
#4 Repository Của Tuần
🔍 SigLIP 2 So400m: Mô hình thị giác ngôn ngữ đa ngôn ngữ nâng cấp từ SigLIP
SigLIP 2 mở rộng mục tiêu huấn luyện của SigLIP bằng các kỹ thuật độc lập phát triển, tạo ra bản ghi nhận hiểu biết ngữ nghĩa, định vị và đặc trưng dày đặc hơn.
SigLIP 2 là phiên bản cải tiến của SigLIP, được phát triển bởi Google. Dự án này kết hợp các kỹ thuật huấn luyện độc lập vào một công thức thống nhất nhằm cải thiện hiệu suất trên các tác vụ thị giác ngôn ngữ như phân loại ảnh zero-shot, truy xuất ảnh-văn bản, cũng như cung cấp bộ mã hóa thị giác cho các mô hình đa dạng thức (VLM).
✨ Điểm nổi bật
- Zero-shot image classification: Hỗ trợ phân loại ảnh mà không cần huấn luyện thêm trên tập dữ liệu cụ thể.
- Image-text retrieval: Truy xuất ảnh hoặc văn bản dựa trên mối quan hệ ngữ nghĩa giữa chúng.
- Vision encoder cho VLM: Có thể sử dụng như bộ mã hóa thị giác trong các mô hình đa dạng thức khác.
- Decoder loss: Thêm mục tiêu mất mát giải mã để cải thiện hiểu biết ngữ nghĩa.
- Global-local và masked prediction loss: Tối ưu hóa dự đoán toàn cục và địa phương cũng như dự đoán mất mát.
- Aspect ratio và resolution adaptibility: Thích ứng với tỉ lệ khung hình và độ phân giải khác nhau.
- Huấn luyện trên WebLI: Được huấn luyện trên bộ dữ liệu WebLI lớn.
- Hỗ trợ Transformers: Tích hợp sẵn với thư viện Transformers của Hugging Face.
💡 Vì sao đáng chú ý
SigLIP 2 nâng cấp đáng kể so với phiên bản trước bằng cách kết hợp nhiều kỹ thuật huấn luyện tiên tiến vào một quy trình thống nhất. Điều này giúp mô hình đạt được hiệu suất tốt hơn trong việc hiểu biết ngữ nghĩa và định vị. Đặc biệt, khả năng hỗ trợ đa ngôn ngữ và tích hợp dễ dàng với Transformers làm cho nó trở thành lựa chọn mạnh mẽ cho các ứng dụng thị giác ngôn ngữ.
#SigLIP2 #VisionLanguageModel #ZeroShotImageClassification #GoogleAI #TiniX
Similar Projects
Discover other similar projects and AI models.
SigLIP (shape-optimized model) SigLIP model pre-trained on WebLi at resolution 384x384. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repositor...
SigLIP 2 Base SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unders...
SigLIP 2 Giant SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic under...
Model Card: CLIP Disclaimer: The model card is taken and modified from the official CLIP repository, it can be found here(https://github.com/openai/CLIP/blob/main/model-card.md). Model Details The CLIP model was developed by researchers at OpenAI to...
SigLIP (base-sized model) SigLIP model pre-trained on WebLi at resolution 224x224. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repository(htt...
SigLIP 2 Base SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unders...
SigLIP 2 So400m SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unde...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
MedSigLIP model card Model documentation: MedSigLIP(https://developers.google.com/health-ai-developer-foundations/medsiglip) Resources: Model on Google Cloud Model Garden: MedSigLIP(https://console.cloud.google.com/vertex-ai/publishers/google/model-...