timm/ViT-SO400M-16-SigLIP2-512
Model card for ViT-SO400M-16-SigLIP2-512 Model Details A SigLIP 2 Vision-Lanuage model trained on WebLI. This model has been converted for use in OpenCLIP from the original JAX checkpoints in Big Vision(https://github.com/google-research/bigvision)....
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tháng
#2 Repository Của Tháng
#2 Repository Của Tháng
🚀 ViT-SO400M-16-SigLIP2-512: Mô hình phân loại ảnh không cần huấn luyện
Công cụ mạnh mẽ cho thị giác, hiểu nội dung hình ảnh bằng nhiều ngôn ngữ mà không cần dữ liệu có giám sát.
Dự án này là một mô hình contrastive image-text thuộc SigLIP 2, được huấn luyện trên tập dữ liệu WebLI lớn từ Google. Nó đã được chuyển đổi từ checkpoint JAX gốc sang định dạng compatible với OpenCLIP, giúp dễ dàng tích hợp vào các dự án Python. Mô hình này tập trung vào phân loại ảnh zero-shot, tức là có thể nhận diện các lớp mà không cần huấn luyện có giám sát, rất phù hợp cho các ứng dụng thực tế như tìm kiếm hình ảnh, phân tích nội dung hay hỗ trợ đa ngôn ngữ.
✨ Điểm nổi bật
- Phân loại ảnh zero-shot: Nhận diện hình ảnh dựa trên mô tả văn bản mà không cần dữ liệu huấn luyện có标签.
- Hỗ trợ đa ngôn ngữ: Nâng cao khả năng hiểu semantic của hình ảnh bằng nhiều ngôn ngữ khác nhau.
- Huấn luyện trên WebLI: Sử dụng tập dữ liệu đa dạng và lớn từ Google, bao gồm nhiều khía cạnh thực tế.
- Chuyển đổi cho OpenCLIP: Dễ dàng dùng với thư viện open_clip_torch, tương thích với các công cụ phổ biến.
- Cải tiến từ SigLIP 2: Có các tính năng như localization và dense features, cải thiện khả năng phân tích chi tiết.
- Sigmoid loss: Áp dụng hàm loss mới trong pre-training để tăng hiệu quả học.
- Mã nguồn mở: License Apache 2.0, cho phép sử dụng và cải tiến tự do.
💡 Vì sao đáng chú ý
Mô hình này khác biệt nhờ sự kết hợp giữa các tiến bộ từ SigLIP 2 và tính tiện dụng của OpenCLIP, mang lại một giải pháp mạnh mẽ cho các tác vụ thị giác không cần huấn luyện lại. Phù hợp cho các nhà nghiên cứu, developer hay người dùng muốn tích hợp phân loại ảnh thông minh vào sản phẩm, đặc biệt khi cần hỗ trợ đa ngôn ngữ và tính linh hoạt cao. Với dataset WebLI và các paper khoa học đi kèm, đây là lựa chọn đáng tin cậy cho các dự án open-source.
#SigLIP2 #ZeroShotImageClassification #OpenCLIP #WebLI #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
SigLIP (shape-optimized model) SigLIP model pre-trained on WebLi at resolution 384x384. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repositor...
SigLIP 2 Base SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unders...
SigLIP 2 Giant SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic under...
SigLIP 2 Base SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unders...
SigLIP 2 So400m SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unde...
SigLIP 2 So400m SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unde...
SigLIP (base-sized model) SigLIP model pre-trained on WebLi at resolution 224x224. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repository(htt...
MedSigLIP model card Model documentation: MedSigLIP(https://developers.google.com/health-ai-developer-foundations/medsiglip) Resources: Model on Google Cloud Model Garden: MedSigLIP(https://console.cloud.google.com/vertex-ai/publishers/google/model-...
Model card for ViT-B-16-SigLIP2-256 Model Details A SigLIP 2 Vision-Lanuage model trained on WebLI. This model has been converted for use in OpenCLIP from the original JAX checkpoints in Big Vision(https://github.com/google-research/bigvision). Mode...