openai/clip-vit-base-patch16
Model Card: CLIP Disclaimer: The model card is taken and modified from the official CLIP repository, it can be found here(https://github.com/openai/CLIP/blob/main/model-card.md). Model Details The CLIP model was developed by researchers at OpenAI to...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#3 Repository Của Tuần
#4 Repository Của Tuần
#1 Repository Của Tuần
🖼️ CLIP Vit-B/16: Mô hình zero-shot phân loại ảnh từ OpenAI
Mô hình CLIP học đường hình-text để phân loại ảnh zero-shot mà không cần huấn luyện lại.
CLIP (Contrastive Language–Image Pretraining) là mô hình phát triển bởi các nhà nghiên cứu tại OpenAI, được thiết kế để nghiên cứu độ bền vững (robustness) trong các tác vụ thị giác máy tính. Mô hình kiểm tra khả năng tổng quát hóa đến bất kỳ tác vụ phân loại ảnh nào theo kiểu zero-shot. Đây là biến thứ nhất với kiến trúc Vision Transformer (ViT-B/16).
✨ Điểm nổi bật
- Zero-shot phân loại ảnh: Dự đoán nhãn ảnh mà không cần huấn luyện lại mô hình.
- Kiến trúc Transformer kết hợp: Dùng ViT-B/16 làm mã hóa ảnh, Transformer tự chú ý làm mã hóa văn bản.
- Huấn luyện contrastive loss: Tối đa điện lượng tương đồng giữa cặp (ảnh, văn bản).
- Hỗ trợ Transformers: Dễ dàng tích hợp với thư viện Hugging Face Transformers.
- Đánh giá trên nhiều bộ dữ liệu: Hiệu suất thử nghiệm trên hơn 40 bộ dữ liệu thị giác khác nhau.
- Phiên bản Vision Transformer: Lựa chọn ResNet hoặc ViT – bản này dùng ViT.
💡 Vì sao đáng chú ý
CLIP khác biệt vì khả năng học chung giữa ảnh và ngôn ngữ, cho phép phân loại zero-shot mà không cần dữ liệu gán nhãn mới. Đây là công cụ mạnh cho nghiên cứu đánh giá khả năng tổng quát hóa mô hình thị giác. Tuy nhiên, mô hình chỉ được huấn luyện bằng tiếng Anh, và việc triển khai thực tế cần kiểm thử kỹ lưỡng trong từng ngữ cảnh.
#CLIP #ZeroShotImageClassification #VisionTransformer #OpenAI #HuggingFace #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Model Card: CLIP Disclaimer: The model card is taken and modified from the official CLIP repository, it can be found here(https://github.com/openai/CLIP/blob/main/model-card.md). Model Details The CLIP model was developed by researchers at OpenAI to...
Model Card: CLIP Disclaimer: The model card is taken and modified from the official CLIP repository, it can be found here(https://github.com/openai/CLIP/blob/main/model-card.md). Model Details The CLIP model was developed by researchers at OpenAI to...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Model Card for CLIP ViT-B/32 - LAION-2B Table of Contents 1. Model Details(model-details) 2. Uses(uses) 3. Training Details(training-details) 4. Evaluation(evaluation) 5. Acknowledgements(acknowledgements) 6. Citation(citation) 7. How To Get Started...
clip-vit-large-patch14-336 This model was trained from scratch on an unknown dataset. It achieves the following results on the evaluation set: Model description More information needed Intended uses & limitations More information needed Training and...
SigLIP (shape-optimized model) SigLIP model pre-trained on WebLi at resolution 384x384. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repositor...
Model Card for CLIP ViT-H/14 - LAION-2B Table of Contents 1. Model Details(model-details) 2. Uses(uses) 3. Training Details(training-details) 4. Evaluation(evaluation) 5. Acknowledgements(acknowledgements) 6. Citation(citation) 7. How To Get Started...