Marqo/marqo-fashionSigLIP
Marqo-FashionSigLIP Model Card !GitHub(https://img.shields.io/badge/GitHub-black?logo=github)(https://github.com/marqo-ai/marqo-FashionCLIP) Marqo Fashion Siglip 2 is available. marqo-fashion-SigLip-2 has shown a further 78% improvement in MMR and r...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Ngày
#1 Repository Của Ngày
🧠 Marqo-FashionSigLIP: Mô hình tìm kiếm thời trang đa phương thức mạnh nhất hiện nay
Mô hình embedding đa phương thức (multimodal) tối ưu cho thời trang, cải thiện lên tới 57% MRR và recall so với FashionCLIP truyền thống.
Marqo-FashionSigLIP là một mô hình embedding đa phương thức được tinh chỉnh từ ViT-B-16-SigLIP (webli), thiết kế riêng cho các ứng dụng thời trang. Nó sử dụng kỹ thuật Generalized Contrastive Learning (GCL) để học từ nhiều nguồn thông tin như mô tả văn bản, danh mục, phong cách, màu sắc, chất liệu và từ khóa chi tiết — mang lại kết quả tìm kiếm rất phù hợp với sản phẩm thời trang.
✨ Điểm nổi bật
- Cải thiện MRR và Recall: Lên tới 57% so với fashion clip, và 78% cải thiện thêm trong phiên bản FashionSigLIP 2.
- Học đa nguồn thông tin: Hỗ trợ mô tả văn bản, danh mục, phong cách, màu sắc, chất liệu, từ khóa và chi tiết nhỏ.
- Tương thích đa nền tảng: Hỗ trợ Hugging Face Transformers, OpenCLIP và Transformers.js.
- Đánh giá trên 6 bộ dữ liệu: Atlas, DeepFashion (In-shop), DeepFashion (Multimodal), Fashion200k, KAGL, Polyvore.
- Zero-shot image classification: Hỗ trợ phân loại hình ảnh không cần huấn luyện lại.
- Tích hợp dễ dàng: Tải về và sử dụng ngay qua AutoModel hoặc OpenCLIP.
- Mã nguồn mở: Giấy phép Apache 2.0, phát triển bởi nhóm Marqo.
💡 Vì sao đáng chú ý
Khác biệt với các mô hình CLIP thông thường, Marqo-FashionSigLIP áp dụng GCL để học đa dạng các khía cạnh của sản phẩm thời trang, giúp tìm kiếm chính xác hơn trong ngữ cảnh thương mại điện tử. Kết quả benchmark cho thấy;preformance vượ trội trên cả 6 bộ dữ liệu công cộng. Phù hợp với ứng dụng tìm kiếm hình ảnh, truy xuất sản phẩm thời trang, và phân loại zero-shot.
#Multimodal #FashionAI #CLIP #Ecommerce #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
BERT base model (uncased) Pretrained model on English language using a masked language modeling (MLM) objective. It was introduced in this paper(https://arxiv.org/abs/1810.04805) and first released in this repository(https://github.com/google-resear...
Model Card: CLIP Disclaimer: The model card is taken and modified from the official CLIP repository, it can be found here(https://github.com/openai/CLIP/blob/main/model-card.md). Model Details The CLIP model was developed by researchers at OpenAI to...
Model Card for CLIP ViT-B/32 - LAION-2B Table of Contents 1. Model Details(model-details) 2. Uses(uses) 3. Training Details(training-details) 4. Evaluation(evaluation) 5. Acknowledgements(acknowledgements) 6. Citation(citation) 7. How To Get Started...
Model Card for CLIP ViT-H/14 - LAION-2B Table of Contents 1. Model Details(model-details) 2. Uses(uses) 3. Training Details(training-details) 4. Evaluation(evaluation) 5. Acknowledgements(acknowledgements) 6. Citation(citation) 7. How To Get Started...
!Youtube Video(https://img.shields.io/badge/youtube-video-red)(https://www.youtube.com/watch?v=uqRSc-KSA1Y) !HuggingFace Model(https://img.shields.io/badge/HF%20Model-Weights-yellow)(https://huggingface.co/patrickjohncyh/fashion-clip) !Open In Colab(...
BiomedCLIP-PubMedBERT256-vitbasepatch16224 BiomedCLIP(https://aka.ms/biomedclip-paper) is a biomedical vision-language foundation model that is pretrained on PMC-15M(https://github.com/microsoft/BiomedCLIPdatapipeline), a dataset of 15 million figur...