microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224
BiomedCLIP-PubMedBERT256-vitbasepatch16224 BiomedCLIP(https://aka.ms/biomedclip-paper) is a biomedical vision-language foundation model that is pretrained on PMC-15M(https://github.com/microsoft/BiomedCLIPdatapipeline), a dataset of 15 million figur...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tháng
#2 Repository Của Tháng
#5 Repository Của Tháng
🧬 BiomedCLIP: Mô hình ngôn ngữ-thị giác y tế zero-shot từ Microsoft
Một mô hình vision-language foundation dành riêng cho lĩnh vực y tế, huấn luyện trên 15 triệu hình ảnh y tế đa dạng từ PubMed Central.
BiomedCLIP-PubMedBERT_256-vit_base_patch16_224 là một mô hình ngôn ngữ-thị giác (vision-language) nền tảng được Microsoft phát triển và huấn luyện trên PMC-15M — một bộ dữ liệu gồm 15 triệu cặp ảnh-chú thích từ các bài báo y học trên PubMed Central. Mô hình sử dụng PubMedBERT làm bộ mã hóa văn bản và Vision Transformer (ViT) làm bộ mã hóa hình ảnh, được tối ưu cho miền y tế. Nó hỗ trợ nhiều nhiệm vụ như phân loại hình ảnh, truy xuất đa phương thức và trả lời câu hỏi dựa trên hình ảnh.
✨ Điểm nổi bật
- Huấn luyện trên PMC-15M: 15 triệu cặp ảnh-chú thích từ PubMed Central, bao phủ đa dạng hình ảnh y tế như vi sinh học, X-quay, hình sinh học...
- Zero-shot image classification: Phân loại hình ảnh y tế mà không cần huấn luyện lại, chỉ cần cung cấp nhãn.
- PubMedBERT + ViT: Kết hợp mã hóa văn bản và hình ảnh chuyên biệt cho lĩnh vực y tế.
- Hỗ trợ nhiều nhiệm vụ VLP: Bao gồm truy xuất đa phương thức, phân loại hình ảnh và trả lời câu hỏi dựa trên hình ảnh.
- Tích hợp với Hugging Face: Dễ dàng tải về và sử dụng thông qua thư viện
open_clipvàtransformers. - Hiệu suất cao: Đạt kết quả tốt trên nhiều bộ dữ liệu chuẩn trong lĩnh vực y tế.
💡 Vì sao đáng chú ý
Khác với các mô hình CLIP chung, BiomedCLIP được thiết kế riêng cho lĩnh vực y tế với bộ dữ liệu lớn và đa dạng từ các bài báo khoa học. Điều này giúp mô hình hiểu sâu hơn về ngữ cảnh y tế, đư ra dự đoán chính xác hơn trên các hình ảnh như sinh học lượt, MRI hay X-quay.
#BiomedCLIP #VisionLanguage #MedicalAI #ZeroShot #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
Model Card for CLIP ViT-B/32 - LAION-2B Table of Contents 1. Model Details(model-details) 2. Uses(uses) 3. Training Details(training-details) 4. Evaluation(evaluation) 5. Acknowledgements(acknowledgements) 6. Citation(citation) 7. How To Get Started...
Model Card for CLIP ViT-H/14 - LAION-2B Table of Contents 1. Model Details(model-details) 2. Uses(uses) 3. Training Details(training-details) 4. Evaluation(evaluation) 5. Acknowledgements(acknowledgements) 6. Citation(citation) 7. How To Get Started...
Model Card for CLIP ViT-bigG/14 - LAION-2B Table of Contents 1. Model Details(model-details) 2. Uses(uses) 3. Training Details(training-details) 4. Evaluation(evaluation) 5. Acknowledgements(acknowledgements) 6. Citation(citation) 7. How To Get Star...
Model Card: CLIP Disclaimer: The model card is taken and modified from the official CLIP repository, it can be found here(https://github.com/openai/CLIP/blob/main/model-card.md). Model Details The CLIP model was developed by researchers at OpenAI to...
Model Card: CLIP Disclaimer: The model card is taken and modified from the official CLIP repository, it can be found here(https://github.com/openai/CLIP/blob/main/model-card.md). Model Details The CLIP model was developed by researchers at OpenAI to...
clip-vit-large-patch14-336 This model was trained from scratch on an unknown dataset. It achieves the following results on the evaluation set: Model description More information needed Intended uses & limitations More information needed Training and...
🔥 Update SUMMER 2025: 🔥 🤖 New and greatly improved version of the model, check out: - 🌑 https://huggingface.co/zer0int/CLIP-KO-LITE-TypoAttack-Attn-Dropout-ViT-L-14(https://huggingface.co/zer0int/CLIP-KO-LITE-TypoAttack-Attn-Dropout-ViT-L-14) --...
!Youtube Video(https://img.shields.io/badge/youtube-video-red)(https://www.youtube.com/watch?v=uqRSc-KSA1Y) !HuggingFace Model(https://img.shields.io/badge/HF%20Model-Weights-yellow)(https://huggingface.co/patrickjohncyh/fashion-clip) !Open In Colab(...
Model Card: CLIP Disclaimer: The model card is taken and modified from the official CLIP repository, it can be found here(https://github.com/openai/CLIP/blob/main/model-card.md). Model Details The CLIP model was developed by researchers at OpenAI to...