google/medsiglip-448
MedSigLIP model card Model documentation: MedSigLIP(https://developers.google.com/health-ai-developer-foundations/medsiglip) Resources: Model on Google Cloud Model Garden: MedSigLIP(https://console.cloud.google.com/vertex-ai/publishers/google/model-...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🏥 MedSigLIP: Mô hình vision-language y tế zero-shot từ Google
MedSigLIP — biến thể SigLIP được huấn luyện trên dữ liệu y tế đa dạng, hỗ trợ zero-shot classification và truy xuất ảnh y tế.
MedSigLIP là một mô hình vision-language do Google phát triển, là phiên bản tùbiến của SigLIP (Sigmoid Loss for Language Image Pre-training), được thiết kế để mã hóa ảnh y tế và văn bản vào cùng một không gian nhúng. Mô hình hỗ trợ phân loại zero-shot, phân loại hiệu quả với dữ liệu ít và truy xuất hình ảnh y tế, phù hợp cho các ứng dụng AI y tế không cần sinh văn bản.
✨ Điểm nổi bật
- Zero-shot image classification: Phân loại ảnh y tế mà không cần huấn luyện lại
- 400M vision encoder + 400M text encoder: Kiến trúc mã hóa ảnh và văn bản mạnh mẽ
- Hỗ trợ 448x448 ảnh và 64 token văn bản: Độ phân giải và ngữ cảnh văn bản phong phú
- Được huấn luyện trên nhiều dữ liệu y tế: X-quang ngực, da liễu, mắt, hồng cầu, CT/MRI...
- Tích hợp với Transformers: Dễ dàng sử dụng thông qua Hugging Face
- Hỗ trợ truy xuất ảnh y tế: Tìm kiếm và so sánh hình ảnh dựa trên mô tả văn bản
- Cung cấp notebook Colab: Hỗ trợ bắt đầu nhanh và tinh chỉnh mô hình
💡 Vì sao đáng chú ý
MedSigLIP khác biệt từ các mô hình vision-language chung bởi được huấn luyện đặng trọng vào dữ liệu y tế, bao gồm nhiều loại hình ảnh khác nhau như X-quang, da liễu, mắt, hồng cầu cũng như CT/MRI. Điều này giúp mô hình hiểu rõ ngữ cảnh y tế và áp dụng hiệu quả cho các bài toán như phân loại bệnh, truy xuất ảnh y tế trong lĩnh vực y học. Đặc biệt, mô hình không sinh văn bản mà tập trung vào mã hóa và so sánh, phù hợp với các ứng dụng y tế cần độ chính xác cao.
#MedSigLIP #GoogleHealth #ZeroShotClassification #MedicalAI #VisionLanguageModel #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
MedGemma model card Model documentation: MedGemma(https://developers.google.com/health-ai-developer-foundations/medgemma) Resources: Model on Google Cloud Model Garden: MedGemma(https://console.cloud.google.com/vertex-ai/publishers/google/model-gard...
MedGemma model card Model documentation: MedGemma(https://developers.google.com/health-ai-developer-foundations/medgemma) Resources: Model on Google Cloud Model Garden: MedGemma(https://console.cloud.google.com/vertex-ai/publishers/google/model-gard...
MedGemma 1.5 model card Note: This card describes MedGemma 1.5, which is only available as a 4B multimodal instruction-tuned variant. For information on MedGemma 1 variants, refer to the MedGemma 1 model card(https://developers.google.com/health-ai-...
Unsloth Dynamic 2.0 achieves superior accuracy & outperforms other leading quants. MedGemma 1.5 model card Note: This card describes MedGemma 1.5, which is only available as a 4B multimodal instruction-tuned variant. For information on MedGemma 1 va...
Model Card: CLIP Disclaimer: The model card is taken and modified from the official CLIP repository, it can be found here(https://github.com/openai/CLIP/blob/main/model-card.md). Model Details The CLIP model was developed by researchers at OpenAI to...
SigLIP (shape-optimized model) SigLIP model pre-trained on WebLi at resolution 384x384. It was introduced in the paper Sigmoid Loss for Language Image Pre-Training(https://arxiv.org/abs/2303.15343) by Zhai et al. and first released in this repositor...
MedGemma model card Model documentation: MedGemma(https://developers.google.com/health-ai-developer-foundations/medgemma) Resources: Model on Google Cloud Model Garden: MedGemma(https://console.cloud.google.com/vertex-ai/publishers/google/model-gard...
SigLIP 2 Base SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic unders...
SigLIP 2 Giant SigLIP 2(https://huggingface.co/papers/2502.14786) extends the pretraining objective of SigLIP(https://huggingface.co/papers/2303.15343) with prior, independently developed techniques into a unified recipe, for improved semantic under...