vidore/colSmol-256M
ColSmolVLM-Instruct-256M: Visual Retriever based on SmolVLM-Instruct-250M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 Truy xuất tài liệu hình ảnh siêu nhẹ với colSmol-256M
Mô hình truy xuất tài liệu hình ảnh dựa trên SmolVLM-Instruct-250M, áp dụng chiến lược ColBERT để sinh biểu diễn đa vector.
colSmol-256M là một mô hình truy xuất tài liệu hình ảnh (visual document retrieval) dựa trên kiến trúc SmolVLM-Instruct-250M, được huấn luyện với chiến lược ColBERT để sinh ra các biểu diễn đa vector cho cả văn bản và hình ảnh. Đây là phiên bản được huấn luyện với batch_size 32 trong 3 epoch, dựa trên công trình nghiên cứu ColPali.
✨ Điểm nổi bật
- Kiến trúc SmolVLM + ColBERT: Kết hợp Vision Language Model nhẹ với chiến lược ColBERT sinh biểu diễn đa vector.
- Huấn luyện hiệu quả: Batch size 32, 3 epoch, tối ưu cho bộ nhớ và tốc độ.
- Dữ liệu đa dạng: 127,460 cặp truy vấn-trang từ tập dữ liệu học thuật mở và dữ liệu đồng hành được tạo bởi Claude-3 Sonnet.
- Hỗ trợ đa ngôn ngữ zero-shot: Dù chỉ huấn luyện bằng tiếng Anh, mô hình có khả năng tổng quát hoá sang ngôn ngữ khác.
- Tích hợp với colpali-engine: Dễ dàng sử dụng qua thư viện colpali-engine phiên bản > 0.3.5.
- Tối ưu bộ nhớ: Sử dụng bfloat16, LoRA (alpha=32, r=32), và tối ưu trên 4 GPU.
💡 Vì sao đáng chú ý
colSmol-256M nổi bật nhờ sự kết hợp giữa tính nhẹ của SmolVLM và hiệu suất cao từ chiến lược ColBERT. Không giống các mô hình truyền thống chỉ sinh vector đơn, mô hình này sinh ra nhiều vector cho mỗi token, cải thiện đáng kể độ chính xác khi so khớp truy vấn với tài liệu hình ảnh.
Mô hình phù hợp cho các ứng dụng truy xuất tài liệu PDF, hệ thống hỗ trợ tìm kiếm thông tin hình ảnh, và các bài toán cần xử lý đa phương tiện văn bản-hình ảnh.
#ColPali #SmolVLM #VisualDocumentRetrieval #ColBERT #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
TomoroAI/tomoro-colqwen3-embed-4b ⚡ Executive Summary TomoroAI/tomoro-colqwen3-embed-4b is a state-of-the-art ColPali(https://arxiv.org/abs/2407.01449)-style multimodal embedding model. It maps text queries, visual documents (images, PDFs) or short...
ColModernVBERT Model This is the model card for ColModernVBERT, the late-interaction version of ModernVBERT that is fine-tuned for visual document retrieval tasks, our most performant model on this task. Table of Contents 1. Overview(overview) 2. Us...
ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...
🏆 EVIE-Preview-4.5B Rank 1 on ViDoRe V3 · Rank 1 on ViDoRe V1+V2 The most accurate visual document retriever, with native 128-dimensional token vectors. 🏆 Results(-vidore-v3--rank-1) • 💾 Index Cost(-index-cost) • ⚡ Quick Start(-quick-start) • 🔬...