vidore/colSmol-500M
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 colSmol-500M: Truy xuất tài liệu thông minh bằng hình ảnh
Mô hình truy xuất tài liệu hình ảnh dựa trên SmolVLM-Instruct-500M, áp dụng chiến lược ColBERT để sinh biểu diễn đa véc-tơ.
colSmol-500M là một phiên bản mô hình truy xuất tài liệu hình ảnh được huấn luyện từ SmolVLM-Instruct-500M với chiến lược ColBERT. Đây là một phần mở rộng của SmolVLM, sinh ra các biểu diễn đa véc-tơ theo phong cách ColBERT cho cả văn bản và hình ảnh, giúp lập chỉ mục tài liệu hiệu quả thông qua đặc trưng thị giác. Mô hình được giới thiệu trong bài báo cáo ColPali và phát hành đầu tiên tại kho lưu trữ colpali.
✨ Điểm nổi bật
- Kiến trúc ColBERT: Sinh biểu diợn đa véc-tơ cho truy vấn và hình ảnh, hỗ trợ tương tác trễ (late interaction).
- Huấn luyện trên 127.460 cặp truy vấn-trang: Dữ liệu bao gồm tập dữ liệu học thuật mở và dữ liệu t合成 từ PDF web.
- Tối ưu với LoRA: Sử dụng bộ điều tối ứng low-rank (LoRA) với alpha=32, r=32 trên các lớp transformer.
- Hỗ trợ flash attention: Tương thích với
flash_attention_2hoặceagerđể tối ưu hiệu năng. - Đánh giá zero-shot đa ngôn ngữ: Dù dữ liệu huấn luyện chủ yếu bằng tiếng Anh, mô hình có khả năng tổng quát hóa đến ngôn ngữ khác.
- Phát hành cộng đồng: Phiên bản này được huấn luyện với commit b983e40 từ nhánh chính của kho lưu trữ ColPali.
💡 Vì sao đáng chú ý
colSmol-500M khác biệt so với các phương pháp truyền thống bằng cách kết hợp kiến trúc mô hình ngôn ngữ trực quan (VLM) với chiến lược ColBERT, cho phép truy xuất tài liệu dựa trên hình ảnh một cách hiệu quả. Thay vì dựa vào OCR hoặc truy xuất dựa trên văn bản, mô hình này trực tiếp xử lý hình ảnh tài liệu, phù hợp với các bài toán tìm kiếm tài liệu PDF hoặc hình ảnh phức tạp. Đặc biệt, mô hình hỗ trợ truy xuất đa véc-tơ, giúp cải thiện độ chính xác khi so sánh với các phương pháp truy xuất truyền thống.
#ColPali #SmolVLM #VisualDocumentRetrieval #ColBERT #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
TomoroAI/tomoro-colqwen3-embed-4b ⚡ Executive Summary TomoroAI/tomoro-colqwen3-embed-4b is a state-of-the-art ColPali(https://arxiv.org/abs/2407.01449)-style multimodal embedding model. It maps text queries, visual documents (images, PDFs) or short...
ColModernVBERT Model This is the model card for ColModernVBERT, the late-interaction version of ModernVBERT that is fine-tuned for visual document retrieval tasks, our most performant model on this task. Table of Contents 1. Overview(overview) 2. Us...
ColSmolVLM-Instruct-256M: Visual Retriever based on SmolVLM-Instruct-250M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...
ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...
🏆 EVIE-Preview-4.5B Rank 1 on ViDoRe V3 · Rank 1 on ViDoRe V1+V2 The most accurate visual document retriever, with native 128-dimensional token vectors. 🏆 Results(-vidore-v3--rank-1) • 💾 Index Cost(-index-cost) • ⚡ Quick Start(-quick-start) • 🔬...