ModernVBERT/colmodernvbert
ColModernVBERT Model This is the model card for ColModernVBERT, the late-interaction version of ModernVBERT that is fine-tuned for visual document retrieval tasks, our most performant model on this task. Table of Contents 1. Overview(overview) 2. Us...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#3 Repository Của Tuần
#3 Repository Của Tuần
🚀 ColModernVBERT: Truy xuất tài liệu đa hình ảnh siêu nhẹ, hiệu năng đáng ngạ cức
Mô hình late-interaction chỉ với 250M tham số, nhưng đạt hiệu năng ngang mô hình lớn gấp 10 lần.
ColModernVBERT là phiên bản late-interaction của ModernVBERT, được tinh chỉnh chuyên cho bài toán truy xuất tài liệu đa hình ảnh (visual document retrieval). Đây là mô hình mạnh nhất trong họ ModernVBERT — một bộ mã nguồn mở gồm các bộ mã hóa thị giác-ngôn ngữ nhỏ gọn, đạt kết quả tốt nhất trong phân lớp kích thước này, cạnh tranh trực tiếp với các mô hình lớn hơn tới 10 lần.
✨ Điểm nổi bật
- Late-interaction: Sử dụng cơ chế late-interaction để tối ưu độ chính xác trong truy xuất tài liệu.
- 250M tham số: Siêu nhẹ so với các mô hình cùng nhiệm vụ, dễ triển khai trên thiết bị cá nhân.
- Truy xuất tài liệu đa hình ảnh: Tối ưu cho bài toán tìm kiếm tài liệu chứa cả văn bản và hình ảnh.
- Hỗ trợ Flash Attention 2: Tăng tốc độ xử lý trên GPU nếu thiết bị hỗ trợ.
- Tích hợp với colpali-engine: Dễ dàng sử dụng thông qua thư viện colpali-engine của Hugging Face.
- Độ chính xác cao: Đạt hiệu năng bằng mô hình lớn gấp 10 lần trên các bộ chuẩn truy xuất tài liệu.
- Tốc độ suy diễn nhanh trên CPU: Hiệu năng tốt ngay cả khi không dùng GPU.
💡 Vì sao đáng chú ý
ColModernVBERT không chỉ nổi bật vì kích thước nhỏ mà còn vì khả năng "đánh bại" các mô hình lớn hơn rất nhiều. Điều này mở ra khả năng ứng dụng rộng rãi trong môi trường có giới hạn tài nguyên, như máy tính cá nhân hoặc thiết bị đầu cuối. Đặc biệt, mô hình hỗ trợ Flash Attention 2 giúp tận dụng tối đa hiệu năng GPU, đồng thời tốc độ suy diễn nhanh trên CPU khiến nó trở lực lựa chọn lý tưởng cho các ứng dụng thời gian thực.
#ColModernVBERT #VisualDocumentRetrieval #ColPali #TiniX
Similar Projects
Discover other similar projects and AI models.
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
🏆 EVIE-Preview-4.5B Rank 1 on ViDoRe V3 · Rank 1 on ViDoRe V1+V2 The most accurate visual document retriever, with native 128-dimensional token vectors. 🏆 Results(-vidore-v3--rank-1) • 💾 Index Cost(-index-cost) • ⚡ Quick Start(-quick-start) • 🔬...
TomoroAI/tomoro-colqwen3-embed-4b ⚡ Executive Summary TomoroAI/tomoro-colqwen3-embed-4b is a state-of-the-art ColPali(https://arxiv.org/abs/2407.01449)-style multimodal embedding model. It maps text queries, visual documents (images, PDFs) or short...
The embedding model trained by Jina AI. Jina Embeddings v4: Universal Embeddings for Multimodal Multilingual Retrieval GGUF(https://github.com/jina-ai/jina-embeddings-v4-gguf) | Blog(https://jina.ai/news/jina-embeddings-v4-universal-embeddings-for-m...
ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...