vidore/colqwen2-v1.0
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 ColQwen2: Truy xuất tài liệu thông minh từ hình ảnh với Qwen2-VL
Một mô hình truy xuất tài liệu hình ảnh dựa trên Qwen2-VL-2B-Instruct, kết hợp chiến lược ColBERT để sinh biểu diễn đa véc-tơ từ cả văn bản và hình ảnh.
ColQwen2 là một mô hình kiến trúc mới dựa trên Vision Language Models (VLMs), được thiết kế để đánh chỉ mục tài liệu hiệu quả thông qua các đặc trưng thị giác. Đây là phần mở rộng của Qwen2-VL-2B, sinh ra các biểu diễn đa véc-tơ theo phong cách ColBERT cho cả văn bản và hình ảnh. Dự án được giới thiệu trong bài báo "ColPali: Efficient Document Retrieval with Vision Language Models" và phát hành đầu tiên tại kho lưu trữ GitHub liên quan.
✨ Điểm nổi bật
- Truy xuất hình ảnh trực tiếp: Xử lý hình ảnh với độ phân giải động, không thay đổi tỉ lệ khung hình.
- Chiến lược ColBERT: Sinh biểu diễn đa véc-tơ từ văn bản và hình ảnh để tăng độ chính xác khi so khớp.
- Hỗ trợ độ phân giải cao: Tối đa 768 vùng ảnh, cải thiện kết quả truy xuất nhưng tăng yêu cầu bộ nhớ.
- Huấn luyện hiệu quả: Huấn luyện trên 127,460 cặp truy vấn-trang, bao gồm cả dữ liệu học thuật và dữ liệu t合成.
- Zero-shot đa ngôn ngữ: Dùng để kiểm tra khả năng tổng quát hóa sang ngôn ngữ khác tiếng Anh.
- Tích hợp FlashAttention-2: Tối ưu tốc độ tính toán khi có sẵn.
- Dễ tích hợp: Hỗ trợ qua thư viện colpali-engine và transformers.
💡 Vì sao đáng chú ý
Khác với các mô hình truy xuất truyền thống chỉ xử lý văn bản, ColQwen2 khai thác trực tiếp đặc trưng thị giác từ hình ảnh tài liệu, giúp truy xuất chính xác hơn trong các tài liệu PDF phức tạp. Mô hình sử dụng cơ chế late interaction của ColBERT, phù hợp với các hệ thống truy xuất cần độ chính xác cao. Tuy nhiên, do phụ thuộc vào multi-vector retrieving, có thể cần công sức kỹ thuật để tích hợp vào các khung truy xuất véc-tơ phổ biến chưa hỗ trợ tính năng này.
#ColQwen2 #VisualDocumentRetrieval #ColBERT #Qwen2VL #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
TomoroAI/tomoro-colqwen3-embed-4b ⚡ Executive Summary TomoroAI/tomoro-colqwen3-embed-4b is a state-of-the-art ColPali(https://arxiv.org/abs/2407.01449)-style multimodal embedding model. It maps text queries, visual documents (images, PDFs) or short...
ColModernVBERT Model This is the model card for ColModernVBERT, the late-interaction version of ModernVBERT that is fine-tuned for visual document retrieval tasks, our most performant model on this task. Table of Contents 1. Overview(overview) 2. Us...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...
🏆 EVIE-Preview-4.5B Rank 1 on ViDoRe V3 · Rank 1 on ViDoRe V1+V2 The most accurate visual document retriever, with native 128-dimensional token vectors. 🏆 Results(-vidore-v3--rank-1) • 💾 Index Cost(-index-cost) • ⚡ Quick Start(-quick-start) • 🔬...