vidore/colqwen2.5-v0.2
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Ngày
#1 Repository Của Ngày
#1 Repository Của Ngày
🚀 ColQwen2.5 — Truy xuất tài liệu thông minh từ hình ảnh và văn bản
Mở rộng từ Qwen2.5-VL-3B-Instruct, ColQwen2.5 sinh ra biểu diễn đa vector theo phong cách ColBERT, tối ưu cho việc lập chỉ mục tài liệu dựa trên đặc trưng hình ảnh.
ColQwen2.5 là một mô hình truy xuất tài liệu hình ảnh (visual document retrieval) được phát triển dựa trên kiến trúc và chiến lược huấn luyện mới từ các mô hình ngôn ngữ thị giác (VLMs). Đây là phiên bản mở rộng của mô hình Qwen2.5-VL-3B-Instruct, sinh ra các biểu diễn đa vector theo phong cách ColBERT cho cả văn bản và hình ảnh. Dự án được giới thiệu trong bài báo "ColPali: Efficient Document Retrieval with Vision Language Models".
✨ Điểm nổi bật
- Truy xuất tài liệu hình ảnh: Hỗ trợ truy xuất thông tin từ hình ảnh tài liệu PDF thông qua đặc trưng thị giác.
- Chiến lược ColBERT: Sinh ra biểu diễn đa vector giúp tăng cường độ chính xác khi so khớp truy vấn và tài liệu.
- Độ phân giải động: Nhận diện hình ảnh với độ phân giải thay đổi mà không cần thay đổi tỉ lệ, tối đa 768 vùng ảnh (patches).
- Huấn luyện bằng LoRA: Áp dụng kỹ thuật low-rank adaptation (LoRA) với alpha=32 và r=32 trên các lớp transformer và lớp chiếu cuối.
- Tối ưu bộ nhớ: Sử dụng bfloat16 và trình tối ưu hóa paged_adamw_8bit để giảm yêu cầu bộ nhớ.
- Dữ liệu đa dạng: Huấn luyện trên 127.460 cặp truy vấn-trang từ các bộ dữ liệu học thuật mở và dữ liệu t合成 từ PDF web.
- Zero-shot đa ngôn ngữ: Dù bộ dữ liệu huấn luyện chỉ bằng tiếng Anh, mô hình có khả năng tổng quát hóa tốt sang ngôn ngữ khác nhờ kiến thức đa ngôn ngữ trong quá trình tiền huấn luyện.
- Hỗ trợ flash attention: Tích hợp flash_attention_2 để tăng tốc độ tính toán khi khả dụng.
💡 Vì sao đáng chú ý
ColQwen2.5 khác biệt so với các phương pháp truy xuất truyền thống bằng cách kết hợp sức mạnh của Vision Language Models và chiến lược ColBERT, cho phép truy xuất thông tin từ cả nội dung văn bản lẫn hình ảnh một cách hiệu quả. Điều này đặc biệt hữu ích cho các hệ thống quản lý tài liệu số lớn, nơi người dùng cần tì kiếm thông tin dựa trên hình ảnh hoặc truy vấn bằng ngôn ngữ tự nhiên.
Mô hình cũng hỗ trợ tích hợp dễ dàng với thư viện colpali-engine và transformers, cung cấp đoạn mã mẫu rõ ràng giúp người dùng triển khai nhanh chóng.
#ColQwen2.5 #ColPali #VisualDocumentRetrieval #Qwen2.5VL #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
TomoroAI/tomoro-colqwen3-embed-4b ⚡ Executive Summary TomoroAI/tomoro-colqwen3-embed-4b is a state-of-the-art ColPali(https://arxiv.org/abs/2407.01449)-style multimodal embedding model. It maps text queries, visual documents (images, PDFs) or short...
ColModernVBERT Model This is the model card for ColModernVBERT, the late-interaction version of ModernVBERT that is fine-tuned for visual document retrieval tasks, our most performant model on this task. Table of Contents 1. Overview(overview) 2. Us...
ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...
🏆 EVIE-Preview-4.5B Rank 1 on ViDoRe V3 · Rank 1 on ViDoRe V1+V2 The most accurate visual document retriever, with native 128-dimensional token vectors. 🏆 Results(-vidore-v3--rank-1) • 💾 Index Cost(-index-cost) • ⚡ Quick Start(-quick-start) • 🔬...
ColNomic Embed Multimodal 3B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-3b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 61.2 NDC...