vidore/colpali
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#4 Repository Của Tuần
🧠 ColPali: Truy xuất PDF thông minh bằng AI thị giác
ColPali kết hợp PaliGemma-3B và ColBERT để truy xuất tài liệu từ đặc trưng thị giác.
ColPali là một mô hình mở rộng từ PaliGemma-3B, áp dụng chiến lược ColBERT để tạo đại diện đa véc-tơ từ văn bản và hình ảnh. Dự án giúp lập chỉ mục tài liệu PDF một cách hiệu quả thông qua các đặc trưng thị giác.
✨ Điểm nổi bật
- PaliGemma-3B + SigLIP: Xây dựng từ mô hình thị giác ngôn ngữ PaliGemma-3B và SigLIP.
- ColBERT strategy: Tính toán tương tác giữa token văn bản và patch ảnh.
- Đào tạo trên 127.460 cặp query-trang: Dữ liệu học thuật và dữ liệu t合成 từ PDF web.
- Tối ưu với LoRA và bfloat16: Sử dụng phần tử thấp hạng và độ chính xác bán chín.
- Hỗ trợ inference trên GPU: Chạy trên 8 GPU với batch size 32.
- Xuất bản trên Hugging Face: Tương thích với thư viện colpali_engine phiên bản 0.1.1.
💡 Vì sao đáng chú ý
ColPali khác biệt nhờ việc ánh xạ patch ảnh qua mô hình ngôn ngữ lớn, tận dụng chiến lược ColBERT để cải thiện đáng kể hiệu suất truy xuất. Phù hợp cho hệ thống tìm kiếm trong tài liệu PDF, kiến thức lý thuyết và ứng dụng học thuật.
#ColPali #VisualRetrieval #PaliGemma #ColBERT #TiniX
Similar Projects
Discover other similar projects and AI models.
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...
TomoroAI/tomoro-colqwen3-embed-4b ⚡ Executive Summary TomoroAI/tomoro-colqwen3-embed-4b is a state-of-the-art ColPali(https://arxiv.org/abs/2407.01449)-style multimodal embedding model. It maps text queries, visual documents (images, PDFs) or short...
ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...
🏆 EVIE-Preview-4.5B Rank 1 on ViDoRe V3 · Rank 1 on ViDoRe V1+V2 The most accurate visual document retriever, with native 128-dimensional token vectors. 🏆 Results(-vidore-v3--rank-1) • 💾 Index Cost(-index-cost) • ⚡ Quick Start(-quick-start) • 🔬...
ColModernVBERT Model This is the model card for ColModernVBERT, the late-interaction version of ModernVBERT that is fine-tuned for visual document retrieval tasks, our most performant model on this task. Table of Contents 1. Overview(overview) 2. Us...
ColNomic Embed Multimodal 3B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-3b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 61.2 NDC...