vidore/colpali-v1.2
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 ColPali v1.2: Truy xuất tài liệu thông minh qua tầm nhìn đa dạng thức
ColPali kết hợp PaliGemma-3B và ColBERT để truy xuất tài liệu dựa trên hình ảnh một cách hiệu quả.
ColPali là một mô hình mở dựa trên kiến trúc và chiến lược huấn luyện mới dựa trên mô hình ngôn ngữ thị giác (VLM), nhằm lập chỉ mục tài liệu thông qua đặc trưng hình ảnh. Đây là phiên bản mở rộng của PaliGemma-3B, sinh ra các đại diện đa vector kiểu ColBERT từ văn bản và hình ảnh.
✨ Điểm nổi bật
- Dựa trên PaliGemma-3B: Mở rộng từ mô hình ngôn ngữ thị giác mạnh mẽ.
- Chiến lược ColBERT: Tính toán tương tác giữa token văn bản và vùng ảnh bằng cơ chế tương tác muộn.
- Đa vector: Sinh ra đại diện đa vector cho cả hình ảnh và truy vấn.
- Huấn luyện hiệu quả: Sử dụng LoRA, bfloat16, và tối ưu paged_adamw_8bit.
- Dữ liệu đa dạng: 127.460 cặp truy vấn-trang từ tài liệu học thuật và tổng hợp.
- Hỗ trợ truy xuất tài liệu PDF: Tối ưu cho tài liệu PDF và ngôn ngữ có nguồn lực cao.
💡 Vì sao đáng chú ý
ColPali vượt trội so với các phương pháp truy xuất truyền thống nhờ việc kết hợp trực tiếp đặc trưng hình ảnh vào không gian ngữ nghĩa tương tự văn bản thông qua PaliGemma. Điều này cho phép sử dụng chiến lược ColBERT để tính điểm tương đồng chính xác giữa truy vấn và tài liệu hình ảnh. Dự án phù hợp với các ứng dụng truy xuất thông tin tài liệu, tìm kiếm hình ảnh trong tài liệu lớn, và nghiên cứu xử lý ngôn ngữ tự nhiên đa dạng thức.
#ColPali #PaliGemma #ColBERT #VisualRetrieval #TiniX
Similar Projects
Discover other similar projects and AI models.
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
TomoroAI/tomoro-colqwen3-embed-4b ⚡ Executive Summary TomoroAI/tomoro-colqwen3-embed-4b is a state-of-the-art ColPali(https://arxiv.org/abs/2407.01449)-style multimodal embedding model. It maps text queries, visual documents (images, PDFs) or short...
ColModernVBERT Model This is the model card for ColModernVBERT, the late-interaction version of ModernVBERT that is fine-tuned for visual document retrieval tasks, our most performant model on this task. Table of Contents 1. Overview(overview) 2. Us...
!IMPORTANT This version of ColPali should be loaded with the transformers 🤗 release, not with colpali-engine. It was converted using the convertcolpaliweightstohf.py script(https://github.com/tonywu71/transformers/blob/21c1309637aee97ca4fb8eb3b3183...
!IMPORTANT This version of ColPali should be loaded with the transformers 🤗 release, not with colpali-engine. It was converted using the convertcolpaliweightstohf.py script(https://github.com/tonywu71/transformers/blob/21c1309637aee97ca4fb8eb3b3183...