vidore/colpali-v1.2-hf
!IMPORTANT This version of ColPali should be loaded with the transformers 🤗 release, not with colpali-engine. It was converted using the convertcolpaliweightstohf.py script(https://github.com/tonywu71/transformers/blob/21c1309637aee97ca4fb8eb3b3183...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 ColPali v1.2 – Truy xuất tài liệu thị giác mạnh mẽ với PaliGemma + ColBERT
ColPali kết hợp Vision Language Model (VLM) và chiến lược ColBERT để truy xuất tài liệu từ đặc trưng thị giác, tối ưu cho PDF và tài liệu học thuật.
ColPali là một mô hình dựa trên kiến trúc và chiến lược huấn luyện mới dựa trên mô hình ngôn ngữ và thị giác (VLM), nhằm lập chỉ mục tài liệu hiệu quả thông qua các đặc trưng thị giác. Đây là phiên bản mở rộng của PaliGemma-3B, sinh ra các biểu diễn đa vectơ kiểu ColBERT từ cả văn bản và hình ảnh.
Phiên bản này được chuyển đổi từ checkpoint vidore/colpali-v1.2-merged bằng script convert_colpali_weights_to_hf.py và nên được tải bằng thư viện transformers của Hugging Face.
✨ Điểm nổi bật
- Dựa trên PaliGemma-3B: Khởi điểm từ mô hình thị giác ngôn ngữ mạnh mẽ của Google.
- Chiến lược ColBERT: Tính toán tương tác giữa token văn bản và patch ảnh thông qua cơ chế late interaction.
- Hỗ trợ transformers 🤗: Tích hợp sẵn với thư viện transformers, dễ dàng triển khai.
- Huấn luyện trên 127.460 cặp query-trang: Bao gồm dữ liệu học thuật mở và dữ liệu t合成 từ PDF web.
- Sử dụng LoRA: Áp dụng adapter low-rank để tối ưu hiệu năng huấn luyện.
- Đánh giá zero-shot đa ngôn ngữ: Thiết kế bởi dữ liệu huấn luyện bằng tiếng Anh.
- Tích hợp scoring: Hàm
score_retrievalgiúp đánh giá mức độ liên quan giữa truy vấn và hình ảnh.
💡 Vì sao đáng chú ý
ColPali vượt trội so với các phương pháp truyền thống nhờ việc kết hợp trực tiếp patch embeddings từ SigLIP vào một LLM như PaliGemma, giúp ánh xạ không gian ngữ nghĩa giữa hình ảnh và văn bản một cách tự nhiên. Điều này mở theo cho cải tiến đáng kể về độ chính xác trong truy xuất tài liệu so với các mô hình chuyển đổi trực tiếp.
Thích hợp cho các ứng dụng như hệ thống truy xuất tài liệu PDF, chatbot hỗ trợ tìm kiếm tài liệu học thuật, hoặc các hệ thống RAG (Retrieval-Augmented Generation) cần xử lý nội dung tài liệu phức tạp.
#ColPali #PaliGemma #ColBERT #VisualDocumentRetrieval #Transformers #TiniX
Similar Projects
Discover other similar projects and AI models.
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...
!IMPORTANT This version of ColPali should be loaded with the transformers 🤗 release, not with colpali-engine. It was converted using the convertcolpaliweightstohf.py script(https://github.com/tonywu71/transformers/blob/21c1309637aee97ca4fb8eb3b3183...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...