vidore/colpali-v1.3-hf
!IMPORTANT This version of ColPali should be loaded with the transformers 🤗 release, not with colpali-engine. It was converted using the convertcolpaliweightstohf.py script(https://github.com/tonywu71/transformers/blob/21c1309637aee97ca4fb8eb3b3183...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🧠 ColPali: Truy xuất tài liệu thông minh từ hình ảnh bằng PaliGemma-3B
ColPali kết hợp kiến trúc PaliGemma-3B với chiến lược ColBERT để sinh biểu diễn đa vector từ cả văn bản và hình ảnh.
ColPali là một mô hình dựa trên kiến trúc mới và chiến lược huấn luyện dựa trên mô hình ngôn ngữ thị giác (VLM) nhằm lập chỉ mục tài liệu hiệu quả thông qua đặc trưng thị giác. Đây là phiên bản mở rộng của PaliGemma-3B, sinh ra các biểu diễn đa vector theo phong cách ColBERT cho cả văn bản và hình ảnh. Dự án do Manuel Faysse, Hugues Sibille, Tony Wu và cộng sự phát triển.
✨ Điểm nổi bật
- Hỗ trợ transformers 🤗: Phiên bản này cần tải bằng transformers 🤗, không dùng colpali-engine.
- Chuyển đổi trọng số: Được chuyển đổi từ checkpoint vidore/colpali-v1.3-merged bằng script convert_colpali_weights_to_hf.py.
- Huấn luyện trên 127.460 cặp truy vấn-trang: Bao gồm dữ liệu học thuật mở (63%) và dữ liệu t合成 từ PDF web (37%).
- Kỹ thuật huấn luyện: Dùng LoRA (alpha=32, r=32), tối ưu paged_adamw_8bit, batch size 32, learning rate 5e-5.
- Hỗ trợ đánh giá zero-shot: Thiết kế bộ dữ liệu tiếng Anh để nghiên cứu khả năng tổng quát hóa sang ngôn ngữ khác.
- Giới hạn ngôn ngữ: Tập trung vào tài liệu PDF và ngôn ngữ tài nguyên cao.
💡 Vì sao đáng chú ý
ColPali khác biệt so với các phương pháp truyền thống bằng cách sử dụng mô hình thị giác ngôn ngữ để trích xuất đặc trưng từ hình ảnh tài liệu thay vì xử lý OCR truyền thống. Kết hợp ColBERT cho phép so khớp linh hoạt giữa truy vấn và tài liệu, phù hợp cho hệ thống truy xuất tài liệu dựa trên hình ảnh phức tạp.
#ColPali #PaliGemma #VisualDocumentRetrieval #Transformers #MultiVectorRetrieval #TiniX
Similar Projects
Discover other similar projects and AI models.
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
!IMPORTANT This version of ColPali should be loaded with the transformers 🤗 release, not with colpali-engine. It was converted using the convertcolpaliweightstohf.py script(https://github.com/tonywu71/transformers/blob/21c1309637aee97ca4fb8eb3b3183...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...