vidore/colpali-v1.3-merged
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 ColPali v1.3: Truy xuất tài liệu thông minh từ đặc trưng hình ảnh
Mô hình tích hợp PaliGemma-3B với chiến lược ColBERT để sinh đại diện đa vectơ từ văn bản và hình ảnh, tối ưu hóa truy xuất tài liệu dựa trên tính năng thị giác.
ColPali là một mô hình dựa trên kiến trúc và chiến lược huấn luyện mới, xây dựng trên nền tảng các mô hình ngôn ngữ cảnh thị giác (VLMs) nhằm lập chỉ mục tài liệu hiệu quả thông qua đặc trưng hình ảnh. Đây là phiên bản mở rộng của PaliGemma-3B, sinh ra các đại diện đa vectơ theo phong cách ColBERT từ cả văn bản và hình ảnh. Dự án do Manuel Faysse và đồng nghiệp phát triển và ra mắt lần đầu trên kho lưu trữ GitHub.
✨ Điểm nổi bật
- Kiến trúc dựa trên PaliGemma-3B: Kết hợp SigLIP và PaliGemma để tạo biểu diễn thống nhất từ hình ảnh và văn bản.
- Chiến lược ColBERT: Áp dụng cơ chế tương tác muội chung late interaction để tính điểm số giữa token văn bản và patch hình ảnh.
- LoRA adapter đã hòa nhập: Phiên bản merged, không cần hợp nhất adapter thủ công khi tải mô hình.
- Huấn luyện trên 127,460 cặp truy vấn-trang: Bao gồm dữ liệu học thuật mở và dữ liệu đồng cấu tạo bằng Claude-3 Sonnet.
- Hỗ trợ bfloat16 và tối ưu hiệu năng: Huấn luyện với trang bị 8 GPU, batch size 32 và tốc độ học 5e-5.
- Tích hợp colpali-engine: Dễ dàng cài đặt và sử dụng thông qua thư viện
colpali-engine.
💡 Vì sao đáng chú ý
ColPali khác biệt so với các mô hình truy xuất truyền thống bằng cách đưa patch embedding của hình ảnh trực tiếp vào mô hình ngôn ngữ lớn (LLM), giúp ánh xạ ngẫu nhiên chúng vào không gian tiềm nhiễm tương tự như đầu vào văn bản. Điều này mở khả năng sử dụng chiến lược ColBERT để tính toán tương tác chi tiết giữa token và patch, mang lại bước nhảy vọt về hiệu suất so với BiPali.
#ColPali #PaliGemma #ColBERT #VisionLanguageModel #TiniX
Similar Projects
Discover other similar projects and AI models.
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
!IMPORTANT This version of ColPali should be loaded with the transformers 🤗 release, not with colpali-engine. It was converted using the convertcolpaliweightstohf.py script(https://github.com/tonywu71/transformers/blob/21c1309637aee97ca4fb8eb3b3183...
!IMPORTANT This version of ColPali should be loaded with the transformers 🤗 release, not with colpali-engine. It was converted using the convertcolpaliweightstohf.py script(https://github.com/tonywu71/transformers/blob/21c1309637aee97ca4fb8eb3b3183...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...
ColSmolVLM-Instruct-256M: Visual Retriever based on SmolVLM-Instruct-250M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...