tsystems/colqwen2.5-3b-multilingual-v1.0
ColQwen2.5-3b-multilingual-v1.0: Multilingual Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy This is the base version trained on 8xH100 80GB with perdevicebatchsize=128 for 8 epoch. ColQwen is a model based on a novel model a...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 ColQwen2.5-3b-multilingual: Bộ truy xuất tài liệu đa ngôn ngữ mạnh từ Qwen2.5-VL
Mô hình ColQwen2.5-3b-multilingual v1.0 kết hợp kiến trúc ColBERT với Qwen2.5-VL-3B-Instruct để truy xuất tài liệu hình ảnh hiệu quả đa ngôn ngữ.
Đây là phiên bản cơ sở được huấn luyện trên 8xH100 80GB với kích thước lô trên mỗi thiết bị là 128 trong 8 epoch. ColQwen dựa trên một kiến trúc và chiến lược huấn luyện mới dựa trên mô hình Ngôn ngữ Tầm nhìn (VLM) để lập chỉ mục tài liệu từ các đặc trưng thị giác một cách hiệu quả. Đây là phiên bản mở rộng của Qwen2.5-VL-3B, tạo ra các biểu diễn đa véc-tơ theo phong cách ColBERT cho cả văn bản và hình ảnh.
✨ Điểm nổi bật
- Truy xuất đa ngôn ngữ: Hỗ trợ tiếng Anh, Pháp, Tây Ban Nha, Ý, Đức.
- Chiến lược ColBERT: Sử dụng cơ chế tương tác muội trường (late interaction) để tạo đại diện đa véc-tơ.
- Độ phân giải động: Chấp nhận hình ảnh đầu vào với độ phân giải thay đổi mà không thay đổi tỉ lệ khung hình.
- Huấn luyện với LoRA: Áp dụng low-rank adapters (LoRA) với alpha=128, r=128 trên các lớp transformer.
- Tối ưu bộ nhớ: Tối đa 768 patch hình ảnh, cân bằng giữa độ chính xác và yêu cầu bộ nhớ.
- Hỗ trợ colpali-engine: Tương thích với phiên bản colpali-engine==0.3.9.
- Dữ liệu đa dạng: Huấn luyện trên nhiều nguồn dữ liệu như VisRAG, VDR-multilingual, ColPali train set.
- Tích hợp dễ dàng: Hỗ trợ sử dụng thông qua thư viện Transformers và PEFT.
💡 Vì sao đáng chú ý
Khác với các phương pháp truy xuất dựa trên văn bản truyền thống, ColQwen2.5 khai thác đặc trưng thị giác của tài liệu để tăng độ chính xác trong việc tìm kiếm thông tin từ hình ảnh tài liệu. Điều này đặc biệt hữu ích cho các ứng dụng như truy xuất thông tin từ PDF, sách, tài liệu học thuật hay báo cáo đa ngôn ngữ. Tích hợp ColBERT cho phép mô hình xử lý cả truy vấn văn bản và hình ảnh một cách đồng nhất, tạo ra một hệ thống truy xuất linh hoạt.
#VisualDocumentRetrieval #MultilingualAI #ColBERT #Qwen2.5VL #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
ColQwen2.5-3b-multilingual-v1.0: Multilingual Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy Ranked 1 among models smaller than 7B parameters and 2 overall on the Vidore benchmark (as of February 11, 2025). The reported score...
ColNomic Embed Multimodal 3B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-3b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 61.2 NDC...
ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...
ColQwenStella-2b-multilingual: Multilingual Visual Retriever based on the combination of Qwen2 Vision and stellaen1.5Bv5 model. Ranked 1 among models =4.46.3 Usage python import torch from PIL import Image from transformers import AutoModel, AutoPro...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...