Metric-AI/ColQwen2.5-3b-multilingual-v1.0
ColQwen2.5-3b-multilingual-v1.0: Multilingual Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy Ranked 1 among models smaller than 7B parameters and 2 overall on the Vidore benchmark (as of February 11, 2025). The reported score...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 ColQwen2.5-3b-multilingual v1.0: Mô hình truy xuất tài liệu đa ngôn ngữ hàng đầu dưới 7B
Xếp hạng #1 trên Vidole cho mô hình dưới 7B, #2 toàn bộ mô hình.
Đây là phiên bản nâng cấp của ColQwen dựa trên nền tảng Qwen2.5-VL-3B-Instruct, áp dụng chiến lược ColBERT để tạo ra các biểu diễn đa vectơ từ văn bản và hình ảnh. Phát triển bởi Metric AI Research Lab, mô hình giải quyết bài toán truy xuất tài liệu hình ảnh một cách hiệu quả thông qua đặc trưng thị giác.
✨ Điểm nổi bật
- Xếp hạng cao trên Vidole: #1 cho mô hình dưới 7B, #2 toàn bộ mô hình.
- Hỗ trợ đa ngôn ngữ: Tiếng Anh, Pháp, Tây Ban Nha, Ý, Đức.
- Giữ nguyên tỉ lệ ảnh: Chấp nhận độ phân giải động mà không thay đổi tỉ lệ.
- Tối ưu bộ nhớ: Tối đa 768 patch ảnh, cân bằng hiệu năng và bộ nhớ.
- Huấn luyện với LoRA: Sử dụng low-rank adapters (alpha=128, r=128).
- Hỗ trợ công cụ: Tương thích với colpali-engine và transformers.
- Bản quyền linh hoạt: backbone dưới Qwen Research License, adapter dưới MIT.
💡 Vì sao đáng chú ý
Khác biệt từ các mô hình truy xuất truyền thống, ColQwen2.5 sử dụng kiến trúc VLM kết hợp ColBERT để sinh ra biểu diễn đa vectơ, cho phép truy xuất chính xác từ cả nội dung văn bản và hình ảnh. Đặc biệt hiệu quả với tài liệu PDF và các ngôn ngữ đa ngữ, phù hợp cho ứng dụng RAG (Retrieval-Augmented Generation) và hệ thống truy xuất thông tin phi cấu trúc.
#ColQwen2.5 #Vidole #MultilingualRetrieval #VisualDocumentRetrieval #TiniX
Similar Projects
Discover other similar projects and AI models.
ColQwen2.5-3b-multilingual-v1.0: Multilingual Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy This is the base version trained on 8xH100 80GB with perdevicebatchsize=128 for 8 epoch. ColQwen is a model based on a novel model a...
ColNomic Embed Multimodal 3B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-3b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 61.2 NDC...
ColQwenStella-2b-multilingual: Multilingual Visual Retriever based on the combination of Qwen2 Vision and stellaen1.5Bv5 model. Ranked 1 among models =4.46.3 Usage python import torch from PIL import Image from transformers import AutoModel, AutoPro...
ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...