Metric-AI/ColQwenStella-2b-multilingual
ColQwenStella-2b-multilingual: Multilingual Visual Retriever based on the combination of Qwen2 Vision and stellaen1.5Bv5 model. Ranked 1 among models =4.46.3 Usage python import torch from PIL import Image from transformers import AutoModel, AutoPro...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 ColQwenStella-2b-multilingual: Mô hình truy xuất tài liệu đa ngôn ngữ hàng đầu dưới 2B tham số
Kết hợp Qwen2 Vision + stella_en_1.5B_v5, xếp #1 nhóm mô hình ≤2B và #8 chung trên Vidore Leaderboard.
ColQwenStella-2b-multilingual là một mô hình truy xuất tài liệu trực quan đa ngôn ngữ (T→VD retrieval), phát triển bởi Metric AI Research Lab. Dựa trên công thức huấn luyện từ bài báo ColPali, mô hình này kết hợp thành phần thị giác của Qwen2 với bộ mã hóa stella_en_1.5B_v5 để tạo ra các vector nhúng đa dạng thức (hình ảnh và văn bản).
✨ Điểm nổi bật
- Xếp hạng #1 trên Vidore: Dẫn đầu nhóm mô hình dưới 2B tham số và #8 toàn cục.
- Kiến trúc kết hợp: Ghép nối Vision của Qwen2-VL với embedding model stella_en_1.5B_v5.
- Hỗ trợ đa ngôn ngữ: Bao phủ tiếng Anh, Pháp, Tây Ban Nha, Ý, Đức.
- Huấn luyện bằng LoRA: Sử dụng low-rank adapters (alpha=128, r=128) trên các lớp transformer và mạng MLP.
- Dữ liệu đa dạng: Huấn luyện trên 6 nguồn dữ liệu lớn như VisRAG, Docmatix, Colpali, v.v.
- Tối ưu bộ nhớ: Chạy trên 4xA100 80GB với batch size 128 và định dạng bfloat16.
- Công thức ColPali: Áp dụng kỹ thuật truy xuất hiệu quả từ mô hình ngôn ngữ trực quan.
- Bản quyền MIT: Mã nguồn mở, dễ tích hợp và triển khai.
💡 Vì sao đáng chú ý
Khác với các mô hình truy xuất truyền thống chỉ xử lý văn bản, ColQwenStella-2b-multilingual khả năng nhúng hóa cả hình ảnh và văn bản đa ngôn ngữ, phù hợp cho hệ thống RAG xử lý tài liệu phi văn bản như bảng biểu, hình ảnh minh họa, hoặc tài liệu đa ngôn ngữ. Đặc biệt, việc sử dụng LoRA giúp giảm chi phí huấn luyện đáng kể mà vẫn đạt hiệu suất cao.
#VisualDocumentRetrieval #MultimodalEmbedding #ColPali #Vidore #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
ColQwen2.5-3b-multilingual-v1.0: Multilingual Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy Ranked 1 among models smaller than 7B parameters and 2 overall on the Vidore benchmark (as of February 11, 2025). The reported score...
ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...
ColQwen2.5-3b-multilingual-v1.0: Multilingual Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy This is the base version trained on 8xH100 80GB with perdevicebatchsize=128 for 8 epoch. ColQwen is a model based on a novel model a...
ColNomic Embed Multimodal 3B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-3b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 61.2 NDC...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...