TomoroAI/tomoro-colqwen3-embed-4b
TomoroAI/tomoro-colqwen3-embed-4b ⚡ Executive Summary TomoroAI/tomoro-colqwen3-embed-4b is a state-of-the-art ColPali(https://arxiv.org/abs/2407.01449)-style multimodal embedding model. It maps text queries, visual documents (images, PDFs) or short...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 tomoro-colqwen3-embed-4b — Mô hình nhúng đa phương thức ColPali-style siêm tốn dung lượng
Mô hình nhúng đa phương thức ColPali-style dựa trên Qwen3-VL 4B, kết hợp truy vấn văn bản và tài liệu hình ảnh/PDF/video ngắn thành embedding đa véc-tơ, giảm 13× dung lượng lưu trữ so với các mô hình ColPali truyền thống.
TomoroAI/tomoro-colqwen3-embed-4b là một mô hình nhúng đa phương thức theo phong cách ColPali, ánh xạ truy vấn văn bản, tài liệu hình ảnh (ảnh, PDF) hoặc video ngắn thành các embedding đa véc-tơ được căn chỉnh. Được xây dựng bằng cách kết hợp Qwen/Qwen3-VL-4B-Instruct với Qwen/Qwen3-Embedding-4B, mô hình kế thừa khả năng truy xuất văn bản mạnh mẽ đồng thời giữ lại toàn bộ kiến trúc thị giác. Được huấn luyện trên tập hợp dữ liệu VDR, ViDoRe-ColPali-Training, VisRAG-Ret-Train-Synthetic-data và VisRAG-Ret-Train-In-domain-data, mô hình đạt hiệu suất SOTA hoặc cạnh tranh trên bộ đánh giá ViDoRe V1-V3 (tiếng Anh và đa ngôn ngữ).
✨ Điểm nổi bật
- Kiến trúc kết hợp: Kết hợp mãng thị giác Qwen3-VL (token lưới vệ tinh với hợp nhất không gian) và mãng ngôn ngữ.
- Đầu chiếu tùy chỉnh: Đầu chiếu 320 chiều chiếu mỗi token (văn bản hoặc thị giác) thành một véc-tơ.
- Xử lý đa dạng: Truy vấn văn bản (trái-padding), tài liệu (render nhẹ nhàng thành token hình ảnh), video (giải mã khung hình).
- Hiệu quả lưu trữ: Chỉ 1,280 token @ 320 chiều (≈0.82 TB cho 1 triệu ảnh), nhỏ hơn 13× so với baseline NVIDIA Nemo-3B.
- Độ chính xác cao: Đạt điểm số xuất sắc trên ViDoRe V2/V3 (tiếng Anh và đa ngôn ngữ).
- Hỗ trợ đa ngôn ngữ: Áp dụng cho cả tài liệu và truy vấn đa ngôn ngữ.
- Tối ưu hiệu năng: Hỗ trợ FlashAttention 2 và trọng số bfloat16.
💡 Vì sao đáng chú ý
Mô hình không chỉ nâng cao độ chính xác mà còn giảm đáng kể dung lượng lưu trữ nhờ đầu chiếu 320 chiều thay vì 3,072 chiều. Điều này giúp giảm chi phí lưu trữ và tính toán trong các hệ thống truy xuất quy mô lớn. Đặc biệt phù hợp cho ứng dụng truy xuất tài liệu hình ảnh, PDF, và video ngắn trong môi trường đa ngôn ngữ.
#MultimodalEmbedding #ColPali #VisualDocumentRetrieval #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
The embedding model trained by Jina AI. Jina Embeddings v4: Universal Embeddings for Multimodal Multilingual Retrieval GGUF(https://github.com/jina-ai/jina-embeddings-v4-gguf) | Blog(https://jina.ai/news/jina-embeddings-v4-universal-embeddings-for-m...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
llama-nemoretriever-colembed-3b-v1 Description The nvidia/llama-nemoretriever-colembed-3b-v1 is a late interaction embedding model fine-tuned for query-document retrieval. Users can input queries, which are text, or documents which are page images,...
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...
Nemotron ColEmbed V2 🤗 8B |    🤗 4B |    🤗 3B   Model Overview Description The nvidia/nemotron-colembed-vl-4b-v2 is a state-of-the-art late interaction embedding model that ranks No. 3 in the ViDoRe V3: a comprehensive evaluat...