nvidia/nemotron-colembed-vl-4b-v2
Nemotron ColEmbed V2 🤗 8B |    🤗 4B |    🤗 3B   Model Overview Description The nvidia/nemotron-colembed-vl-4b-v2 is a state-of-the-art late interaction embedding model that ranks No. 3 in the ViDoRe V3: a comprehensive evaluat...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Nemotron ColEmbed V2: Mô hình nhúng đa phương thức hàng đầu cho truy xuất tài liệu hình ảnh
Mô hình nhúng trễ tương tác (late interaction) đạt điểm 61.42 trên bảng ViDoRe V3, hỗ trợ truy xuất tài liệu hình ảnh bằng truy vấn văn bản.
nvidia/nemotron-colembed-vl-4b-v2 là một mô hình nhúng trễ tương tác (late interaction embedding model) tiên tiến, dựa trên kiến trúc Transformer và được tinh chỉnh từ Qwen3-VL-4B-Instruct. Mô hình này cho phép người dùng đưa vào các truy vấn dạng văn bản hoặc tài liệu dạng hình ảnh trang, và đưa ra đại diện số đa véc-tơ theo phong cách ColBERT. Đây là lựa chọn lý tưởng cho các hệ thống RAG đa phương thức và công cụ tìm kiếm đa nội dung.
✨ Điểm nổi bật
- Kết quả xuất sắc trên ViDoRe V3: Xếp hạng 3 với điểm 61.42 trên 8 tác vụ công cộng.
- Kỹ thuật hội tụ mô hình (model merging): Kết hợp nhiều điểm kiểm tra đã được tinh chỉnh để đạt độ ổn định cao mà không tăng độ trễ suy diễn.
- Dữ liệu đồ họa đa ngôn ngữ phong phú: Cải thiện độ căng chứng ngữ giữa các ngôn ngữ và loại tài liệu phức tạp.
- Hỗ trợ đầu vào đa dạng: Chấp nhận hình ảnh RGB và danh sách chuỗi văn bản.
- Đầu ra đa véc-tơ ColBERT: Đưa ra đại diện số 2560 chiều cho từng token đầu vào.
- Tối ưu cho GPU NVIDIA: Tận dụng CUDA và kiến trúc GPU để tăng tốc huấn luyện và suy diễn.
- Cài đặt đơn giản với Transformers: Hỗ trợ tích hợp dễ dàng qua thư viện
transformers.
💡 Vì sao đáng chú ý
Không chỉ là một mô hình nhúng đơn thuần, nemotron-colembed-vl-4b-v2 mang đến một giải pháp toàn diện cho truy xuất thông tin đa phương thức. Nhờ kỹ thuật hội tụ mô hình, mô hình kết hợp được sức mạnh của nhiều điểm kiểm tra mà không cần chạy nhiều mô hình riêng lẻ, giữ nguyên tốc độ suy diễn. Điều này đặc biệt hữ thú với các ứng dụng như máy tìm kiếm đa phương thức, hệ thống truy xuất liên giác quan và trợ lý ảo hiểu biết phong phú.
#AI #MultimodalEmbedding #VisualDocumentRetrieval #ColPali #TiniX
Similar Projects
Discover other similar projects and AI models.
The embedding model trained by Jina AI. Jina Embeddings v4: Universal Embeddings for Multimodal Multilingual Retrieval GGUF(https://github.com/jina-ai/jina-embeddings-v4-gguf) | Blog(https://jina.ai/news/jina-embeddings-v4-universal-embeddings-for-m...
llama-nemoretriever-colembed-3b-v1 Description The nvidia/llama-nemoretriever-colembed-3b-v1 is a late interaction embedding model fine-tuned for query-document retrieval. Users can input queries, which are text, or documents which are page images,...
The embedding model trained by Jina AI. Jina Embeddings v4: Universal Embeddings for Multimodal Multilingual Retrieval Original Model(https://huggingface.co/jinaai/jina-embeddings-v4) | Blog(https://jina.ai/news/jina-embeddings-v4-universal-embeddin...
TomoroAI/tomoro-colqwen3-embed-4b ⚡ Executive Summary TomoroAI/tomoro-colqwen3-embed-4b is a state-of-the-art ColPali(https://arxiv.org/abs/2407.01449)-style multimodal embedding model. It maps text queries, visual documents (images, PDFs) or short...
ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...
ColNomic Embed Multimodal 3B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-3b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 61.2 NDC...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...