Quay lại Trending
Modelvisual-document-retrieval
nvidia

nvidia/llama-nemoretriever-colembed-3b-v1

llama-nemoretriever-colembed-3b-v1 Description The nvidia/llama-nemoretriever-colembed-3b-v1 is a late interaction embedding model fine-tuned for query-document retrieval. Users can input queries, which are text, or documents which are page images,...

75thích
548tải xuống
1lượt xem

Thành tựu nổi bật

Những danh hiệu mới nhất của dự án

1
TINIX TRENDING·Chủ đề: colpali

#1 Repository Của Tuần

1
TINIX TRENDING·Chủ đề: arxiv:2407.15831

#1 Repository Của Tuần

1
TINIX TRENDING·Chủ đề: arxiv:2507.05513

#1 Repository Của Tuần

🚀 Mô hình nhúng đa phương thức hàng đầu cho truy xuất tài liệu hình ảnh

Mô hình llama-nemoretriever-colembed-3b-v1 của NVIDIA xuất ra biểu diễn đa véc-tơ theo phong cách ColBERT, tối ưu cho truy vấn bằng văn bản so với tài liệu dưới dạng ảnh trang.

Đây là một mô hình nhúng tương tác muội trường (late interaction) được tinh chỉnh (fine-tuned) riêng cho nhiệm vụ truy xuất truy vấn-tài liệu. Người dùng có thể cung cấp queries dưới dạng văn bản hoặc documents dưới dạng ảnh trang, và mô hình sẽ trả về các biểu diễn số đa véc-tơ theo phong cách ColBERT cho cả hai. Mô hình này đã xếp hạng đầu trên các bảng xếp hạng lớn như ViDoRe V1 (nDCG@5), ViDoRe V2 (nDCG@5) và MTEB VisualDocumentRetrieval (Rank Borda) tính đến ngày 27 tháng 6, 2025.

✨ Điểm nổi bật

  • Truy xuất truy vấn-văn bản → tài liệu-ảnh: Hỗ trợ đưa câu truy vấn bằng văn bản và so khớp với tài liệu dưới dạng ảnh trang.
  • Kiến trúc ColBERT: Sử dụng phương pháp tương tác muội trường để tạo ra các véc-tơ đa chiều cho câu truy vấn và tài liệu, cải thiện độ chính xác so với các phương pháp nhúng đơn véc-tơ.
  • Đa ngôn ngữ: Hỗ trợ nhiều ngôn ngữ khác nhau trong cả truy vấn và tài liệu.
  • Pre-trained trên arxiv:2507.05513: Được phát triển dựa trên báo cáo kỹ thuật chi tiết từ nhóm nghiên cứu của NVIDIA.
  • Sử dụng thư viện Transformers: Tích hợp liền mạch với hệ sinh thái Hugging Face Transformers.
  • Miễn phí cho nghiên cứu: Chỉ dành cho mục đích phi thương mại và nghiên cứu học thuật.
  • Phiên bản nâng cấp: Được đề xuất nâng cấp lên nvidia/llama-nemotron-colembed-vl-3b-v2.

💡 Vì sao đáng chú ý

Khác biệt với các mô hình nhúng truyền thống chỉ xử lý văn bản, mô hình này kết hợp xử lý hình ảnh, phù hợp cho các hệ thống truy xuất thông tin từ tài liệu PDF, báo cáo, hoặc tài liệu lịch sử. Kết quả xuất sắc trên các bảng xếp hạng quốc tế như ViDoRe và MTEB cho thấy hiệu năng vượt trội trong việc ghẫn đúng văn bản với hình ảnh tài liệu liên quan. Đây là công cụ lý tưởng cho các ứng dụng như truy xuất hỗ trợ tài liệu, hệ thống thư viện số, hoặc công cụ phân tích tài liệu hình ảnh.


#VisualDocumentRetrieval #ColBERT #MultimodalEmbedding #TextToImageRetrieval #TiniX

Dự án tương tự

Khám phá các dự án và mô hình AI khác có sự tương đồng.

Modelvisual-document-retrieval
jinaai/jina-embeddings-v4

The embedding model trained by Jina AI. Jina Embeddings v4: Universal Embeddings for Multimodal Multilingual Retrieval GGUF(https://github.com/jina-ai/jina-embeddings-v4-gguf) | Blog(https://jina.ai/news/jina-embeddings-v4-universal-embeddings-for-m...

♥0
151.4k
Apr 8, 2026
Modelvisual-document-retrieval
nvidia/nemotron-colembed-vl-4b-v2

Nemotron ColEmbed V2 🤗 8B | &nbsp&nbsp 🤗 4B | &nbsp&nbsp 🤗 3B &nbsp Model Overview Description The nvidia/nemotron-colembed-vl-4b-v2 is a state-of-the-art late interaction embedding model that ranks No. 3 in the ViDoRe V3: a comprehensive evaluat...

♥0
2.5k
Feb 21, 2026
Modelvisual-document-retrieval
jinaai/jina-embeddings-v4-vllm-retrieval

The embedding model trained by Jina AI. Jina Embeddings v4: Universal Embeddings for Multimodal Multilingual Retrieval Original Model(https://huggingface.co/jinaai/jina-embeddings-v4) | Blog(https://jina.ai/news/jina-embeddings-v4-universal-embeddin...

♥0
11.8k
Sep 17, 2025
Modelvisual-document-retrieval
TomoroAI/tomoro-colqwen3-embed-4b

TomoroAI/tomoro-colqwen3-embed-4b ⚡ Executive Summary TomoroAI/tomoro-colqwen3-embed-4b is a state-of-the-art ColPali(https://arxiv.org/abs/2407.01449)-style multimodal embedding model. It maps text queries, visual documents (images, PDFs) or short...

♥0
79.0k
Aug 21, 2026
Modelvisual-document-retrieval
nomic-ai/colnomic-embed-multimodal-7b

ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...

♥0
669
Apr 15, 2025
Modelvisual-document-retrieval
nomic-ai/colnomic-embed-multimodal-3b

ColNomic Embed Multimodal 3B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-3b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 61.2 NDC...

♥0
719
Apr 15, 2025
Modelimage-text-to-text
moonshotai/Kimi-K3

📰  Tech Blog |     📄  Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...

♥0
856.2k
Sep 2, 2026
Modelvisual-document-retrieval
vidore/colpali

ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...

♥0
1.3k
Aug 20, 2026
Modelvisual-document-retrieval
vidore/colqwen2.5-v0.2

ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...

♥0
195.3k
Aug 20, 2026