nvidia/llama-nemotron-rerank-vl-1b-v2
Model Overview Description: The llama-nemotron-rerank-vl-1b-v2 was developed by NVIDIA for multimodal question-answering retrieval. It is optimized for providing a logit score that represents how relevant a document page is to a given query. The mod...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tuần
🧠 Llama-Nemotron-Rerank-VL-1B-v2: Mô hình xếp hạng lại đa phương thức từ NVIDIA
Mô hình rerank cross-encoder ~1.7B tham số, kết hợp SigLIP 2 vision encoder và Llama 3.2 1B, tối ưu cho hệ thống truy xuất đa phương thức như vision RAG.
llama-nemotron-rerank-vl-1b-v2 là mô hình reranker đa phương thức do NVIDIA phát triển, dùng để xếp hạng lại các trang tài liệu (dưới dạng hình ảnh, văn bản, hoặc kết hợp cả hai) dựa trên mức độ liên quan với một câu truy vấn. Mô hình phân tích sâu qua self-attention giữa câu truy vấn và tài liệu, rồi đưa ra một logit điểm số đánh giá mức độ phù hợp. Phù hợp với các trang tính, biểu đồ, bảng và infographics.
✨ Điểm nổi bật
- Cross-encoder đa phương thức: Kết hợp xử lý hình ảnh và văn bản đồng thời để xếp hạng lại tài liệu.
- Kiến trúc Eagle 2: Sử dụng SigLIP 2 400M vision encoder và Llama 3.2 1B language model.
- Hỗ trợ đa dạng đầu vào: Xử lý hình ảnh đơn, văn bản đơn, hoặc cả hai kết hợp.
- Tối ưu cho RAG: Dùng để rerank kết quả từ mô hình embedding dày đặc trong pipeline truy xuất đa phương thức.
- Đánh giá trên Vidore: Được kiểm chứng trên các bộ chuẩn ViDoRe V1, V2, V3 và hai dataset nội bộ.
- Hỗ trợ thương mại: Cấp phép NVIDIA Open Model License, sẵn sàng cho sử dụng thương mại.
- Hiệu năng cao trên GPU: Tối ưu chạy trên hệ thống GPU NVIDIA với CUDA.
- Đầu ra linh hoạt: Trả về logit thô, người dùng có thể áp dụng Sigmoid để chuyển thành xác suất.
💡 Vì sao đáng chú ý
Khác với các mô hình embedding dùng để truy xuất ban đầu, mô hình reranker này xây dựng tương tác sâu giữa truy vấn và tài liệu thông qua self-attention toàn bộ, giúp cải thiện độ chính xác của hệ thống truy xuất. Đặc biệt hiệu quả trong các ứng dụng hỏi đáp trên nguồn lớn chứa hình ảnh tài liệu phức tạp. Kiến trúc Eagle 2 với tính năng tiling động giúp xử lý tốt hình ảnh độ phân giải cao.
#MultimodalReranker #VisionRAG #NVIDIA #CrossEncoder #TiniX
Similar Projects
Discover other similar projects and AI models.
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
Trained by Jina AI. jina-reranker-v2-base-multilingual Intended Usage & Model Info The Jina Reranker v2 (jina-reranker-v2-base-multilingual) is a transformer-based model that has been fine-tuned for text reranking task, which is a crucial component...
Model Overview Description The Llama Nemotron Reranking 1B model is optimized for providing a logit score that represents how relevant a document(s) is to a given query. The model was fine-tuned for multilingual, cross-lingual text question-answerin...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
FlagEmbedding Model List | FAQ | Usage | Evaluation | Train | Contact | Citation | License More details please refer to our Github: FlagEmbedding(https://github.com/FlagOpen/FlagEmbedding). If you are looking for a model that supports more languages,...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Model Overview Description: The NVIDIA llama-nemotron-rerank-vl-1b-v2-fp8 is the quantized version of the NVIDIA llama-nemotron-rerank-vl-1b-v2(https://huggingface.co/nvidia/llama-nemotron-rerank-vl-1b-v2/tree/9c20c4ae) which is developed for multim...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...