nomic-ai/nomic-embed-multimodal-3b
Nomic Embed Multimodal 3B: State-of-the-Art Visual Document Retrieval nomic-embed-multimodal-3b is a dense state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 58.8 NDCG@5 on Vidore...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Nomic Embed Multimodal 3B: Tìm kiếm tài liệu hình ảnh đỉnh cao từ Qwen2.5-VL
Mô hình nhúng đa phương thức 3B tinh chỉnh từ Qwen2.5-VL, đạt 58.8 NDCG@5 trên Vidore-v2, xử lý trực tiếp văn bản và hình ảnh xen kẽ.
Nomic Embed Multimodal 3B là mô hình nhúng dense đa phương thức state-of-the-art, được tinh chỉnh từ Qwen2.5-VL 3B Instruct. Dựa trên PEFT và kiến trúc Vision-Language Model, mô hình hỗ trợ mã hóa thống nhất cả văn bản và hình ảnh, đặc biệt hiệu quả cho tác vụ tìm kiếm tài liệu hình ảnh (Text-to-Visual Document retrieval). Mô hình được huấn luyện trên tập dữ liệu colpali-queries-mined và hỗ trợ nhiều ngôn ngữ bao gồm tiếng Anh, Ý, Pháp, Đức, Tây Ban Nha.
✨ Điểm nổi bật
- Hiệu suất cao: Đạt 58.8 NDCG@5 trên Vidore-v2, vượt trội so với các mô hình đa phương thức dense cùng kích thước.
- Mã hóa thống nhất: Xử lý trực tiếp văn bản và hình ảnh xen kẽ mà không cần tiền xử lý phức tạp.
- Kiến trúc tiên tiến: Mô hình 3 tỷ tham số dựa trên Vision-Language Model.
- Trọng lượng mở: Các trọng số mô hình có sẵn cho nghiên cứu.
- Tích hợp RAG: Dễ dàng tích hợp vào quy trình làm việc RAG thông qua API thống nhất.
- Hỗ trợ đa ngôn ngữ: Xử lý tài liệu bằng nhiều ngôn ngữ khác nhau.
- Tối ưu cho tài liệu phong phú: Phù hợp với báo cáo tài chính, tài liệu kỹ thuật, danh mục sản phẩm.
💡 Vì sao đáng chú ý
Nomic Embed Multimodal 3B nổi bật nhờ kỹ thuật lấy mẫu cùng nguồn để tạo negatives khó trong batch, cùng với hard negative mining dựa trên kỹ thuật positive-aware. Điều này giúp mô hình học sâu hơn về ngữ cảnh trực quan của tài liệu. Khác với các hệ thống chỉ dựa trên văn bản, mô hình này giữ được cả thông tin hình ảnh và bố cục, phù hợp cho các tài liệu phức tạp như báo cáo tài chính hay tài liệu kỹ thuật có biểu đồ, bảng số.
#MultimodalEmbedding #VisualDocumentRetrieval #RAG #TiniX
Similar Projects
Discover other similar projects and AI models.
ColNomic Embed Multimodal 3B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-3b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 61.2 NDC...
ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
The embedding model trained by Jina AI. Jina Embeddings v4: Universal Embeddings for Multimodal Multilingual Retrieval GGUF(https://github.com/jina-ai/jina-embeddings-v4-gguf) | Blog(https://jina.ai/news/jina-embeddings-v4-universal-embeddings-for-m...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
llama-nemoretriever-colembed-3b-v1 Description The nvidia/llama-nemoretriever-colembed-3b-v1 is a late interaction embedding model fine-tuned for query-document retrieval. Users can input queries, which are text, or documents which are page images,...