nomic-ai/colnomic-embed-multimodal-7b
ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 ColNomic Embed Multimodal 7B: Mô hình nhúng đa phương thức hàng đầu cho truy xuất tài liệu hình ảnh
Đạt 62.7 NDCG@5 trên Vidore-v2, vượt trội hẳn các mô hình khác.
colnomic-embed-multimodal-7b là một mô hình nhúng đa phương thức multi-vector được fine-tune từ Qwen2.5-VL 7B Instruct. Nó hỗ trợ mã hóa trực tiếp văn bản và hình ảnh xen kẽ, áp dụng cho các nhiệm vụ truy xuất tài liệu hình ảnh đa ngôn ngữ (tiếng Anh, Ý, Pháp, Đức, Tây Ban Nha).
✨ Điểm nổi bật
- Hiệu suất cao: Đạt 62.7 NDCG@5 trên Vidore-v2, vượt trội so với các mô hình khác.
- Mã hóa thống nhất: Xử lý trực tiếp văn bản và hình ảnh xen kẽ mà không cần tiền xử lý phức tạp.
- Kiến trúc 7B: Mô hình nhúng đa phương thức với 7 tỷ tham số.
- Nguồn mở hoàn toàn: Cung cấp trọng số mô hình, dữ liệu huấn luyện và mã nguồn.
- Tích hợp RAG: Hỗ trợ trực tiếp nhúng tài liệu hình ảnh vào workflow RAG.
- Đa ngôn ngữ: Hỗ trợ tiếng Anh, Ý, Pháp, Đức, Tây Ban Nha.
💡 Vì sao đáng chú ý
Mô hình sử dụng kỹ thuật fine-tune từ Qwen2.5-VL và áp dụng sampling cùng nguồn để tạo negatives khó trong batch, cải thiện đáng kể hiệu suất. Đặc biệt phù hợp cho các tài liệu phong phú hình ảnh như báo cáo tài chính, tài liệu kỹ thuật, danh mục sản phẩm.
#Multimodal #VisualDocumentRetrieval #RAG #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
ColNomic Embed Multimodal 3B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-3b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 61.2 NDC...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
The embedding model trained by Jina AI. Jina Embeddings v4: Universal Embeddings for Multimodal Multilingual Retrieval GGUF(https://github.com/jina-ai/jina-embeddings-v4-gguf) | Blog(https://jina.ai/news/jina-embeddings-v4-universal-embeddings-for-m...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
llama-nemoretriever-colembed-3b-v1 Description The nvidia/llama-nemoretriever-colembed-3b-v1 is a late interaction embedding model fine-tuned for query-document retrieval. Users can input queries, which are text, or documents which are page images,...