nomic-ai/colnomic-embed-multimodal-3b
ColNomic Embed Multimodal 3B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-3b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 61.2 NDC...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🚀 ColNomic Embed Multimodal 3B: Tối ưu truy xuất tài liệu đa phương thức
Mô hình nhúng đa phương thức 3B đạt 61.2 NDCG@5, vượt trội trên Vidore-v2.
colnomic-embed-multimodal-3b là mô hình nhúng đa phương thức đa vectơ cấp tiến nhất, thiết kế riêng cho nhiệm vụ truy xuất tài liệu hình ảnh. Dựa trên Qwen2.5-VL 3B Instruct, mô hình hỗ trợ mã hóa trực tiếp văn bản và hình ảnh xen kẽ mà không cần xử lý phức tạp.
✨ Điểm nổi bật
- Hiệu suất cao: Đạt 61.2 NDCG@5 trên Vidore-v2, chỉ thua duy nhất phiên bản 7B
- Mã hóa thống nhất: Xử lý trực tiếp văn bản và hình ảnh xen kẽ
- Kiến trúc nâng cao: 3 tỷ tham số, fine-tuned từ Qwen2.5-VL
- Nguồn mở: Trọng số mô hình công khai cho nghiên cứu
- Hỗ trợ đa ngôn ngữ: Tiếng Anh, Ý, Pháp, Đức, Tây Ban Nha
- Tích hợp RAG: Dùng trong quy trình RAG mà không cần OCR
💡 Vì sao đáng chú ý
So với các mô hình truyền thống chỉ xử lý văn bản, ColNomic Embed Multimodal 3B kết hợp cả thông tin hình ảnh và bố cục, phù hợp với tài liệu phức tạp như báo cáo tài chính, sách giáo khoa, hay tài liệu kỹ thuật có bảng đồ và biểu đồ. Đặc biệt, kỹ thuật lấy mẫu cùng nguồn tạo negative khó giúp mô hình học tốt hơn.
#MultimodalEmbedding #VisualDocumentRetrieval #RAG #OpenSource #TiniX
Similar Projects
Discover other similar projects and AI models.
ColNomic Embed Multimodal 7B: State-of-the-Art Visual Document Retrieval colnomic-embed-multimodal-7b is a multi-vector state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 62.7 NDC...
Nomic Embed Multimodal 3B: State-of-the-Art Visual Document Retrieval nomic-embed-multimodal-3b is a dense state-of-the-art multimodal embedding model that excels at visual document retrieval tasks: - High Performance: Achieves 58.8 NDCG@5 on Vidore...
ColQwen2.5-3b-multilingual-v1.0: Multilingual Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy This is the base version trained on 8xH100 80GB with perdevicebatchsize=128 for 8 epoch. ColQwen is a model based on a novel model a...
ColQwen2.5-3b-multilingual-v1.0: Multilingual Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy Ranked 1 among models smaller than 7B parameters and 2 overall on the Vidore benchmark (as of February 11, 2025). The reported score...
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
The embedding model trained by Jina AI. Jina Embeddings v4: Universal Embeddings for Multimodal Multilingual Retrieval GGUF(https://github.com/jina-ai/jina-embeddings-v4-gguf) | Blog(https://jina.ai/news/jina-embeddings-v4-universal-embeddings-for-m...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...