tencent/EVIE-8B
🏆 EVIE-8B: The Most Accurate Visual Document Retriever Evidence-Vector-Informed Embedding (EVIE-8B Flagship Teacher) 4096-Dimensional Token Representation • Bidirectional Full-Attention • Teacher for EVIE-4.5B Prefix-MRL 🤗 EVIE-8B (Flagship Teache...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🏆 EVIE-8B: Mô hình truy xuất tài liệu hình ảnh chính xác nhất thế giới
EVIE-8B của Tencent đạt điểm số hàng đầu trên cả ba bảng xếp hạng ViDoRe V1, V2 và V3, với độ nhúng 4096D và cơ chế attention hai chiều.
EVIE-8B (Evidence-Vector-Informed Embedding) là mô hình giáo viên (teacher) flagship phát triển bởi Tencent, dựng trên nền tảng ColQwen3.5. Nó được thiết kế để truy xuất tài liệu hình ảnh với độ chính xác cao nhất, đồng thời phục vụ như nền tảng cho việc rèn luyện mô hình học sinh nhẹ hơn là EVIE-4.5B thông qua kỹ thuật chuyển giao kiến thức (distillation).
✨ Điểm nổi bật
- Độ chính xác hàng đầu: Đạt 66.75 nDCG@10 trên ViDoRe V3, xếp hạng #1.
- Độ nhúng 4096D: Giữ nguyên thông tin chi tiết về bố cục, kiểu chữ, biểu đồ và bảng trên từng token.
- Attention hai chiều đầy đủ: Tăng cường tương tác giữa các token hình ảnh và ngữ cảnh văn bản.
- Giáo viên cho EVIE-4.5B: Cung cấp mục tiêu rèn luyện cho mô hình sinh viên thông qua ARD (Anchor Relation Distillation) và margin supervision.
- Đánh giá trên 138 tác vụ: Được kiểm chứng trên ViDoRe V1, V2, V3 và JinaVDR với bốn nhóm metric chuẩn.
- Mã nguồn hoàn toàn mở: Bao gồm trọng số mô hình, pipeline suy diễn và bộ đánh giá.
💡 Vì sao đáng chú ý
Khác với các mô hình nén thành một vector đơn, EVIE-8B sử dụng biểu diễn đa vector kỳ late-interaction, giữ lại các đặc trưng không gian và cấu trúc tài liệu phức tạp. Kết hợp với MaxSim để tính điểm liên quan, mô hình mang lại hiệu suất vượt trội trong các tác vụ truy xuất tài liệu đa dạng dạng như PDF, biên bản hội nghị hay báo cáo tài chính.
#VisualDocumentRetrieval #ColPali #Qwen3.5 #LateInteraction #Multimodal #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
🏆 EVIE: The Most Accurate and Lightweight Visual Document Retriever Evidence-Vector-Informed Embedding (EVIE) High-Precision Late-Interaction Retrieval • Dynamic Prefix-MRL (64D–2048D) • Training-Free HAC Token Compression 🤗 EVIE-4.5B (Prefix-MRL...
🏆 EVIE-Preview-4.5B Rank 1 on ViDoRe V3 · Rank 1 on ViDoRe V1+V2 The most accurate visual document retriever, with native 128-dimensional token vectors. 🏆 Results(-vidore-v3--rank-1) • 💾 Index Cost(-index-cost) • ⚡ Quick Start(-quick-start) • 🔬...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
TomoroAI/tomoro-colqwen3-embed-4b ⚡ Executive Summary TomoroAI/tomoro-colqwen3-embed-4b is a state-of-the-art ColPali(https://arxiv.org/abs/2407.01449)-style multimodal embedding model. It maps text queries, visual documents (images, PDFs) or short...
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...