tencent/EVIE-4.5B
🏆 EVIE: The Most Accurate and Lightweight Visual Document Retriever Evidence-Vector-Informed Embedding (EVIE) High-Precision Late-Interaction Retrieval • Dynamic Prefix-MRL (64D–2048D) • Training-Free HAC Token Compression 🤗 EVIE-4.5B (Prefix-MRL...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🏆 EVIE-4.5B: Truy xuất tài liệu hình ảnh chính xác nhất với kỹ thuật late-interaction
EVIE kết hợp Prefix-MRL linh hoạt và nén token HAC không cần huấn luyện, mang lại hiệu năng hàng đầu trên bảng xếp hạng ViDoRe với kích thước mô hình nhẹ.
EVIE (Evidence-Vector-Informed Embedding) là một mô hình truy xuất tài liệu hình ảnh đa phương thức được phát triển bởi Tencent, dựng trên nền tảng ColQwen3.5. Dự án nhằm giải quyết thách thức truy xuất thông tin từ các tài liệu có cấu trúc phức tạp như bảng biểu, biểu đồ, và bố cục tài liệu thông qua biểu diễn đa vector ở mức độ token. EVIE-4.5B đạt điểm số hàng đầu trên các bộ chuẩn ViDoRe V1, V2 và V3.
✨ Điểm nổi bật
- Hiệu năng hàng đầu: Đạt 66.02 trên ViDoRe V3 và 92.07 trên ViDoRe V1+V2, xếp thứ nhất so với các mô hình so sánh.
- Prefix-MRL linh hoạt: Hỗ trợ cắt giảm ngẫu nhiên từ 64D đến 2048D mà không cần huấn luyện lại mô hình.
- Nén token HAC không cần huấn luyện: Giảm số lượng token từ ~750 xuống 32 vector trang, giảm dung lượng lưu trữ xuống 3.81 GiB cho 1 triệu trang.
- Đa dạng nhiệm vụ đánh giá: Được kiểm chứng trên 138 nhiệm vụ đa ngôn ngữ với bốn phương pháp đo lường khác nhau.
- Quy trình rút gọn ARD: Sử dụng distill từ mô hình giáo viên 8B để duy trì độ chính xác cao ở các chiều không gian thấp.
- Kết hợp late-interaction MaxSim: Sử dụng công thức $S(Q, D) = \sum_{i=1}^{|Q|} \max_{j=1}^{|D|} (q_i \cdot d_j)$ để đánh giá độ liên quan.
💡 Vì sao đáng chú ý
EVIE khác biệt so với các phương pháp truy xuất dày đặc bằng cách giữ nguyên thông tin chi tiết ở cấp độ token thông qua late-interaction, phù hợp cho tài liệu có cấu trúc phức tạp. Nhờ Prefix-MRL và HAC, mô hình vừng cung cấp khả năng linh hoạt về kích thước biểu diễn, vừng tối ưu hiệu năng lưu trữ, là lựa chọn lý tưởng cho hệ thống truy xuất tài liệu hình ảnh quy mô lớn.
#VisualDocumentRetrieval #LateInteraction #Matryoshka #ColPali #TiniX
Similar Projects
Discover other similar projects and AI models.
🏆 EVIE-8B: The Most Accurate Visual Document Retriever Evidence-Vector-Informed Embedding (EVIE-8B Flagship Teacher) 4096-Dimensional Token Representation • Bidirectional Full-Attention • Teacher for EVIE-4.5B Prefix-MRL 🤗 EVIE-8B (Flagship Teache...
🏆 EVIE-Preview-4.5B Rank 1 on ViDoRe V3 · Rank 1 on ViDoRe V1+V2 The most accurate visual document retriever, with native 128-dimensional token vectors. 🏆 Results(-vidore-v3--rank-1) • 💾 Index Cost(-index-cost) • ⚡ Quick Start(-quick-start) • 🔬...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
ColQwen2.5: Visual Retriever based on Qwen2.5-VL-3B-Instruct with ColBERT strategy ColQwen is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual f...
ColQwen2: Visual Retriever based on Qwen2-VL-2B-Instruct with ColBERT strategy This is the base version trained with batchsize 256 instead of 32 for 5 epoch and with the updated pad token ColQwen2 is a model based on a novel model architecture and t...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...
TomoroAI/tomoro-colqwen3-embed-4b ⚡ Executive Summary TomoroAI/tomoro-colqwen3-embed-4b is a state-of-the-art ColPali(https://arxiv.org/abs/2407.01449)-style multimodal embedding model. It maps text queries, visual documents (images, PDFs) or short...
ColSmolVLM-Instruct-500M: Visual Retriever based on SmolVLM-Instruct-500M with ColBERT strategy This is a version trained with batchsize 32 for 3 epochs ColSmolVLM is a model based on a novel model architecture and training strategy based on Vision...