athrael-soju/colqwen3.5-4.5B-v3
ColQwen3.5-4.5B-v3 A visual document retrieval model using ColBERT-style late interaction with Qwen3.5-4B(https://huggingface.co/Qwen/Qwen3.5-4B). 4.5B parameters | 128-dim embeddings | LoRA (r=16, alpha=64) | BF16 Note on embed dim. Projection head...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tháng
#1 Repository Của Tháng
#1 Repository Của Tháng
🔍 ColQwen3.5-4.5B-v3: truy xuất tài liệu hình ảnh top-3 nhóm 4B
Mô hình visual document retrieval ColBERT-style dựa trên Qwen3.5-4B, đạt #6 ViDoRe V3 và top-3 trong nhóm 4B.
ColQwen3.5-4.5B-v3 là mô hình truy xuất tài liệu hình ảnh theo phong cách ColBERT late interaction, xây trên Qwen3.5-4B. Mô hình có 4.5B tham số, embedding thực tế 320 chiều (cột leaderboard hiển thị 128 là mặc định của lớp), LoRA r=16 alpha=64, BF16, license Apache-2.0. Mục tiêu là tìm tài liệu hình ảnh phù hợp với câu hỏi bằng multi-vector embeddings và MaxSim.
✨ Điểm nổi bật
- Late interaction ColBERT: dùng tương tác muộn kiểu ColBERT cho truy xuất tài liệu hình ảnh.
- Nền tảng Qwen3.5-4B: xây trên vision-language model Qwen3.5-4B.
- LoRA tối ưu: LoRA r=16, alpha=64 với cosine scheduling từ tìm kiếm siêu tham số tự động.
- Model soup tiến hóa: checkpoint cuối là evolutionary merge theo từng lớp với V2, cải thiện +0.0219 trên benchmark.
- Embedding 320 chiều: projection head huấn luyện 320-dim; config đặt dim=320 và embed_dim=320 đồng nghĩa.
- Hiệu năng ViDoRe V3: #6 trên Mean (Task) tại thời điểm ghi nhận, top-3 trong nhóm 4B-class.
- ViDoRe V1+V2: đứng #4, trung bình 83.7 nDCG@5.
- API dễ dùng: ColQwen3_5 và ColQwen3_5Processor để embed ảnh/tài liệu và query, chấm điểm MaxSim.
💡 Vì sao đáng chú ý
V3 không chỉ fine-tune thêm mà tự động tìm siêu tham số và evolutionary merge với V2, cho mức cải thiện rõ trên benchmark. Với 8660 MB bộ nhớ và top-3 trong nhóm 4B, nó cân bằng tốt giữa chất lượng và tài nguyên so với các mô hình 8B. Tuy nhiên vẫn thua Nemotron 8B và các bản 4B+ mới hơn trên một số chỉ số, đặc biệt ESG/Econ.
#VisualDocumentRetrieval #ColBERT #Qwen3 #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic se...
Whisper Whisper is a state-of-the-art model for automatic speech recognition (ASR) and speech translation, proposed in the paper Robust Speech Recognition via Large-Scale Weak Supervision(https://huggingface.co/papers/2212.04356) by Alec Radford et...
🏆 EVIE-Preview-4.5B Rank 1 on ViDoRe V3 · Rank 1 on ViDoRe V1+V2 The most accurate visual document retriever, with native 128-dimensional token vectors. 🏆 Results(-vidore-v3--rank-1) • 💾 Index Cost(-index-cost) • ⚡ Quick Start(-quick-start) • 🔬...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
🏆 EVIE: The Most Accurate and Lightweight Visual Document Retriever Evidence-Vector-Informed Embedding (EVIE) High-Precision Late-Interaction Retrieval • Dynamic Prefix-MRL (64D–2048D) • Training-Free HAC Token Compression 🤗 EVIE-4.5B (Prefix-MRL...
🏆 EVIE-8B: The Most Accurate Visual Document Retriever Evidence-Vector-Informed Embedding (EVIE-8B Flagship Teacher) 4096-Dimensional Token Representation • Bidirectional Full-Attention • Teacher for EVIE-4.5B Prefix-MRL 🤗 EVIE-8B (Flagship Teache...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...
LTX-2.5 — Video, Audio & World Simulation Full control and customization — self-host on your infrastructure. Homepage Docs GitHub Research API Playground Discord LTX License LTX-2.5 — Video, Audio & World Simulation Full control and customiz...
ColPali: Visual Retriever based on PaliGemma-3B with ColBERT strategy ColPali is a model based on a novel model architecture and training strategy based on Vision Language Models (VLMs) to efficiently index documents from their visual features. It i...