Qwen/Qwen3-VL-4B-Instruct-FP8
Qwen3-VL-4B-Instruct-FP8 This repository contains an FP8 quantized version of the Qwen3-VL-4B-Instruct(https://huggingface.co/Qwen/Qwen3-VL-4B-Instruct) model. The quantization method is fine-grained fp8 quantization with block size of 128, and its...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tháng
#3 Repository Của Tháng
#7 Repository Của Tháng
🚀 Qwen3-VL-4B-Instruct-FP8 — Phiên bản lượn sóng FP8 của mô hình thị giác ngôn ngữ mạnh nhất Qwen
Phiên bản FP8 lượn sóng của Qwen3-VL-4B-Instruct, giữ nguyên độ chính xác gần bằng BF16 nhưng tiết kiệm bộ nhớ và tăng tốc suy luận đa phương tiện.
Qwen3-VL-4B-Instruct-FP8 là bản rút gọn của Qwen3-VL-4B-Instruct bằng kỹ thuật lượn sóng FP8 (block size 128), tối ưu cho triển khai hiệu suất cao. Dựa trên kiến trúc Qwen3-VL, mô hình kết hợp hiểu biết sâu rộng về hình ảnh và văn bản, hỗ trợ lập kế hoạch hành động, mã hóa trực quan và lý luận không gian. Hiện tại, Transformers chưa hỗ trợ tải trực tiếp trọng số này — khuyến nghị dùng vLLM hoặc SGLang để triển khai.
✨ Điểm nổi bật
- Lượn sóng FP8: Áp dụng lượn sóng FP8 tinh vi với kích thước khối 128, giảm tiêu thụ bộ nhớ mà vẫn giữ độ chính xác gần bằng BF16.
- Hiệu suất đa phương tiện: Đạt hiệu suất mạnh trên các nhiệm vụ thị giác ngôn ngữ như OCR, lập kế hoạch và lý luận.
- Tích hợp DeepStack: Kết hợp đặc trưng đa cấp từ ViT để cải thiện độ chi tiết và độ căn chỉnh giữa hình ảnh và văn bản.
- Hỗ trợ video dài: Xử lý ngữ cảnh lên đến 256K, mở rộng có thể lên 1M, thích hợp cho phân tích video dài và tài liệu lớn.
- Triển khai với vLLM/SGLang: Cung cấp ví dụ dòng lệnh và hướng dẫn triển khai chi tiết qua vLLM.
- Kiến trúc Interleaved-MRoPE: Cấp phân bố tần số đầy đủ theo thời gian, chiều rộng và chiều cao, cải thiện lý luận video dài.
- Hỗ trợ công cụ đa dạng: Chuyển đổi hình ảnh/video thành Draw.io, HTML/CSS/JS và tương tác với giao diện người dùng.
- Nhận dạng thị giác mở rộng: Hỗ trợ 32 ngôn ngữ OCR, nhận dạng đa dạng đối tượng từ người nổi tiếng đến hoạt học.
💡 Vì sao đáng chú ý
Qwen3-VL-4B-Instruct-FP8 khác biệt nhờ kỹ thuật lượn sóng FP8 tinh vi, giảm đáng kể bộ nhớ sử dụng và tăng tốc suy luận mà vẫn duy trì độ chính xác cao. Điều này giúp mô hình dễ dàng triển khai trên phần cứng có giới hạn tài nguyên nhưng không hy sinh hiệu năng. Đặc biệt mạnh ở lĩnh vực lập kế hoạch hành động, mã hóa trực quan và lý luận không gian, mô hình phù hợp cho các ứng dụng đa phương tiện phức tạp như phân tích video dài, tài liệu lớn và tương tác đa dạng thức.
#Qwen3VL #FP8Quantization #VisionLanguageModel #MultimodalAI #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...