selode-ai/Qwen-3.6-35B-A3B-VRAP-4-bit-AWQ-21.2GB
VRAP-Qwen3.6-35B-A3B-4bit-AWQ-21.2GB !Qwen3.6-35B-A3B Model(assets/cover.jpg) --Updated 16/06/2026 - SGLang Latest Installation + File to update Brought to you by Selode.ai(https://selode.ai) — Hyperscaling Enterprise AI Infrastructure This AWQ prun...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#1 Repository Của Tuần
🚀 Mô hình Qwen 3.6 35B A3B siêu nhẹ với công nghệ VRAP của Selode.ai
Mô hình ngôn ngữ đa phương thức hình ảnh-văn bản trên nền Qwen 3.6 35B A3B, được tối ưu bằng kỹ thuật VRAP 4-bit AWQ giảm 17% trọng số mà chất lượng gần như không thay đổi.
Đây là mô hình Qwen 3.6 35B A3B đa phương thức (image-text-to-text) do Selode.ai phát triển, kết hợp kỹ thuật VRAP (sparse quantization pruning) tiên phong, giúp giảm kích thước mô hình xuống còn 21.2GB chỉ bằng một GPU 24GB tiêu chuẩn. Không cần dữ liệu calib, phương pháp này dựa trên pruning hậu quantization để duy trì chất lượng gần nguyên bản.
✨ Điểm nổi bật
- 4-bit AWQ Quantization Pruning: Kết hợp quantization 4-bit với pruning để tối ưu bộ nhớ và hiệu năng.
- >20% Sparse Pruning: Loại bỏ thông số dư thừa trong kiến trúc MoE một cách thông minh.
- VRAP: Phương pháp pruning đột phá, mang lại hiệu quả cao sau quantization.
- Zero Calibration Data: Hoàn toàn không cần dữ liệu calib, tiết kiệm chi phí đầu tư.
- 21.2GB VRAM: Mô hình chỉ cần 21.2GB VRAM, nhỏ hơn 17% so với mô hình AWQ truyền thống.
- Hỗ trợ SGLang & vLLM: Tương thích với các nền tảng triển khai lớn hiện đại.
- Enterprise-grade: Triển khai mô hình 35B tham số trên phần cứng GPU tiêu chuẩn.
- Mixed Precision Weights: Hỗ trợ trọng số độ chính xác hỗn hợp.
💡 Vì sao đáng chú ý
VRAP là một bướch ngoặt trong việc tối ưu mô hình sau quantization, kết hợp pruning thông minh giúp giảm kích thước mà không cần dữ liệu calib. Điều này mở ra khả năng triển khai mô hình ngôn ngữ lớn trên phần cứng tiêu chuẩn, giảm đáng kể chi phí hạ tầng so với các phương pháp truyền thống.
#Qwen3 #VRAP #AWQ #SelodeAI #Multimodal #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
ZDTaichu5.0-9B Project Page(https://taichu-ai.github.io/ZDTaichu5.0-9B/) | GitHub(https://github.com/Taichu-AI/ZDTaichu5.0-9B) | ModelScope(https://www.modelscope.cn/models/TaichuAI/ZDTaichu5.0-9B) ZDTaichu5.0-9B is a multimodal foundation model for...