philbert440/Qwen3.8-27B-W4A16-AWQ
Qwen3.8-27B — W4A16 (AWQ, g128) INT4 weight-only quantization of Qwen/Qwen3.8-27B(https://huggingface.co/Qwen/Qwen3.8-27B) — the whole model, nothing stripped: vision tower intact, MTP speculative-decoding head intact, thinking mode calibrated with...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#2 Repository Của Tuần
#3 Repository Của Tuần
🧠 Qwen3.8-27B W4A16 AWQ — Nén INT4 không bỏ bất kỳ thành phần nào
Toàn bộ mô hình dense vision-language 27B được nén từ 55 GB xuống 19.5 GB, vẫn giữ nguyên vision tower, MTP speculative-decoding head và thinking mode được hiệu chuẩn bằng reasoning traces thật.
Đây là bản quantization INT4 weight-only (W4A16, AWQ, group 128) của Qwen/Qwen3.8-27B — một mô hình dense vision-language 27B với thinking bật mặc định, dùng cho công việc agentic dài hạn. Khác với các bản quantized thường bỏ bỏ các thành phần phụ, bản này giữ nguyên toàn bộ: vision tower (333 tensors), MTP head, thinking mode, và cả 144 GatedDeltaNet projections trong 400 linear layers được quantized.
✨ Điểm nổi bật
- W4A16 AWQ INT4: nén từ 55 GB BF16 xuống 19.5 GB, group 128, asymmetric, weight-only, dùng compressed-tensors pack-quantized format
- Toàn bộ mô hình không bị cắt giảm: 400 linear layers (bao gồm cả 144 GatedDeltaNet projections) đều được quantized
- Vision tower giữ nguyên BF16: 333 tensors của vision tower không bị quantization, đảm bảo chất lượng hiểu ảnh
- MTP speculative decoding head nguyên vẹn: giữ nguyên khả năng dự đoán speculative decoding
- Thinking mode được hiệu chuẩn đúng: dùng 256 mẫu reasoning traces thật với enable_thinking=True, tránh lỗi corruption ở think tag
- Chạy trên 2×V100-32GB: validated end-to-end trên 1Cat-vLLM 1.2.2 (SM70 TurboMind dequant path), TP2
- Hỗ trợ context 262,144 token: native, mở rộng lên 1M với YaRN
- Serves với stock vLLM: không cần cài đặt thêm, chạy trên bất kỳ GPU Ampere+ nào
💡 Vì sao đáng chú ý
Điểm khác biệt lớn nhất của bản quantization này là không bỏ bất kỳ thành phần nào. Nhiều bản quantized khác thường loại bỏ vision tower hoặc MTP head để giảm kích thước, nhưng bản này giữ nguyên tất cả — chỉ quantization weights mà thôi. Đặc biệt, việc hiệu chuẩn thinking mode bằng reasoning traces thật (thay vì dùng enable_thinking=False như thường gặp) tránh được lỗi corruption think tag đã được chứng minh trong llm-compressor. Kết quả là một mô hình 27B nhỏ gọn nhưng vẫn giữ được toàn bộ khả năng gốc: từ hiểu ảnh, suy nghĩ sâu, đến speculative decoding tối ưu tốc độ sinh.
#Qwen3.8 #AWQ #INT4 #Quantization #VisionLanguage #MTP #Thinking #V100 #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.5-9B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers...