QuantTrio/Qwen3.5-397B-A17B-AWQ
Qwen3.5-397B-A17B-AWQ Base model: Qwen/Qwen3.5-397B-A17B(https://huggingface.co/Qwen/Qwen3.5-397B-A17B) This repo quantizes the model using data-free quantization (no calibration dataset required). 【Dependencies / Installation】 python vllm=0.16.0rc2...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#3 Repository Của Tuần
🚀 Qwen3.5-397B-A17B-AWQ — Bản quantized 4-bit AWQ siêu nhẹ từ Qwen3.5
Bản quantized data-free của Qwen3.5-397B-A17B, tối ưu cho vLLM với AWQ và MoE.
Đây là bản quantized 4-bit AWQ (Activation-aware Weight Quantization) của mô hình Qwen3.5-397B-A17B — một mô hình ngôn ngữ lớn đa hình ảnh (image-text-to-text) với kiến trúc Mixture-of-Experts (MoE). Repo này sử dụng data-free quantization, tức là không cần bất kỳ bộ dữ liệu hiệu chuẩn nào để thực hiện tối ưu hoá trọng số.
✨ Điểm nổi bật
- Data-free quantization: Không cần calibration dataset, giảm đáng kể chi phí triển khai.
- AWQ 4-bit: Tối ưu trọng số theo kiến thức activation-aware, giảm kích thước mô hình lên tới 228GiB.
- Hỗ trợ vLLM: Tương thích trực tiếp với vLLM >= 0.16.0rc2.dev447 để triển khai nhanh.
- MoE sharding: Cần thiết lập
--enable-expert-parallelkhi dùng TP=8 để phân phối expert tensors đồng đều. - Tool calling & reasoning: Hỗ trợ tự động gọi công cụ và phân tích reasoning với qwen3_coder parser.
- Speculative decoding: Tích hợp cấu hình dự báo speculative với phương pháp qwen3_next_mtp.
- CUDA 12.8: Yêu cầu môi trường CUDA 12.8 để đạt hiệu năng tối ưu.
💡 Vì sao đáng chú ý
So với các bản quantized truyền thống, Qwen3.5-397B-A17B-AWQ nổi bật nhờ data-free quantization — không cần chuẩn bị dữ liệu để hiệu chuẩn, giảm thiểu công sức chuẩn bị môi trường. Kết hợp với vLLM, mô hình hỗ trợ đầy đủ tính năng như tool calling, reasoning và speculative decoding, phù hợp cho các ứng dụng đa hình ảnh, agentic AI và môi trường sản xuất cần hiệu năng cao.
#Qwen3.5 #AWQ #vLLM #QuantTrio #TiniX
Similar Projects
Discover other similar projects and AI models.
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Qwen3.8-Flash-Next !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc....
📰 Tech Blog | 📄 Full Report 1. Model Introduction Kimi K3 is an open-weight, native multimodal agentic model and our most capable model to date. It is a 2.8T-parameter model built on Kimi Delta Attention (K...
Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. Release - 2026/06/23 📄 Our paper is now available on arXiv(https://arxiv.org/abs/2606.23050). - 2026/06/23 🤝 Thanks to the ModelScope community for their support. Our model is n...
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression Technical Report 👁️ Introduction We introduce DeepSeek-V4.1-Flash, a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters and support for contexts of up to one milli...
GLM-5.3-Flash 👋 Join our WeChat or Discord community. 📖 Check out the GLM-5.3-Flash blog and GLM-5 Technical report. 📍 Use GLM-5.3-Flash API services on Z.ai API Platform. Introduction We introduce GLM-5.3-Flash, the first natively multimodal mod...
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive Join the Discord(https://discord.gg/SZ5vacTXYf) for updates, roadmaps, projects, or just to chat. Qwen3.6-35B-A3B uncensored by HauhauCS. 0/465 Refusals. HuggingFace's "Hardware Compatibility" widget do...
Qwen3.6-35B-A3B !Qwen Chat(https://img.shields.io/badge/%F0%9F%92%9C%EF%B8%8F%20Qwen%20Chat%20-536af5)(https://chat.qwen.ai) !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transfor...