ocicek/Qwen3.6-27B-NVFP4
Qwen3.6-27B-NVFP4 NVFP4 quantized version of Qwen/Qwen3.6-27B(https://huggingface.co/Qwen/Qwen3.6-27B). 55.6 GB → 20.6 GB (0.37x) with vision tower and MTP draft head preserved in BF16. Tested on NVIDIA DGX Spark (GB10, SM 121). NVFP4 Quantization D...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#6 Repository Của Tháng
#3 Repository Của Tuần
#6 Repository Của Tháng
🚀 Qwen3.6-27B-NVFP4: Mô hình ngôn ngữ lớn được nén NVFP4 mạnh mẽ
Phiên bản NVFP4 quantized của Qwen3.6-27B, giảm 55.6GB xuống còn 20.6GB nhưng vẫn giữ 98.76% hiệu suất gốc.
Đây là phiên bản NVFP4 quantized của Qwen/Qwen3.6-27B, được tối ưu bởi vllm-project/llm-compressor và kiểm thử trên NVIDIA DGX Spark (GB10, SM 121). Mô hình sử dụng kỹ thuật nén W4A4 (trọng số FP4, activations FP4, scales FP8) nhằm giảm kích thước bộ nhớ đáng kể mà không ảnh hưởng nhiều đến độ chính xác.
✨ Điểm nổi bật
- Nén NVFP4 (W4A4): Áp dụng cho tất cả các lớp Linear trong mô hình ngôn ngữ
- Giữ lại BF16:
lm_head, vision layers (model.visual.*), MLP gates và MTP draft head (mtp.*) không bị quantize - Hỗ trợ speculative decoding: MTP draft head được lưu riêng dưới dạng shard BF16 để tăng tốc suy luận
- Định dạng compressed-tensors: Hỗ trợ native trên vLLM >= 0.19
- Kích thước nhỏ gọn: Chỉ 20.6GB (shard quantized + shard MTP BF16)
- Hiệu suất cao: Đạt 98.76% so với mô hình gốc BF16 trên bài toán humaneval_instruct_chat
- Yêu cầu phần cứng: GPU NVIDIA Blackwell (SM 120+)
💡 Vì sao đáng chú ý
Khác với các phương pháp quantize thông thường làm giảm đáng kể độ chính xác, NVFP4 trong Qwen3.6-27B duy trì 98.76% hiệu suất gốc (pass@1: 0.9695 so với 0.9817). Điều này nhờ chiến lược giữ nguyên các thành phần nhạy cảm như vision tower và MTP draft head ở độ chính xác BF16.
Mô hình phù hợp cho triển khai trên phần cứng Blackwell, đặc biệt là DGX Spark, nơi hiệu suất và tiết kiệm bộ nhớ là yếu tố then chốt. MTP speculative decoding giúp tăng tốc suy luận mà không cần thay đổi cấu trúc mô hình.
#Qwen #NVFP4 #LLM #Quantized #vLLM #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...