caiovicentino1/Qwopus3.5-9B-v3-HLWQ-MLX-4bit
!IMPORTANT Naming notice (2026-04-10). The "HLWQ" technique used in this model is being rebranded to HLWQ (Hadamard-Lloyd Weight Quantization). The change is only the name; the algorithm and the weights in this repository are unchanged. The rebrand...
🍎 HLWQ MLX 4-bit — Qwopus3.5-9B-v3
Kỹ thuật HLWQ (Hadamard-Lloyd Weight Quantization) kết hợp xoay Walsh-Hadamard và Lloyd-Max scalar codebook, tối ưu trọng số mô hình Qwen3.5-9B về 4-bit cho Apple Silicon với PPL 6.44.
Đây là bản quantization 4-bit dựa trên MLX framework, nhằm tối ưu tốc độ và bộ nhớ khi chạy trên chip Apple Silicon. Dựa trên mô hình gốc Jackrong/Qwopus3.5-9B-v3, bản quantization này sử dụng chuỗi quy trình: HLWQ dequant → cải thiện trọng số BF16 → chuyển đổi sang định dạng MLX 4-bit.
✨ Điểm nổi bật
- PPL 6.44: Tốt hơn torchao INT4 (6.48), chỉ +0.07 so với FP16 (6.37)
- Tốc độ 20.7 tok/s: Chạy trên Mac mini M4 16GB
- Bộ nhớ 5.1 GB: Tiết kiệm hơn một nửa so với CUDA INT4 (7.1 GB)
- Độ chính xác cao: Dùng group_size=64, mật độ 4.5 bpw
- Quy trình HLWQ: Dequant cải tiến trọng số trước khi quantize lại bằng MLX
- Hỗ trợ Apple Silicon: Tối ưu cho kiến trúc MLX của Apple
💡 Vì sao đáng chú ý
HLWQ không chỉ là kỹ thuật nén trọng số đơn thuần — nó cải thiện trọng số gốc bằng xoay Walsh-Hadamard và Lloyd-Max trước khi quantize, giúp giảm lỗi tính toán. Khi MLX re-quantize về 4-bit, nó bắt đầu từ trọng số đã được tối ưu → chất lượng tốt hơn.
Khác với các phương pháp quantize thông thường như torchao INT4 (group_size=128), bản quantization này dùng group_size=64 mang lại độ chi tiết cao hơn. Kết hợp với HLWQ, đây là phương pháp 4-bit cho PPL tốt nhất trong các bài kiểm tra.
#HLWQ #MLX #Qwen3.5 #AppleSilicon #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
DeepSeek-R1 Paper Link👁️ 1. Introduction We introduce our first-generation reasoning models, DeepSeek-R1-Zero and DeepSeek-R1. DeepSeek-R1-Zero, a model trained via large-scale reinforcement learning (RL) without supervised fine-tuning (SFT) as a p...
Model Information The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text onl...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper(https://d4mucfpksywv.cloudfro...
Model Details Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dia...
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence Technical Report👁️ Introduction We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models — DeepSeek-V4-Pro with 1.6T p...