Mungert/QwQ-32B-GGUF
QwQ-32B GGUF Models Ultra-Low-Bit Quantization with IQ-DynamicGate (1-2 bit) Our latest quantization method introduces precision-adaptive quantization for ultra-low-bit models (1-2 bit), with benchmark-proven improvements on Llama-3-8B. This approac...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tuần
#2 Repository Của Tuần
#3 Repository Của Tuần
🚀 QwQ-32B GGUF: Định lượng siêu thấp (1-2 bit) thông minh với IQ-DynamicGate
Phương pháp định lượng điều chỉnh độ chính xác (precision-adaptive quantization) giúp giảm perplexity lên tới 43.9% so với chuẩn.
Đây là bộ mô hình QwQ-32B được chuyển đổi sang định dạng GGUF hỗ trợ định lượng siêu thấp (1-2 bit), dựa trên mô hình nền Qwen/Qwen2.5-32B. Dự án áp dụng kỹ thuật IQ-DynamicGate — phương pháp mới giúp phân bổ độ chính xác một cách linh hoạt giữa các lớp mạng, giữ lại hiệu suất cao nhưng giảm kích thước bộ nhớ đáng kể.
✨ Điểm nổi bật
- Phân bổ độ chính xác động: Lớp đầu/cuối 25% dùng IQ4_XS, lớp giữa 50% dùng IQ2_XXS/IQ3_S để tối ưu hiệu năng.
- Bảo vệ thành phần quan trọng: Lớp nhúng và lớp ra sử dụng Q5_K, giảm sai số lan truyền xuống 38%.
- Cải thiện lớn ở IQ1_M: Giảm perplexity 43.9% (27.46 → 15.41) với chi phí tăng kích thước chỉ 0.3GB.
- Tốc độ ổn định: Tất cả biến thể chỉ chênh lệch <5% tốc độ suy luận so với chuẩn.
- Dễ triển khai: Hỗ trợ trực tiếp với Transformers và ggml, phù hợp cho thiết bị CPU và các thiết bị biên.
- Đa ngôn ngữ: Hỗ trợ 14 ngôn ngữ bao gồm tiếng Việt, tiếng Trung, tiếng Anh, tiếng Pháp...
💡 Vì sao đáng chú ý
Khác với các phương pháp định lượng truyền thống áp dụng cùng một ngưỡng cứng cho toàn bộ mạng, IQ-DynamicGate điều chỉnh độ phân giải từng lớp dựa trên vai trò của chúng — lớp đầu và cuối giữ độ chính xác cao hơn để tránh mất thông tin ngữ nghĩa, trong khi lớp trung tâm được nén mạnh để tiết kiệm bộ nhớ. Điều này đặc biệt hiệu quả cho triển khai trên thiết bị có VRAM hạn chế hoặc CPU không có GPU.
#AI #MachineLearning #Quantization #GGUF #Qwen #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
huihui-ai/Qwen2.5-72B-Instruct-abliterated This is an uncensored version of Qwen/Qwen2.5-72B-Instruct(https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) created with abliteration (see remove-refusals-with-transformers(https://github.com/Sumandora/rem...
!Oxy 1 Small(https://cdn-uploads.huggingface.co/production/uploads/64fb80c8bb362cbf2ff96c7e/tTIVIblPUbTYnlvHQQjXB.png) Introduction Oxy 1 Small is a fine-tuned version of the Qwen/Qwen2.5-14B-Instruct(https://huggingface.co/Qwen/Qwen/Qwen2.5-14B-Inst...
Model Card for Aya 101 Model Summary The Aya model is a massively multilingual generative language model that follows instructions in 101 languages. Aya outperforms mT0(https://huggingface.co/bigscience/mt0-xxl) and BLOOMZ(https://huggingface.co/big...
GlotLID !GlotLID(https://img.shields.io/badge/🤗-Open%20In%20Spaces-blue.svg)(https://huggingface.co/spaces/cis-lmu/glotlid-space) Description GlotLID is a Fasttext language identification (LID) model that supports more than 2000 labels. Latest: Glo...
!logo.jpg(logo.jpg) Ivy-VL is a lightweight multimodal model with only 3B parameters. It accepts both image and text inputs to generate text outputs. Thanks to its lightweight design, it can be deployed on edge devices such as AI glasses and smartpho...
huihui-ai/Qwen2.5-32B-Instruct-abliterated This is an uncensored version of Qwen2.5-32B-Instruct(https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) created with abliteration (see this article(https://huggingface.co/blog/mlabonne/abliteration) to know...
Finetune Llama 3.1, Gemma 2, Mistral 2-5x faster with 70% less memory via Unsloth! We have a Qwen 2.5 (all model sizes) free Google Colab Tesla T4 notebook(https://colab.research.google.com/drive/1Kose-ucXO1IBaZq5BvbwWieuubP7hxvQ?usp=sharing). Also...
Deductive-Reasoning-Qwen-32B !image/png(https://cdn-uploads.huggingface.co/production/uploads/674a1d102c0f27a385772cfe/JauBmEQM0FpOdShBMSfst.png) Deductive Reasoning Qwen 32B is a reinforcement fine-tune of Qwen 2.5 32B Instruct(https://huggingface....
Finetune Llama 3.1, Gemma 2, Mistral 2-5x faster with 70% less memory via Unsloth! We have a Qwen 2.5 (all model sizes) free Google Colab Tesla T4 notebook(https://colab.research.google.com/drive/1Kose-ucXO1IBaZq5BvbwWieuubP7hxvQ?usp=sharing). Also...