w-ahmad/Gemma-4-12B-it-qat-GGUF-MoQ
🚀 MoQ: Mixture of Quants This is the GGUF version of gemma 4 12b it qat model . It uses MoQ to improve performance over uniform quantization. !image(https://cdn-uploads.huggingface.co/production/uploads/69ac7f5db2b3b515d77e2278/rPskixznY6PiAd981s5S...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#9 Repository Của Tháng
#9 Repository Của Tháng
🚀 Gemma-4-12B-it được nén bằng MoQ, vượt trội so với quantization truyền thống
MoQ (Mixture of Quants) là kỹ thuật nén model thông minh: giữ nguyên phần quan trọng ở chất lượng cao, nén phần còn lại mạnh để tiết kiệm bộ nhớ.
Đây là phiên bản GGUF của mô hình Gemma-4-12B-it đã qua Quantization-Aware Training (QAT), áp dụng MoQ thay vì quantization đồng đều. Nhờ cách tiếp cận linh hoạt, MoQ giữ được chất lượng gần bằng bf16 nhưng nhỏ gọn hơn đáng kể, thích hợp chạy trên laptop hoặc thiết bị cá nhân.
✨ Điểm nổi bật
- MoQ thay thế quantization đồng đều: Chỉ số hóa các phần quan trọng ở độ phân giải cao, nén phần còn lại mạnh.
- Cải thiện ~10% so với Unsloth Dynamic: Ở cùng bits-per-weight (Bpw), MoQ vượt trội trên benchmark.
- Hiệu quả token hơn 2×: Tiết kiệm tài nguyên xử lý trong quá trình sinh.
- Nhiều mức nén từ 3.0 đến 5.0 BPW: Lựa chọn linh hoạt từ 4.06 GB đến 7.57 GB.
- Phiên bản bf16 gốc 23.83 GB: Dành cho nghiên cứu hoặc biên dịch tùy chỉnh.
- Tương thích Transformers & GGUF: Hỗ trợ công cụ và môi trường phổ biến.
- License Apache 2.0: Tự do sử dụng cho nghiên cứu và sản phẩm.
💡 Vì sao đáng chú ý
Thông thường, quantization đồng đều làm suy giảm chất lượng mô hình ở mức bit thấp. MoQ khắc phục bằng cách phân bổ tài nguyên một cách thông minh — chỉ số hóa các thành phần nhạy cảm cao hơn, giảm kích thước phần còn lại. Kết quả, dự án không chỉ nhỏ lên mà còn giữ được độ chính xác gần nguyên bản. Phù hợp với người dùng muốn chạy Gemma-4 12B trên thiết bị cá nhân mà không cần GPU đắt tiền.
#Gemma4 #MoQ #GGUF #Quantization #TiniX
Similar Projects
Discover other similar projects and AI models.
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Qwen3-0.6B Qwen3 Highlights Qwen3 is the latest generation of large language models in Qwen series, offering a comprehensive suite of dense and mixture-of-experts (MoE) models. Built upon extensive training, Qwen3 delivers groundbreaking advancement...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Try gpt-oss · Guides · Model card · OpenAI blog Welcome to the gpt-oss series, OpenAI’s open-weight models(https://openai.com/open-models) designed for powerful reasoning, agentic tasks, and versatile developer use cases. We’re releasing two flavors...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
💻 Gemma4-12B-Coder (GGUF) — Composer 2.5 × Fable 5 ✨ 🐣 Tiny footprint, big brain — a local coding model for everyone No matter your GPU. No matter your RAM. If you've got ~4.5 GB of VRAM or unified memory free, you can run your own private, offlin...
Cross-Encoder for MS Marco This model was trained on the MS Marco Passage Ranking(https://github.com/microsoft/MSMARCO-Passage-Ranking) task. The model can be used for Information Retrieval: Given a query, encode the query will all possible passages...