unsloth/gemma-4-12B-it-qat-GGUF
Read our How to Run Gemma 4 QAT Guide!(https://unsloth.ai/docs/models/gemma-4/qat) See Unsloth Dynamic 2.0 GGUFs for our quantization benchmarks. Jun 9 Update: Added MTP support. See our MTP Guide. Gemma 4 can now be run and fine-tuned in Unsloth St...
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#1 Repository Của Tuần
#1 Repository Của Tuần
#2 Repository Của Tháng
🚀 Gemma 4 12B QAT GGUF — Phiên bản siêu nhẹ, tốc độ vượt trội
Phiên bản GGUF Quantization-Aware Training (QAT) của Gemma 4 12B do Unsloth tối ưu, hỗ trợ MTP speculative decoding và tương thích ngay với llama.cpp.
Đây là mô hình ngôn ngữ lớn đa phương thức từ Google DeepMind, được tinh chỉnh bằng kỹ thuật QAT giúp giảm đáng kể bộ nhớ khi tải mà vẫn giữ chất lượng gần bằng bfloat16. Mô hình hỗ trợ đầu vào văn bản và hình ảnh, sinh ra văn bản, đồng thời tích hợp công nghệ MTP để tăng tốc suy luận mà không thay đổi kết quả đầu ra.
✨ Điểm nổi bật
- Hỗ trợ MTP (Multi-Token Prediction): Tích hợp bộ soạn người dự báo đa token tại thư mục gốc, tương compat với llama.cpp tự động phát hiện.
- Định dạng Q4_0 GGUF: Tương thích rộng rãi với hệ sinh thái công cụ hỗ trợ GGUF.
- Tương thích llama.cpp: Chạy trực tiếp từ Hugging Face thông qua flag
-hf, không cần cấu hình thủ công. - Tối ưu bộ nhớ: Giảm tiêu thụ VRAM nhờ QAT, phù hợp triển khai trên thiết bị cá nhân.
- Hỗ trợ fine-tuning trong Unsloth Studio: Dễ dàng tùy biến mô hình cho các tác vụ cụ thể.
- Bản quyền Apache 2.0: Mở nguồn, dùng cho mục đích nghiên cứu và thương mại.
💡 Vì sao đáng chú ý
Khác với các phiên bản đã tồn tại, bản QAT GGUF của Gemma 4 không chỉ giảm kích thước mô hình mà còn duy trì độ chính xác cao nhờ huấn luyện nhận biết lỗi lượng tử. Kết hợp với MTP, mô hình có khả năng tăng tốc suy luận đáng kể mà không đồng nghĩa với việc thay đổi đầu ra, nhờ cơ chế xác minh token từ mô hình chính. Đây là lựa chọn lý tưởng cho triển khai trên máy tính bảng, laptop hoặc môi trường edge với nhu cầu xử lý ngôn ngữ phức tạp.
#Gemma4 #Unsloth #GGUF #QAT #MTP #TiniX
Similar Projects
Discover other similar projects and AI models.
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind !Note This model card is for the new versions of the Gemma 4 family optimized with Quantization-Aware Training (QAT), which allows preserving similar...
Read our How to Run Qwen3.8-27B Guide!(https://unsloth.ai/docs/models/qwen3.8) This GGUF uses Unsloth Dynamic V3.0 (preview) for SOTA quantization performance. Developer Role Support so Qwen3.8 can work in agentic tools like Codex and more! MTP for...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
all-MiniLM-L6-v2 This is a sentence-transformers(https://www.SBERT.net) model: It maps sentences & paragraphs to a 384 dimensional dense vector space and can be used for tasks like clustering or semantic search. Usage (Sentence-Transformers) Using t...
Qwen3.8-27B !Note This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format. These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, etc. !Tip F...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...
Hugging Face | GitHub | Launch Blog | Documentation License: Apache 2.0 | Authors: Google DeepMind Gemma is a family of open models built by Google DeepMind. Gemma 4 models are multimodal, handling text and image input (with audio supported on small...